Chain of Spatial Thoughts: Modality-Agnostic Spatial Grounding for Vision Language Models

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie er durch ein unordentliches Wohnzimmer navigiert. Sie zeigen ihm ein Bild eines Sofas, eines Couchtisches und einer Katze. Ein einfacher Roboter würde vielleicht sagen: „Ich sehe ein Sofa.“ Aber um ein Spielzeug aufheben zu können, ohne den Tisch umzuwerfen, muss der Roboter viel mehr wissen: Wie groß ist das Sofa? Wie weit ist es von der Wand entfernt? Sitzt die Katze auf dem Tisch oder darunter? Dies ist der Unterschied zwischen bloßem Sehen und wahrem Verständnis von Raum. In der Welt der künstlichen Intelligenz nennt man das „räumliche Intelligenz“. Lange Zeit waren Computer großartig darin, Objekte zu erkennen, aber schlecht darin, herauszufinden, wie diese Objekte im 3D-Raum zusammenpassen. Um dies zu beheben, haben Wissenschaftler zwei Hauptwege versucht: Entweder das Gehirn des Computers (das Modell) riesig und teuer zu machen, oder spezielle, schwere Werkzeuge zur Messung von Entfernungen hinzuzufügen. Beides funktioniert, aber es ist langsam und klobig.

Nun ist einem Forscherteam ein cleverer neuer Trick namens „Space Tokens“ gelungen. Stellen Sie sich ein Standard-KI-Modell wie einen Schüler vor, der eine Prüfung ablegt. Normalerweise, wenn der Schüler wissen muss, wie man einen Raum misst, muss er ein Geodreieck und ein Maßband mitbringen (zusätzliche Werkzeuge) oder ein massives Lexikon der Geometrie auswendig lernen (ein riesiges Gehirn). Dieser neue Forschungsansatz schlägt einen anderen Weg vor: Was wäre, wenn der Schüler einfach in Maßen denken könnte? Die Forscher haben einen Weg gefunden, der KI beizubringen, innerhalb ihres eigenen Denkprozesses unsichtbare „mentale Notizen“ zu erstellen. Diese Notizen oder „Tokens“ fungieren wie winzige, kontinuierliche Flüstertöne der Geometrie, die die KI nutzen kann, um über Größe, Entfernung und Form zu urteilen, ohne zusätzliche Werkzeuge oder ein größeres Gehirn zu benötigen. Es ist, als würde man der KI einen eingebauten Sinn für den Raum geben, den sie nutzen kann, während sie spricht, was sie im Hinblick auf die physische Welt intelligenter macht, ohne sie zu verlangsamen.

Das Problem: Riesige Gehirne vs. schwere Werkzeuge

Stellen Sie sich einen sehr klugen Freund vor, der großartig darin ist, Bilder zu beschreiben. Sie zeigen ihm ein Foto einer Küche, und er kann sagen: „Das ist ein Kühlschrank und das ist ein Toaster.“ Aber wenn Sie ihn fragen: „Kann ich einen riesigen Pizzakarton zwischen den Kühlschrank und den Toaster schieben?“, könnte er falsch raten, weil er den Raum nicht wirklich „fühlt“.

Um dies zu beheben, haben Wissenschaftler zwei Hauptpfade ausprobiert. Der erste ist „Skalierung“, was so ist, als würde man dem Freund sagen, er solle jedes Buch in der Bibliothek lesen und jedes mögliche Raumlayout auswendig lernen. Das funktioniert, erfordert aber ein massives Gehirn, das ewig braucht, um zu laufen. Der zweite Pfad sind „spezialisierte Werkzeuge“, was so ist, als würde man dem Freund ein Laserlineal und einen 3D-Scanner geben, wann immer er ein Bild betrachtet. Das ist genau, aber es ist langsam, teuer und der Freund kann es nicht benutzen, wenn er es eilig hat oder die Werkzeuge nicht verfügbar sind.

Die Autoren dieser Arbeit stellten eine einfache Frage: Können wir den Freund lehren, den Raum einfach in seinem Kopf zu „kennen“, ohne die Bibliothek oder das Laserlineal zu benötigen?

Die Lösung: Space Tokens

Die Forscher führten eine Methode namens Space Tokens ein. Anstatt neue Hardware hinzuzufügen oder das KI-Modell riesig zu machen, haben sie der KI beigebracht, spezielle „Tokens“ (die einfach nur winzige Datenstücke sind) zu generieren, die den 3D-Raum repräsentieren.

Betrachten Sie diese Tokens wie unsichtbare Klebezettel, die die KI an ihre eigenen Gedanken klebt.

1. Szene-Ebene-Notizen: Einige Notizen beschreiben den gesamten Raum. Sie erfassen die Form des Bodens, die Position der Wände und die Tiefe des Raums.
2. Objekt-Ebene-Notizen: Andere Notizen beschreiben spezifische Gegenstände. Sie halten Informationen darüber bereit, wo sich ein Objekt befindet, wie groß es ist und in welche Richtung es zeigt.

Das Magische ist, dass diese Notizen „kontinuierlich“ sind, was bedeutet, dass sie nicht nur einfache Etiketten wie „groß“ oder „klein“ sind. Sie sind wie präzise Koordinaten und Messungen, die die KI nutzen kann, um im Kopf Rechenaufgaben zu lösen. Die KI lernt, diese Notizen zu erstellen, indem sie Beispiele von einem „Lehrer-Modell“ (einem sehr intelligenten 3D-Rekonstruktionssystem) betrachtet und dann übt, bis sie es aus eigener Kraft schafft.

Wie sie die KI trainierten

Das Training fand in drei Phasen statt, ähnlich einem Videospiel mit drei Leveln:

• Level 1: Die Sprache des Raums lernen. Der KI wurden Bilder gezeigt, und sie wurde beigebracht, die „Klebezettel“ (Tokens) zu generieren, die der 3D-Geometrie der Szene entsprechen. Sie lernte, ihre internen Gedanken mit den präzisen 3D-Formen der Welt in Einklang zu bringen.
• Level 2: Mit den Notizen denken. Nachdem die KI wusste, wie man die Notizen erstellt, brachten sie ihr bei, diese zu nutzen, um Fragen zu beantworten. Man zwang die KI, die Notizen zu betrachten und zu sagen: „Weil der Kühlschrank 2 Meter entfernt ist, passt der Pizzakarton nicht hinein.“ Dies wird als „Chain-of-Thought“-Argumentation bezeichnet, aber nun enthalten die Gedanken räumliche Daten.
• Level 3: Durch Übung besser werden. Schließlich verwendeten sie eine Technik namens Reinforcement Learning (Bestärkendes Lernen). Die KI versuchte, Fragen zu beantworten, und wenn sie die Größe oder Entfernung richtig schätzte, erhielt sie eine „Belohnung“. Wenn sie falsch lag, lernte sie aus dem Fehler. Dies half der KI, ihre räumlichen Notizen noch präziser zu nutzen.

Was sie fanden

Die Ergebnisse waren beeindruckend. Die Forscher testeten ihre neue Methode auf einem Benchmark namens VSI-Bench, einem anspruchsvollen Test für räumliches Verständnis.

• Als sie dies auf ein Modell namens Qwen3-VL-8B anwandten, stieg die Punktzahl um 4,3 %.
• Als sie es auf ein stärkeres Modell namens SenseNova-SI-1.3 anwandten, stieg die Punktzahl um 1,3 %.

Aber der eigentliche Sieg lag in spezifischen Aufgaben. Die neue Methode wurde weltweit am besten darin, die Objektgröße zu schätzen (mit einer Trefferquote von 79,2 %) und die Raumgröße (mit 75,7 %). Dies sind Aufgaben, die normalerweise schwere 3D-Werkzeuge erfordern, aber diese Methode schaffte dies allein durch ihre internen „Klebezettel“.

Warum das wichtig ist

Der aufregendste Teil ist, dass die KI ihr Gehirn nicht ändern oder zusätzliche Werkzeuge mit sich führen musste. Sie hat lediglich gelernt, anders zu denken. Die Forscher zeigten auch, dass diese „Klebezettel“ real sind. Sie konnten diese Tokens zurück in 3D-Formen dekodieren und sehen, dass die KI tatsächlich die Geometrie des Raums gelernt hatte. Sie hat nicht nur geraten; sie hatte ein echtes Verständnis des Raums.

Dies deutet darauf hin, dass wir nicht größere, langsamere oder teurere KI-Modelle bauen müssen, um sie räumlich intelligent zu machen. Wir müssen ihnen nur beibringen, wie sie diese internen räumlichen Notizen erstellen und verwenden. Dies ist ein leichterer, schnellerer und flexiblerer Weg, um Maschinen die Fähigkeit zu geben, sich in unserer 3D-Welt zu bewegen, was ein riesiger Schritt nach vorn für Dinge wie Roboter ist, die in unseren Häusern navigieren müssen, oder Autos, die sicher fahren sollen.

Kurz gesagt zeigt die Arbeit, dass wir durch die Gabe der KI einer Möglichkeit, mit einfachen, internen Tokens „in 3D zu denken“, sie viel besser darin machen können, die physische Welt zu verstehen, ohne sie schwerer oder langsamer zu machen. Es ist eine kleine Änderung in der Art und Weise, wie die KI denkt, die zu einem großen Sprung in dem führt, was sie leisten kann.