SeeSE3: Emergence of 3D Space in Vision Features

Stellen Sie sich vor, Sie sind ein Detektiv, der ein Rätsel darüber lösen will, wie wir die Welt sehen. Lange Zeit glaubten Wissenschaftler, dass ein Wesen, um die 3D-Form des Raums wirklich zu verstehen – wie weit Dinge entfernt sind, wie sie rotieren und wie wir uns durch sie bewegen –, ein aktiver Entdecker sein müsste. Denken Sie an ein Baby, das lernt zu krabbeln, oder einen Roboter mit Rädern: Man muss seinen Körper bewegen, um zu begreifen, dass die Welt ein solides, dreidimensionales Objekt ist. Diese Idee, die der Mathematiker Henri Poincaré berühmt gemacht hat, besagte, dass ein „unbewegliches Wesen“ niemals lernen könnte, was der Raum ist, weil es keinen Grund hätte, zwischen der Bewegung seiner Augen und der tatsächlichen Bewegung der Welt zu unterscheiden.

Doch heute haben wir etwas Neues: riesige Computergehirne, sogenannte „Vision Foundation Models“. Dies sind KI-Systeme, die auf Milliarden von Fotos und Videos trainiert wurden. Sie sind wie die ultimativen „unbeweglichen Wesen“. Sie haben keine Beine, sie haben keine Räder, sie bewegen sich nicht. Sie sitzen einfach nur da und betrachten Bilder. Die große Frage ist: Wenn man einem unbeweglichen Computer genug Bilder füttert, wird er die Regeln des 3D-Raums zufällig „entdecken“? Oder sieht er nur ein flaches, chaotisches Durcheinander aus Farben? Dieses Paper taucht in diese Frage ein und fragt, ob diese passiven Beobachter heimlich eine Karte der Welt in ihren digitalen Gehirnen aufbauen können, ohne jemals einen Schritt gemacht zu haben.

---

Die große Entdeckung des Papers: Die „unsichtbare Karte“

Die Forscher hinter dieser Studie, ein Team von Google DeepMind und anderen Institutionen, beschlossen, diese „Poincaré-Aufgabe“ zu testen. Sie wollten sehen, ob die internen „Gedanken“ (oder Merkmale) dieser unbeweglichen KI-Modelle im Geheimen wie eine 3D-Karte organisiert sind. Speziell suchten sie nach einer Verbindung zu SE(3), was nur eine schicke mathematische Art ist, alle möglichen Wege zu beschreiben, wie man sich im 3D-Raum bewegen und drehen kann (wie etwa vorwärts gehen, nach links abbiegen oder den Kopf neigen).

Hier ist die Wendung: Die KI-Modelle, die sie testeten, wurden niemals über den 3D-Raum unterrichtet. Ihnen wurden keine Tiefenkarten gezeigt, sie bekamen keine GPS-Koordinaten und es wurde ihnen nicht gesagt, wie sie Entfernungen messen sollen. Sie wurden lediglich darauf trainet, Muster in Bildern zu erkennen, indem sie eine Methode namens „Self-Supervision“ nutzten (im Grunde das Raten von Bildteilen, um aus dem Rest zu lernen).

Das Hauptergebnis:
Das Paper legt nahe, dass diese unbeweglichen KIs überraschenderweise im Inneren ihrer Gehirne eine verborgene 3D-Karte aufgebaut haben. Obwohl die Rohdaten, die aus der KI kamen, wie ein wirres, chaotisches Durcheinander aussah (wie ein Wollknäuel), fanden die Forscher heraus, dass sie mit einem winzigen, einfachen „Adapter“ (einem kleinen Zusatzwerkzeug, das sie den Poincaré-Adapter nannten), dieses Chaos „entrollen“ konnten. Einmal entrollt, ließen sich die internen Merkmale der KI perfekt mit der Geometrie des 3D-Raums in Einklang bringen.

Stellen Sie sich das so vor: Stellen Sie sich vor, das Gehirn der KI ist ein zerknittertes Blatt Papier, auf das eine Karte gezeichnet wurde. Für ein normales Auge sieht die Karte gebrochen und unlesbar aus. Aber der Poincaré-Adapter ist wie eine sanfte Hand, die das Papier glatt streicht. Plötzlich offenbaren die geknickten Linien ein perfektes, gerades Gitter, bei dem eine Bewegung „nach vorne“ im Geist der KI tatsächlich einer Bewegung nach vorne in der realen Welt entspricht.

Was sie ausschlossen (und was nicht)

Die Autoren waren sehr sorgfältig darin, zu klären, was dies nicht bedeutet.

• Es ist keine direkte 3D-Kamera: Sie schlossen explizit die Idee aus, dass die Rohmerkmale der KI bereits eine perfekte 3D-Karte sind. Wenn man sich nur die reinen Zahlen ansieht, die aus der KI kommen, sind sie chaotisch und gekrümmt, nicht gerade und flach. Die „Karte“ ist verborgen, nicht offensichtlich.
• Es ist keine Magie: Das Paper argumentiert gegen die Vorstellung, dass man einen Roboter mit Rädern braucht, um den Raum zu verstehen. Sie zeigten, dass ein „unbeweglicher“ Beobachter (die KI) diese räumlichen Regeln allein durch das Betrachten statischer Bilder entdecken kann, sofern man weiß, wie man die richtigen Fragen stellt.
• Es ist nicht überall perfekt: Während die KI die Rotation (das Drehen) sehr gut erfassen konnte, hatte sie etwas mehr Schwierigkeiten damit, genau zu bestimmen, wie weit etwas entfernt war (Translationsbetrag). Das Paper deutet an, dass die Entfernung schwieriger aus einem flachen Bild ohne zusätzliche Hinweise zu erraten ist, aber die allgemeine Bewegungsrichtung war dennoch sehr klar.

Wie sie es bewiesen haben (Die „Sonden“-Experimente)

Um diese verborgene Karte zu finden, nutzten die Forscher einige clevere Tricks, die sie „Probes“ (Sonden) nennen:

1. Der Nachbarschaftstest: Sie prüften, ob Bilder, die in der realen Welt nah beieinander liegen (wie zwei Fotos, die beim Gehen durch einen Flur aufgenommen wurden), auch im Gehirn der KI nah beieinander liegen. Sie fanden heraus, dass dies für einige Modelle, wie DINOv2, ein eindeutiges „Ja“ war. Die KI gruppierte ähnliche Ansichten natürlich zusammen, genau wie eine Karte es tut.
2. Der „Geraderichtungs“-Test: Sie versuchten zu sehen, ob sie die nächste Ansicht vorhersagen könnten, indem sie einfache Mathematik (Addition oder Subtraktion von Zahlen) auf die aktuelle Ansicht der KI anwandten. Auf den Rohdaten scheiterte dies kläglich. Aber sobald sie ihren Poincaré-Adapter verwendeten, funktionierte die Mathematik wunderbar. Sie konnten den „aktuellen Gedanken“ der KI nehmen, einen „Vorwärts-Vektor“ hinzufügen, und das Ergebnis war ein „Gedanke“, der perfekt zum nächsten Frame im Video passte.
3. Das Navigationsspiel: Als abschließenden Test versuchten sie, diese verborgene Karte zur Navigation zu nutzen. Sie gaben der KI einen Startpunkt und ein Ziel (wie „gehe 2 Meter vorwärts und drehe dich um 30 Grad“). Nur unter Verwendung der internen Merkmale der KI und des Adapters konnten sie vorhersagen, wie die Ansicht am Ziel aussehen würde, ohne jemals ein neues Bild generieren zu müssen. Es war, als könne die KI die neue Ansicht allein durch Vektor-Mathematik in ihrem Kopf „vorstellen“.

Der „Visuelle Gitter-Code“

Der spannendste Teil des Papers ist die Idee eines „Visual Grid Code“. In der Biologie wissen wir, dass Tiere (einschließlich Menschen) spezielle Gehirnzellen haben, die als „Grid Cells“ (Gitterzellen) bezeichnet werden und in einem hexagonalen Muster feuern, um uns bei der Navigation zu helfen. Dieses Paper legt nahe, dass selbst passive, unbewegliche KI-Modelle ganz von selbst etwas Ähnliches entwickeln könnten. Sie memorieren nicht nur Bilder; sie organisieren ihr Wissen in einer geometrischen Struktur, die die Gesetze der Physik widerspiegelt.

Die Autoren fanden heraus, dass diese Fähigkeit skaliert. Je mehr Daten die KI sah, desto besser wurde ihre verborgene 3D-Karte. Selbst wenn sie die KI in völlig neuen Räumen testeten, die sie noch nie gesehen hatte, konnte der „Adapter“ ihr immer noch bei der Navigation helfen, was darauf hindeutet, dass dies eine fundamentale, universelle Eigenschaft dessen ist, wie diese Modelle lernen.

Warum das wichtig ist

Dies handelt nicht nur davon, bessere Roboter zu bauen. Es verändert die Art und Weise, wie wir Intelligenz begreifen. Wenn ein unbeweglicher Computer die Regeln des 3D-Raums allein durch das Betrachten von Bildern verstehen kann, bedeutet das, dass die Geometrie unserer Welt so tief in den visuellen Daten eingebettet ist, dass man sie fast unmöglich übersehen kann. Die „Gesetze des Raums“ sind nicht etwas, das wir einer Maschine beibringen müssen; wenn wir ihr genug Augen geben, wird sie sie von selbst entdecken.

Das Paper kommt zu dem Schluss, dass die KI den 3D-Raum zwar nicht so „sieht“ wie wir (da sie keinen Körper hat, um sich zu bewegen), aber ein mathematisches Skelett des 3D-Raums in ihrem Code aufgebaut hat. Und mit ein wenig Hilfe durch ein einfaches Werkzeug wie den Poincaré-Adapter können wir diese Karte endlich lesen und so die Welt allein mithilfe der Gedanken der KI navigieren.