SPARGen: Unifying Spatial Perception and Reasoning through Native Multimodal Generation

Stellen Sie sich vor, Sie betrachten ein Foto eines unordentlichen Wohnzimmers. Für Ihre Augen ist es nur ein flaches Bild aus Farben und Formen. Aber für einen Computer, der versucht, die Welt zu verstehen, ist dieses Bild ein Puzzle. Er muss herausfinden, wie weit das Sofa entfernt ist, wo die Kamera stand, als das Foto aufgenommen wurde, und wie sich Objekte bewegen würden, wenn man um sie herumgehen würde. Dieses wissenschaftliche Feld wird „räumliche Wahrnehmung“ (Spatial Perception) genannt, und es ist der Unterschied zwischen einem Roboter, der gegen Wände stößt, und einem, der sich elegant durch einen Raum bewegen kann. Lange Zeit behandelten Wissenschaftler die verschiedenen Teile dieses Puzzles als separate Aufgaben. Ein Team baute Roboter, die gut darin waren, Entfernungen zu messen (Geometrie), während ein anderes Team Modelle entwickelte, die exzellent darin waren, Fragen zu beantworten wie: „Was befindet sich links neben der Lampe?“. Aber genau wie das menschliche Gehirn nicht aus separaten „Distanz“- und „Logik“-Zentren besteht, die niemals miteinander kommunizieren, fehlten diesen Computermodellen die Chance, voneinander zu lernen.

Hier kommt SPARGen ins Spiel, ein neuer Ansatz, der versucht, einem einzigen Computermodell all dies gleichzeitig beizubringen. Stellen Sie sich das wie einen hochbegabten Künstler vor, der nicht nur ein Bild zeichnet, sondern auch eine Geschichte darüber schreibt und die exakte Physik berechnet, wie die Objekte in seiner Zeichnung fallen würden, wenn sich die Schwerkraft ändern würde. Anstatt verschiedene Werkzeuge zur Messung von Tiefe, zur Verfolgung von Bewegungen oder zum Beantworten von Fragen zu verwenden, nutzt SPARGen ein einziges, vereintes „Gehirn“, das lernt, all diese Antworten gleichzeitig zu generenieren. Es betrachtet die Welt nicht als eine Sammlung separater Aufgaben, sondern als eine einzige, verbundene Geschichte, in der Geometrie und Sprache nur unterschiedliche Arten sind, dieselbe Szene zu beschreiben.

Das Problem: Der „Spezialisten“-Engpass

Jahrelang war der Standardweg, Computer über den Raum zu lehren, darin bestand, für jeden Job einen „Spezialisten“ einzustellen. Wenn Sie wissen wollten, wie tief eine Szene war, fragten Sie ein Tiefenmessmodell. Wenn Sie wissen wollten, wo die Kamera war, fragten Sie ein Pose-Estimation-Modell. Wenn Sie wissen wollten, was hinter dem Sofa war, fragten Sie ein Sprachmodell.

Das Problem bei diesem Ansatz ist, dass diese Spezialisten selten miteinander kommunizieren. Das Modell, das die Tiefe des Raums kennt, hilft dem Modell, das versucht, eine Frage über den Raum zu beantworten, nicht unbedingt. Es ist wie ein Koch, der zwar hervorragend Gemüse schneiden kann, aber den Bäcker, der das Brot backt, noch nie getroffen hat; sie können nicht zusammenarbeiten, um ein perfektes Mahl zuzubereiten. Darüber hinaus verließen sich viele dieser Modelle auf zusätzliche, klobige Add-ons, um ihre Berechnungen durchzuführen, was sie langsam und kompliziert machte.

Die Lösung: Der „Universelle Geschichtenerzähler“

SPARGen ändert das Spiel, indem es als nativer multimodaler Generator agiert. Anstatt ein Spezialist zu sein, ist es ein Generalist, der zwei Sprachen fließend spricht: Bilder und Text.

Hier ist der magische Trick: SPARGen behandelt alles als eine „Generierungsaufgabe“.

1. Für die „Bild“-Aspekte: Wenn es die Tiefe, Punktwolken (eine 3D-Karte aus Punkten) oder optischen Fluss (wie Pixel zwischen Frames sich bewegen) bestimmen muss, „generiert“ es ein neues Bild. Es berechnet nicht nur eine Zahl; es malt ein Bild, bei dem die Helligkeit eines Pixels verrät, wie weit etwas entfernt ist.
2. Für die „Text“-Aspekte: Wenn es eine Frage beantworten muss wie „Was befindet sich rechts neben dem weißen Tisch?“, generiert es eine Sequenz von Wörtern, genau wie ein Chatbot.

Das Paper bezeichnet dies als Mixture-of-Transformer-Experts (MoT) Backbone. Stellen Sie sich eine riesige Bibliothek vor, in der verschiedene „Experten“ (spezialisierte KI-Gehirne) im selben Gebäude leben. Ein Experte ist gut darin, Texte zu lesen, ein anderer ist gut darin, Bilder zu verstehen, und ein weiterer ist gut in Mathematik. SPARGen lässt all diese Experten am selben Tisch sitzen und miteinander plaudern. Wenn Sie eine Frage stellen, tragen sie alle ihr Wissen in das Gespräch ein, anstatt isoliert zu arbeiten.

Wie es funktioniert: Das Zwei-Spuren-System

SPARGen basiert auf einer Grundlage namens Bagel, einem Modell, das bereits gut darin war, Bilder und Text zu verstehen. Die Forscher haben es aufgerüstet, um die „räumlichen“ Aspekte zu handhaben, ohne neue, seltsame Hardware oder separate mathematische Module hinzuzufügen.

• Der Text-Pfad (Der autoregressive Pfad): Wenn das Modell eine strukturierte Antwort geben muss, wie etwa die Position der Kamera (Rotation und Distanz) oder einen Satz, der den Raum beschreibt, schreibt es dies Wort für Wort (oder Token für Token) auf. Es ist wie ein Tipper, der einen Satz Buchstabe für Buchstabe tippt und dabei den Kontext dessen nutzt, was zuvor kam, um zu entscheiden, was als Nächstes kommt.
• Der Bild-Pfad (Der Rectified Flow Pfad): Wenn das Modell eine dichte Karte ausgeben muss (wie eine vollständige Tiefenkarte für jeden einzelnen Pixel), verwendet es eine Technik namens Rectified Flow. Denken Sie an einen Bildhauer, der mit einem Block aus Rauschen (Statik) beginnt und diesen langsam in eine klare Form meißelt. Das Modell beginnt mit einem verschwommenen, zufälligen Bild und lässt es in eine präzise Tiefenkarte oder Punktwolke „fließen“, geleitet von der Anweisung, die Sie gegeben haben.

Die Schönheit dieses Systems liegt darin, dass es nicht gesagt werden muss: „Jetzt mache Mathe“ oder „Jetzt Sprache“. Es schaut einfach auf die Anweisung (z. B. „Schätze die Tiefe“ oder „Was ist auf der rechten Seite?“) und weiß, welchen „Pfad“ es nutzen muss, um die Antwort zu generenieren.

Was sie fanden: Ein Modell, um alle zu regieren

Die Forscher testeten SPARGen bei einer Vielzahl von Aufgaben, von der Messung der Tiefe eines Raumes über die Bestimmung, wie sich ein Auto in einem Video bewegt, bis hin zum Beantworten schwieriger räumlicher Fragen.

Die Ergebnisse:

• Es ist ein Jongleur: SPARGen war in der Lage, auf all diese verschiedenen Aufgaben wettbewerbsfähig zu performen, indem es nur ein einziges Modell nutzte. Es benötigte kein separates „Tiefenmodell“ oder ein separates „Flow-Modell“.
• Es schlägt die Spezialisten: In vielen Benchmarks schnitt SPARGen so gut ab wie Modelle, die speziell für nur eine dieser Aufgaben gebaut wurden, oder sogar besser. Beispielsweise erreichte SPARGen auf dem KITTI-Datensatz (ein Standardtest dafür, wie gut ein Modell die Bewegung in der Sicht eines Autos verfolgt) einen End-Point Error (EPE) von 4,09 und einen F1-all Score von 13,34 und schlug damit spezialisierte Modelle wie RAFT (5,03 EPE) und FlowFormer (4,10 EPE).
• König des logischen Schlussfolgerns: Im Bereich des räumlichen Denkens (Fragen beantworten wie „Wenn ich hier stehe, was ist auf meiner rechten Seite?“) dominierte SPARGen die Konkurrenz. Auf dem SPAR Benchmark erzielte es im Durchschnitt 79,25 und übertraf damit signifikant andere Open-Source-Modelle wie Qwen2.5-VL-72B (44,80) und sogar das proprietäre Schwergewicht GPT-4o (43,27).
• Die Kraft der Mischung: Das Paper legt nahe, dass diese Aufgaben sich tatsächlich gegenseitig unterstützen. Als die Forscher das „Geometrie“-Training entfernten (das Modell über 3D-Formen zu lehren), wurde das Modell schlechter darin, Fragen zu beantworten. Als sie das „Reasoning“-Training entfernten, wurde das Modell etwas schlechter darin, 3D-Formen zu verstehen. Dies impliziert, dass das Lernen, die Welt in 3D zu sehen, dem Modell hilft, Sprache zu verstehen, und das Lernen von Sprache dem Modell hilft, den 3D-Raum zu verstehen.

Der Haken: Es ist noch nicht perfekt

Obwohl die Ergebnisse beeindruckend sind, weisen die Autoren vorsichtig auf eine Einschränkung hin. Da SPARGen einen VAE (Variational Autoencoder) verwendet, um Bilder zu komprimieren und zu generieren, muss es die 3D-Welt in ein kleineres, komprimiertes Format pressen. Diese Kompression kann manchmal die sehr scharfen Kanten von Objekten verwischen oder es schwierig machen, exakte physikalische Messungen (wie „dieser Tisch ist genau 1,23 Meter entfernt“) zu erhalten. Es ist großartig darin, die Struktur und das Layout zu verstehen, aber es ist vielleicht nicht das beste Werkzeug für einen Schreiner, der millimetergenaue Präzision benötigt.

Das große Ganze

SPARGen legt nahe, dass wir nicht für jede räumliche Aufgabe ein anderes Robotergehirn bauen müssen. Stattdessen können wir ein flexibles, generatives Gehirn bauen, das lernt, die Geometrie der Welt gleichzeitig zu „imaginieren“ und darüber zu „sprechen“. Durch die Vereinigung dieser Fähigkeiten lernt das Modell ein reicheres, konsistenteres Verständnis des Raums, was beweist, dass der Weg zu wahrer räumlicher Intelligenz darin liegen könnte, die Trennung von Mathematik und Bedeutung aufzuheben.