💻 computer science

3D Primitives are a Spatial Language for VLMs

Dieser Beitrag führt 3D-geometrische Primitiven, die als Code ausgedrückt sind, als eine leistungsfähige räumliche Sprache für Vision-Language-Modelle ein und zeigt anhand des SpatialBabel-Benchmarks, der trainingsfreien Code-CoT-Inferenzstrategie und der selbstüberwachten S $^{3}$ -FT-Feinabstimmungsmethode, dass diese Zwischenrepräsentation das räumliche Schlussfolgern erheblich verbessert und sich über verschiedene VLM-Architekturen hinweg generalisieren lässt, ohne menschliche Labels zu benötigen.

Ursprüngliche Autoren: Junze Liu, Kun Qian, Florian Dubost, Kai Zhong, Arvind Srinivasan, Nan Chen, Anping Wang, Sam Zhang, Alejandro Mottini, Qingjun Cui, Tian Wang

Veröffentlicht 2026-05-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junze Liu, Kun Qian, Florian Dubost, Kai Zhong, Arvind Srinivasan, Nan Chen, Anping Wang, Sam Zhang, Alejandro Mottini, Qingjun Cui, Tian Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, künstlerischen Roboter, der ein Bild eines Raums betrachten und es Ihnen beschreiben kann. Aber hier ist das Seltsame: Wenn Sie diesen Roboter fragen „Wie viele Stühle sind auf diesem Bild?", könnte er falsch raten und „fünf" sagen, obwohl es nur drei sind. Er scheint verwirrt.

Wenn Sie jedoch denselben Roboter bitten, ein Computerprogramm zu schreiben, um diesen exakten Raum mit einfachen Formen (wie Würfeln, Kugeln und Zylindern) zu bauen, leistet er hervorragende Arbeit. Er schreibt Code, der genau drei Würfel an den richtigen Stellen platziert. Er kennt die Antwort perfekt, kann sie aber einfach nicht in klarem Englisch ausdrücken.

Diese Arbeit mit dem Titel „3D Primitives are a Spatial Language for VLMs" untersucht diesen seltsamen Widerspruch und nutzt ihn, um diese Roboter intelligenter zu machen.

Hier ist die Aufschlüsselung ihrer Entdeckung und Lösung, unter Verwendung einfacher Analogien:

1. Das Problem: Der „zweisprachige" Roboter

Die Forscher stellten fest, dass Vision-Language Models (VLMs) wie Menschen sind, die eine geheime Sprache (Code) fließend beherrschen, aber eine gemeinsame Sprache (Englisch) im Hinblick auf den Raum nur schwer meistern.

Das Paradoxon: Der Roboter kann mit Code (wie LEGO-Anweisungen) ein perfektes 3D-Modell einer Szene erstellen, aber wenn Sie ihn eine einfache Frage zu derselben Szene stellen, halluziniert er (erfindet Dinge).
Der Test (SpatialBabel): Sie erstellten einen riesigen Test namens SpatialBabel. Stellen Sie sich vor, Sie geben dem Roboter dasselbe Bild und bitten ihn, es mit sechs verschiedenen „Sprachen" (wie Three.js, Unity oder sogar einem speziellen JSON-Format) neu zu erstellen.
Der Schock: Die Leistung des Roboters variierte stark, je nachdem, welche Sprache er verwenden musste. In einer Sprache war er ein Meisterbauer; in einer anderen ein ungeschickter Amateur. Dies bewies, dass das „räumliche Gehirn" des Roboters mit seinen „Programmiergewohnheiten" verstrickt war.

2. Die erste Lösung: „Code-CoT" (Zuerst in Code denken)

Da der Roboter besser darin ist, Code zu schreiben, als Fragen zu beantworten, versuchten die Forscher einen neuen Trick namens Code-CoT (Code Chain-of-Thought).

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein kniffliges mathematisches Textproblem zu lösen. Anstatt sofort die Antwort zu erraten, schreiben Sie zuerst die Gleichung auf ein Blatt Papier. Sobald die Gleichung geschrieben ist, wird die Antwort offensichtlich.
Funktionsweise: Wenn eine Frage wie „Ist der rote Würfel links von der blauen Kugel?" gestellt wird, muss der Roboter zuerst den Code schreiben, um die Szene zu erstellen. Sobald der Code geschrieben ist, „liest" der Roboter seinen eigenen Code, um die Antwort zu finden.
Das Ergebnis: Dies funktionierte bei Robotern, die bereits gut im Codieren waren, wie ein Zauber. Es steigerte ihre Genauigkeit erheblich, da es sie zwang, ihr starkes „Code-Gehirn" zu nutzen, um die „englische Frage" zu lösen.

3. Die zweite Lösung: „S3-FT" (Der sich selbst unterrichtende Roboter)

Was ist mit Robotern, die noch nicht gut im Codieren sind? Sie können den Trick „zuerst Code schreiben" nicht anwenden, weil ihr Code unordentlich ist.

Die Forscher entwickelten eine Methode namens S3-FT (Self-Supervised Spatial Fine-Tuning).

Die Analogie: Stellen Sie sich einen Schüler vor, der schlecht im Zeichnen ist. Anstatt einen Lehrer zu engagieren, malt der Schüler ein Bild, betrachtet dann sofort seine eigene Zeichnung, um zu sehen, was richtig und falsch war, und versucht dann, es erneut zu zeichnen. Er ist sein eigener Lehrer.
Funktionsweise:
1. Der Roboter betrachtet ein einfaches Bild geometrischer Formen (Würfel, Kugeln).
2. Er versucht, Code zu schreiben, um dieses Bild neu zu erstellen.
3. Die Forscher nehmen diesen Code und wandeln ihn automatisch in einen „Spickzettel" um (eine strukturierte Liste von Fakten: „Es gibt einen roten Würfel an Position X").
4. Sie füttern diesen Spickzettel als Lektion zurück zum Roboter und bringen ihm bei, Fragen basierend auf seinem eigenen Code korrekt zu beantworten.
Das Ergebnis: Der Roboter lernte, den Raum zu verstehen, ohne menschliche Lehrer oder teure Labels. Er übertrug das „räumliche Wissen", das in seiner Codierfähigkeit verborgen war, auf seine allgemeinen Gesprächsfähigkeiten.

4. Die große Erkenntnis

Die Arbeit kommt zu dem Schluss, dass 3D-geometrische Formen (Primitiven), die in Code ausgedrückt werden, als „universeller Übersetzer" für diese Roboter fungieren.

Als Diagnosewerkzeug: Wenn ein Roboter eine räumliche Frage nicht beantworten kann, aber erfolgreich Code schreibt, wissen wir, dass das Problem nicht darin besteht, dass er die Objekte „nicht sieht"; es ist einfach so, dass er seine Vision nicht in Worte übersetzen kann.
Als Wortschatz: Indem wir den Roboter zwingen, über „Würfel, Kugeln und Zylinder" via Code nachzudenken, geben wir ihm einen strukturierten Wortschatz, um die Welt zu verstehen.

Kurz gesagt: Die Forscher stellten fest, dass diese KI-Modelle mehr über den Raum wissen, als sie zugeben. Indem wir sie dazu bringen, in der Sprache der 3D-Bausteine (Code) zu „sprechen", können wir dieses verborgene Wissen freischalten und einfache Fragen korrekt beantworten, ganz ohne dass ein Mensch ihnen die Antworten beibringen muss.

Technische Zusammenfassung: 3D-Primitiven als räumliche Sprache für VLMs

Problemstellung

Vision-Language-Modelle (VLMs) zeigen ein auffälliges Paradoxon hinsichtlich des räumlichen Denkens. Während sie bei einfachen räumlichen Fragen in natürlicher Sprache (z. B. Zählen von Objekten oder Identifizieren von Beziehungen) oft versagen, wenn ihnen ein Bild präsentiert wird, können dieselben Modelle häufig ausführbaren Code (z. B. Three.js, Unity C#) generieren, der die 3D-Szene mit korrekten Objektanzahlen, Klassen und ungefähren Positionen rekonstruiert. Dies deutet darauf hin, dass VLMs latentes räumliches Wissen besitzen, das über direkte Abfragen in natürlicher Sprache nicht zugänglich ist. Die Arbeit postuliert, dass diese Diskrepanz ein „Task-Routing-Versagen" darstellt, bei dem die Fähigkeit des Modells, räumliches Verständnis durch strukturierten Code zu externalisieren, nicht effektiv auf direkte Frage-Antwort-Aufgaben übertragen wird. Darüber hinaus vermischen bestehende Benchmarks oft räumliche Kompetenz mit Vertrautheit zu einem bestimmten Ausgabeformat (natürliche Sprache oder eine einzige Codiersprache) und isolieren dabei keine echten Fähigkeiten des räumlichen Denkens.

Methodik

Die Autoren schlagen ein Framework vor, das auf 3D-geometrischen Primitiven (Würfel, Kugeln, Zylinder usw.) basiert, die in ausführbarem Code ausgedrückt werden, als diagnostisches Werkzeug und Zwischenrepräsentation. Die Methodik besteht aus drei Hauptkomponenten:

1. SPATIALBABEL-Benchmark

Um das räumliche Verständnis von der Vertrautheit mit dem Format zu entkoppeln, führen die Autoren SPATIALBABEL ein, einen Benchmark, der VLMs in zwei Szenen-Domänen und sechs Szenen-Code-Sprachen bewertet.

Szenen-Domänen:
- Primitive Split: 1.000 prozedural generierte Blender-Szenen mit 3–20 geometrischen Primitiven ohne wesentliche Verdeckung. Dies liefert exakte Ground-Truth-Daten mit null Label-Rauschen.
- Hypersim Split: 405 fotorealistische Innenszenen mit komplexen Geometrien und erheblicher Verdeckung, die als schwierigere Validierungsdomäne dienen.
Szenen-Code-Sprachen: Der Benchmark bewertet die Rekonstruktion über sechs verschiedene Formate: Three.js (JavaScript), Unity C#, Blender Python, Open3D Python, Canonical JSON (ein deklaratives Schema, das in dieser Arbeit eingeführt wird) und eine Scene Language DSL.
Aufgaben:
- Reconstruct: Generieren ausführbaren Codes zur Neuerstellung der Szene.
- QA: Beantworten von Fragen in natürlicher Sprache zur Szene (Lokalisierung, Beziehung, Zählen, Existenz, Vergleich).
Metriken: Eine composite SpatialBabel-Reconstruct-Score, die Parse-Rate, F1 (Hungarian-matched-Objekt-Matching), Klassen-Genauigkeit, Positions-Genauigkeit und Skalengenauigkeit aggregiert.

2. Code-CoT (Code Chain-of-Thought)

Eine trainingsfreie Inferenzstrategie, die entwickelt wurde, um die Lücke zur Inferenzzeit zu schließen.

Mechanismus: Anstatt eine räumliche Frage direkt zu beantworten, wird das Modell zunächst aufgefordert, die Szene als auf Primitiven basierenden ausführbaren Code zu rekonstruieren. Anschließend beantwortet es die räumliche Frage unter Bedingung seines eigenen strukturierten Outputs.
Begründung: Dies zwingt das Modell, sein Denken durch die „räumliche Sprache" des Codes zu leiten, in der es eine höhere Kompetenz gezeigt hat, bevor es dieses Verständnis zurück in natürliche Sprache übersetzt.

3. S3-FT (Self-Supervised Spatial Fine-Tuning)

Eine Intervention zur Trainingszeit, um räumliches Wissen in allgemeines visuelles Denken zu destillieren, speziell mit dem Ziel, Modelle mit schwächeren Codierfähigkeiten zu adressieren.

Pipeline:
1. Pseudo-GT-Generierung: Das Basis-VLM generiert Three.js-Rekonstruktionscode für Primitive-Szenen. Ein syntaktischer Qualitätsfilter stellt sicher, dass der Code gültig ist.
2. Annotationsextraktion: Der generierte Code wird deterministisch in strukturierte räumliche Annotationen (Objektanzahlen, Klassen, 3D-Posen, Relationen) parsen. Diese werden mit regelgenerierten Frage-Antwort-Paaren in natürlicher Sprache und Szenenbeschreibungen kombiniert.
3. Fine-Tuning: Dasselbe VLM wird (unter Verwendung von LoRA) auf dieser Multi-Task-Mischung feinabgestimmt.
Hauptmerkmal: Der Prozess ist vollständig selbstüberwacht; er erfordert keine menschlichen Labels und kein externes „Lehrer"-Modell, da das Überwachungssignal aus der hochgenauen Code-Generierung des Modells selbst abgeleitet wird.

Hauptergebnisse

Benchmark-Ergebnisse (SPATIALBABEL)

Sprabhängige Leistung: Die Leistung von VLMs variiert drastisch zwischen den Szenen-Code-Sprachen. Für dasselbe Modell auf denselben Bildern können die F1-Scores der Objekterkennung je nach Zielsprache um bis zu 5,7× variieren.
Schwache Korrelation: Es besteht eine schwache Korrelation (Pearson $r \approx 0,12$ ) zwischen dem Rekonstruktions-F1-Score eines Modells und seiner direkten QA-Genauigkeit. Ein Modell kann beim Generieren von Code hochpräzise sein, aber schlecht bei der Beantwortung direkter Fragen, was das Task-Routing-Versagen bestätigt.
Wirksamkeit von Code-CoT: Code-CoT verbessert die QA-Scores auf Primitive-Szenen um bis zu +6,4 % (z. B. Gemini-2.5-Pro) und hebt die Genauigkeit von CV-Bench-3D für echte Fotos um +5,0 % für Modelle mit starken Codierfähigkeiten. Es zeigt jedoch abnehmende Grenzerträge oder Regression bei unübersichtlichen, fotorealistischen Szenen, wo das Primitive-Vokabular unzureichend ist.

S3-FT-Leistung

In-Distribution-Gewinne: Das Training nur mit Primitive-Bildern verbessert die Leistung bei der SpatialBabel-Primitive-QA-Aufgabe erheblich. Für Qwen3-VL-8B erzielt S3-FT Verbesserungen von +4,6 % bis +8,6 % über verschiedene Inferenzmodi hinweg.
Out-of-Distribution-Transfer: Entscheidend ist, dass das Training nur mit Primitive-Szenen auf allgemeine Benchmarks für visuelles Denken übertragbar ist.
- HallusionBench: +17 % Verbesserung.
- CV-Bench-2D: +9,7 % Verbesserung.
- CV-Bench-3D: +3,3 % Verbesserung.
Generalisierung: Die Methode überträgt sich auf verschiedene Modellfamilien (Qwen, InternVL, LLaVA) und Skalen, wobei die Gewinne kapazitätsabhängig sind.

Bedeutung und Behauptungen

Die Arbeit stellt fest, dass 3D-geometrische Primitiven in ausführbarem Code sowohl als diagnostisches Werkzeug als auch als übertragbare räumliche Vokabel für VLMs dienen.

Diagnostisches Werkzeug: Der SPATIALBABEL-Benchmark zeigt, dass das räumliche Verständnis oft mit spezifischen Prioritäten der Code-Generierung verstrickt ist. Die großen Leistungslücken zwischen den Sprachen deuten darauf hin, dass Standard-Benchmarks möglicherweise eher Formatvertrautheit als echtes räumliches Denken messen.
Übertragbare Vokabel: Der Erfolg von Code-CoT und S3-FT legt nahe, dass VLMs den 3D-Raum während des Pre-Trainings implizit durch geometrische Primitiven „tokenisiert" haben. Durch die Nutzung dieser strukturierten Repräsentation können Modelle latentes räumliches Wissen zugreifen, das sonst über direkte Prompts in natürlicher Sprache nicht zugänglich ist.
Selbstüberwachte Destillation: S3-FT zeigt, dass hochwertige räumliche Denkfähigkeiten in allgemeine VLMs destilliert werden können, ohne menschliche Annotation oder Lehrer-Modelle, vorausgesetzt, das Basis-Modell kann ausreichend genaue Primitive-Rekonstruktionen generieren. Dies senkt die Hürde für die Verbesserung räumlicher Fähigkeiten bei Open-Weight-Modellen.

Die Autoren schließen, dass die Methode zwar klare Grenzen bei hochkomplexen, verdeckten fotorealistischen Szenen aufweist (wo die Primitive-Näherung zusammenbricht), sie jedoch einen robusten Weg bietet, das räumliche Denken in VLMs durch die Zwischenrepräsentation von ausführbarem 3D-Code zu verbessern.