LRR-Bench: Left, Right or Rotate? Vision-Language models Still Struggle With Spatial Understanding Tasks

Die Studie „LRR-Bench" stellt fest, dass Vision-Language-Modelle bei der räumlichen Erfassung von Objekten und Bewegungen im Vergleich zum menschlichen Leistungsvermögen erhebliche Defizite aufweisen, was durch einen neu entwickelten synthetischen Benchmark untermauert wird.

Das Wesentliche

Stellen Sie sich vor, Sie geben einem sehr klugen, aber etwas verwirrten Roboter eine Brille auf und bitten ihn, die Welt zu beschreiben. Der Roboter kann Texte schreiben, Bilder erkennen und sogar Witze erzählen. Aber wenn Sie ihn fragen: „Ist das Auto links oder rechts von dem Baum?" oder „Dreht sich die Kamera gerade nach links?", stolpert er oft über seine eigenen Füße.

Genau darum geht es in dem Papier „LRR-Bench". Die Forscher haben einen neuen Test entwickelt, um zu prüfen, wie gut diese modernen KI-Modelle (die sogenannten Vision-Language Models) wirklich verstehen, wo Dinge sind und wie sie sich bewegen.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der „Raum-Blindheit"-Effekt

Stellen Sie sich vor, Sie schauen sich ein Foto an. Für uns Menschen ist es sofort klar: „Der Hund ist links, die Katze ist rechts." Für die KI ist das oft wie ein Puzzle, bei dem die Teile durcheinandergeraten sind.
Die Forscher sagen: Diese KIs sind wie Gastarbeiter, die eine fremde Sprache perfekt sprechen, aber den Weg zum Bahnhof nie finden. Sie können beschreiben, was sie sehen, aber sie haben kein echtes Gefühl für den Raum (Links/Rechts, Oben/Unten, Drehungen).

2. Der neue Test: LRR-Bench (Links, Rechts oder Drehen?)

Um das zu testen, haben die Forscher einen neuen Spielplatz gebaut, den sie LRR-Bench nennen.

• Warum ein neuer Spielplatz? Frühere Tests waren wie alte Schulbücher, die die KI schon auswendig gelernt hatte (sie waren „verseucht"). Deshalb haben die Forscher alles neu erschaffen. Sie nutzen Computerprogramme (wie Minecraft oder künstliche Bild-Generatoren), um tausende von Bildern zu erstellen, die es in der echten Welt so noch gar nicht gibt. Das ist wie ein neues Videospiel-Level, das noch niemand vorher gespielt hat.
• Was wird getestet?
  • Absolute Position: „Ist der Ball in der linken unteren Ecke?" (Wie ein Suchspiel).
  • 3D-Raum & Bewegung: „Dreht sich die Kamera?" oder „Bewegt sich das Objekt?" (Wie ein Film, bei dem man den Regisseur im Kopf haben muss).

3. Die Ergebnisse: Die KI stolpert, der Mensch fliegt

Die Forscher haben 20 der klügsten KIs der Welt auf diesen Test angesetzt und sie mit echten Menschen verglichen. Das Ergebnis war erschütternd:

• Der Mensch: Wir Menschen haben den Test fast perfekt bestanden (wie ein Profi-Spieler, der das Level im Schlaf schafft).
• Die KI: Die besten KIs haben bei den einfachen Aufgaben (nur „Links oder Rechts" auf einem statischen Bild) noch halbwegs mitgemacht. Aber sobald es um Bewegung oder Drehungen ging, landeten viele KIs bei Null Punkten.
  • Vergleich: Es ist, als würde ein Schüler, der Mathe-Abitur hat, plötzlich versuchen, ein Flugzeug zu steuern. Er weiß die Formeln, aber er versteht nicht, wie sich das Flugzeug im dreidimensionalen Raum verhält.

4. Die überraschenden Entdeckungen

Das Papier bringt noch ein paar wichtige Erkenntnisse ans Licht, die wie Warnsignale für die Zukunft der KI sind:

• „Nachdenken" hilft nicht immer: Man dachte vielleicht, wenn man der KI sagt: „Denk erst mal nach, bevor du antwortest" (wie bei einem Rätsel), würde sie besser werden. Das Gegenteil war oft der Fall! Bei komplexen räumlichen Aufgaben führte das „Nachdenken" dazu, dass die KI sich selbst verwirrte und falsche Antworten gab. Es ist, als würde jemand, der einen Weg sucht, durch zu viel Nachdenken den Kompass verlieren.
• Größe ist nicht alles: Je größer das Gehirn der KI (mehr Parameter), desto besser sollte sie sein, oder? Nicht bei diesem Test! Manchmal waren die riesigen Modelle sogar schlechter als die kleinen.
• Spezialtraining hilft nicht: KIs, die extra auf 3D-Daten trainiert wurden, waren nicht automatisch besser. Es scheint, als würden sie die Regeln des Raumes einfach nicht verstehen, sondern nur Muster auswendig lernen.

5. Was bedeutet das für uns?

Dieser Test ist wie ein Krankheitstest für die räumliche Intelligenz der KI.
Er zeigt uns: Unsere KI-Assistenten sind zwar toll beim Schreiben von E-Mails oder Erklären von Bildern, aber sie sind blind für die Physik der Welt.

• Warum ist das wichtig? Wenn wir KI in autonome Autos oder Roboter stecken, die Dinge greifen sollen, ist räumliches Verständnis überlebenswichtig. Ein Roboter, der nicht versteht, ob ein Objekt links oder rechts ist, oder ob er sich selbst dreht, wird gegen die Wand fahren oder das Werkzeug fallen lassen.

Fazit

Die Forscher sagen im Grunde: „Wir haben einen neuen Spiegel gebaut, und darin sehen wir, dass unsere KIs noch sehr kindlich sind, wenn es um den Raum geht." Sie können Bilder sehen, aber sie können den Raum nicht fühlen. Bis die KIs diesen Test bestehen, müssen wir vorsichtig sein, wenn wir sie in Situationen schicken, die echtes räumliches Verständnis erfordern.

Kurz gesagt: Die KI kann die Welt beschreiben, aber sie kann sie noch nicht wirklich begreifen.

Technische Zusammenfassung

1. Problemstellung

Trotz der rasanten Fortschritte bei Vision-Language-Modellen (VLMs) bleibt ihre Fähigkeit, räumliche Beziehungen und Bewegungen präzise zu erfassen, ein wenig erforschtes und kritisches Defizit. Anwendungen wie autonomes Fahren oder die Manipulation durch humanoide Roboter erfordern ein tiefes Verständnis von absoluten Positionen, relativen Bewegungen, Rotationen und 3D-Räumen.

Bestehende Benchmarks konzentrieren sich oft nur auf einfache relative Positionen (z. B. „links von", „vor") in natürlichen Bildern und nutzen dabei häufig Hilfsmodelle zur Annotation. Komplexe Szenarien wie Kamerabewegungen, Objektrotationen oder sequenzielle Bewegungsabläufe werden jedoch kaum abgedeckt. Zudem besteht das Risiko von Datenkontamination, da viele Tests auf natürlichen Bildern basieren, die möglicherweise bereits im Training der Modelle enthalten waren.

2. Methodik: LRR-Bench

Die Autoren stellen LRR-Bench vor, einen vollständig synthetischen Benchmark und eine Evaluierungspipeline, die räumliches Verständnis in zwei Hauptkategorien unterteilt:

• Absolute räumliche Verständnis (2D):

  • Position (Pos.): Erkennung, ob ein Objekt an einer bestimmten Stelle (z. B. unten links) in einem Bild ist.
  • Position Combination (Pos. C.): Analyse mehrerer Teilbilder in einem Composite-Bild, um die Position von Objekten in jedem Teilbild zu bestimmen.
  • Position Sequence (Pos. S.): Bewertung der räumlichen Beziehung über eine Folge von Bildern hinweg, wobei die Bilder unabhängig voneinander sind.
  • Generierung: Nutzung von Diffusionsmodellen (Flux.1-S) zur Bildgenerierung, gefiltert durch GroundingDINO (zur Objekterkennung) und SAM (zur Segmentierung).

• 3D-Räumliches Verständnis (Bewegung und Rotation):

  • Tiefe (Dep.): Bestimmung, welches Objekt im Vordergrund steht.
  • Kamera-Rotation (Ca. R.) & Kamera-Bewegung (Ca. M.): Erkennung der Rotationsrichtung oder Bewegungsrichtung der Kamera in einer Bildsequenz.
  • Objekt-Richtung (Obj. H. D.) & Objekt-Bewegung (Obj. M. D.): Bestimmung der Kopf- bzw. Bewegungsrichtung eines Objekts (z. B. eines Schafs in Minecraft).
  • Objekt-Bewegung (Obj. M.): Unterscheidung, ob sich ein Objekt bewegt hat, wenn sich gleichzeitig auch die Kamera bewegt (Herausforderung: Trennung von relativer und absoluter Bewegung).
  • Generierung: Nutzung der Minecraft-Umgebung zur Erstellung konsistenter 3D-Sequenzen mit kontrollierten Kameraparametern und Objektbewegungen.

Pipeline: Die Daten werden synthetisch generiert, um Kosten zu senken und Datenkontamination zu verhindern. Ein Filterprozess (GroundingDINO, SAM, Depth-Anything-V2) sichert die Qualität der Samples.

3. Schlüsselerkenntnisse und Ergebnisse

Die Studie evaluierte über 20 State-of-the-Art-VLMs (einschließlich GPT-4o, Qwen-VL, InternVL, LLaVA-Varianten) sowie menschliche Teilnehmer.

• Massive Lücke zu menschlicher Leistung: Während Menschen in allen Aufgaben fast perfekte Ergebnisse (ca. 90–100 %) erzielen, schneiden VLMs in den meisten komplexen Aufgaben nahe am Zufallsglück ab. Nur bei den einfachsten Aufgaben (einfache Positionsbestimmung) erreichen einige Modelle annähernd menschliches Niveau.
• Versagen bei 3D-Verständnis: Modelle scheitern fast vollständig bei Aufgaben, die 3D-Rekonstruktion oder Verfolgung von Bewegungen erfordern (z. B. Kamera-Bewegung, Objekt-Bewegung). Die besten Modelle erreichen hier oft Scores nahe Null.
• Skalierungsgesetze sind ineffektiv: Eine Vergrößerung der Modellparameter (von 7B bis 72B) führt nicht zu einer konsistenten Verbesserung der räumlichen Fähigkeiten.
• Fehler durch Reasoning (CoT): Die Anwendung von Chain-of-Thought (CoT) oder explizitem „Denken vor Antworten" verbessert die Leistung nicht konsistent. Bei komplexen räumlichen Aufgaben (z. B. Kamera-Rotation) führt Reasoning sogar zu einer signifikanten Verschlechterung der Ergebnisse, da es Halluzinationen fördert.
• Negative Auswirkungen von Fine-Tuning: Modelle, die speziell auf 3D-Datensätzen (wie 3DSRBench) oder mit Präferenzoptimierung (MPO) feinabgestimmt wurden, performten in vielen Fällen schlechter als ihre Basisversionen. Dies deutet darauf hin, dass aktuelle Trainingsstrategien räumliches Verständnis nicht effektiv verbessern.
• Kein universeller Gewinner: Kein einzelnes Modell oder keine Prompting-Strategie ist in allen Kategorien überlegen. Modelle haben spezifische Stärken (z. B. bei statischen Positionen), versagen aber bei dynamischen 3D-Szenarien.

4. Hauptbeiträge

1. LRR-Bench Dataset & Pipeline: Einführung eines vollständig synthetischen Benchmarks, der kostengünstig skalierbar ist und durch die Vermeidung natürlicher Bilder das Problem der Datenkontamination eliminiert.
2. Granulare Taxonomie: Eine detaillierte Aufteilung des räumlichen Verständnisses in absolute Positionen, 3D-Rotation und 3D-Bewegung, unterteilt in Kamera- und Objektperspektiven.
3. Umfassende Evaluation: Die erste systematische Evaluierung einer breiten Palette von VLMs (inkl. kommerzieller und Open-Source-Modelle) unter verschiedenen Bedingungen (direkte Antwort vs. Reasoning, mit/ohne 3D-Fine-Tuning).
4. Kritische Erkenntnisse: Die Demonstration, dass aktuelle Fortschritte in der Größe und Architektur von VLMs nicht automatisch zu einem besseren räumlichen Verständnis führen und dass einfache Reasoning-Strategien sogar kontraproduktiv sein können.

5. Bedeutung und Ausblick

Die Arbeit zeigt auf, dass räumliches Verständnis eine fundamentale Schwachstelle aktueller multimodaler KI-Systeme darstellt, die für sicherheitskritische Anwendungen (Robotik, autonomes Fahren) noch nicht gelöst ist. Die Ergebnisse widerlegen die Annahme, dass größere Modelle oder reine Skalierung dieses Problem lösen.

Der Benchmark bietet eine notwendige Grundlage für die zukünftige Forschung, um Modelle zu entwickeln, die nicht nur visuelle Muster erkennen, sondern echte physikalische und geometrische Zusammenhänge in 3D-Räumen verstehen. Die Verfügbarkeit von Code und Daten (GitHub) fördert die Reproduzierbarkeit und Weiterentwicklung in diesem Bereich.