🤖 machine learning

Multimodal Language Models Cannot Spot Spatial Inconsistencies

Die Studie zeigt, dass multimodale Sprachmodelle im Vergleich zu menschlichen Beobachtern erheblich schlechter darin sind, räumliche Inkonsistenzen zwischen verschiedenen Ansichten derselben Szene zu erkennen, was auf ein fragiles und unvollständiges Verständnis der dreidimensionalen Struktur hindeutet.

Ursprüngliche Autoren: Om Khangaonkar, Hadi J. Rad, Hamed Pirsiavash

Veröffentlicht 2026-04-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Om Khangaonkar, Hadi J. Rad, Hamed Pirsiavash

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Titel: Warum KI noch nicht wirklich „sieht": Ein Test für den räumlichen Sinn

Stellen Sie sich vor, Sie gehen durch ein Zimmer. Sie sehen einen Stuhl, einen Tisch und ein Fenster. Wenn Sie nun um den Tisch herumgehen, verändert sich die Perspektive: Der Stuhl sieht von der Seite anders aus als von vorne, das Fenster scheint sich zu verschieben, und die Schatten ändern sich. Ihr Gehirn macht das automatisch und blitzschnell. Es weiß genau, wie die Welt im 3D-Raum funktioniert.

Aber was passiert, wenn Sie einem Computer zwei Fotos von demselben Raum zeigen, bei denen eines der Objekte (z. B. der Stuhl) physikalisch unmöglich positioniert ist? Kann der Computer das merken?

Genau das haben die Autoren dieses Papers untersucht. Hier ist die einfache Erklärung, was sie getan haben und was sie herausfanden:

1. Der Trick: Ein unsichtbarer „Kleber"

Die Forscher wollten testen, ob moderne KI-Modelle (die sogenannten Multimodalen Sprachmodelle oder MLLMs) wirklich verstehen, wie die Welt dreidimensional aufgebaut ist, oder ob sie nur Bilder auswendig gelernt haben.

Um das zu testen, brauchten sie ein Szenario, das für Menschen sofort „falsch" aussieht, aber für die KI schwer zu erkennen ist.

Die Methode: Sie nahmen drei Fotos desselben Raums aus leicht unterschiedlichen Blickwinkeln.
Der Eingriff: Sie schnitten ein Objekt (z. B. eine Lampe) aus dem zweiten Foto heraus und ersetzten es durch die andere Ansicht derselben Lampe aus dem dritten Foto.
Das Ergebnis: Auf dem ersten Foto sieht die Lampe normal aus. Auf dem zweiten Foto (das bearbeitet wurde) steht die Lampe an der gleichen Stelle, aber sie ist verdreht oder hat die falsche Form, als würde sie aus einer anderen Perspektive kommen. Für das menschliche Auge ist das sofort „falsch" – wie ein Puzzle-Teil, das nicht passt. Für die KI ist es jedoch eine feine Nuance.

Man kann sich das vorstellen wie einen Magier, der einen Gegenstand im Raum austauscht, aber so geschickt, dass der Rest des Raums perfekt aussieht. Nur das Objekt selbst verrät den Trick.

2. Der Test: Wer merkt den Betrug?

Die Forscher stellten dann hunderte solcher Bildpaare vor:

Menschen: Sie haben den Fehler fast immer sofort gefunden (ca. 85 % Erfolg). Unser Gehirn ist darauf trainiert, physikalische Gesetze zu verstehen.
Die KI-Modelle: Hier wurde es peinlich. Selbst die fortschrittlichsten Modelle (wie GPT-5, Gemini oder Qwen) lagen oft falsch. Ihre Erfolgsrate lag oft nur bei 30–35 %. Das ist kaum besser als zufälliges Raten.

Die Analogie: Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie einen Fehler in einem Bild finden müssen. Ein Mensch sieht sofort, dass das Bein des Stuhls in die Luft ragt. Die KI hingegen sagt vielleicht: „Nein, das ist ein normaler Stuhl" oder rät einfach eine andere Lampe als den Schuldigen.

3. Die überraschenden Entdeckungen

Das Paper zeigt nicht nur, dass die KI schlecht ist, sondern warum sie schlecht ist:

Kein echtes Verständnis: Die KI scheint nicht wirklich zu „verstehen", wie Objekte im Raum stehen. Sie erkennt eher Muster als Physik.
Zufall statt Logik: Wenn die KI falsch lag, wählte sie oft völlig andere falsche Antworten als andere Modelle. Das bedeutet, sie haben keine gemeinsame, stabile Vorstellung von 3D-Raum. Es ist, als würden fünf Menschen denselben Fehler machen, aber jeder hat eine völlig andere, verrückte Begründung dafür.
Kein „Blinzeln": Die Forscher haben geprüft, ob die KI vielleicht nur kleine Fehler im Bild (durch das Bearbeiten entstanden) erkennt. Aber nein: Selbst wenn sie extra viele dieser kleinen Fehler in das Bild einbauten, wurde die KI nicht besser. Sie sucht also nicht nach „Bildfehlern", sondern scheitert am eigentlichen räumlichen Verständnis.
Zu viel Nachdenken hilft nicht: Interessanterweise wurde die KI nicht besser, wenn man ihr mehr Rechenzeit gab, um über das Bild nachzudenken. Manchmal wurde sie sogar schlechter. Das deutet darauf hin, dass ihr das fundamentale Werkzeug fehlt, um die Welt räumlich zu begreifen.

4. Was bedeutet das für die Zukunft?

Die Botschaft ist klar: Aktuelle KI-Modelle sind wie brillante Beschreiber, aber schlechte Architekten. Sie können ein Bild sehr detailliert beschreiben („Hier ist ein roter Stuhl"), aber sie verstehen nicht wirklich, wie dieser Stuhl im Raum steht oder wie er sich bewegen würde.

Solange KI-Modelle nicht lernen, die physikalischen Gesetze unserer Welt (Schwerkraft, Perspektive, Verdeckung) wirklich zu verstehen, werden sie bei Aufgaben, die räumliches Denken erfordern, scheitern.

Fazit:
Dieses Papier ist wie ein Spiegel, der zeigt, dass unsere KI noch nicht so „klug" ist, wie wir denken. Sie kann Bilder sehen, aber sie kann die Welt dahinter nicht wirklich begreifen. Um wirklich intelligente Roboter oder Assistenten zu bauen, müssen wir ihnen beibringen, nicht nur zu beschreiben, sondern die Regeln des Raumes zu verstehen – so wie ein kleines Kind, das lernt, dass ein umgekippter Stuhl nicht einfach in der Luft schweben kann.

Titel: Multimodale Sprachmodelle können räumliche Inkonsistenzen nicht erkennen

1. Problemstellung

Räumliche Konsistenz ist eine fundamentale Eigenschaft der physischen Welt: Wenn sich eine Kamera durch eine statische Szene bewegt, ändern sich die Erscheinungsbilder von Objekten in vorhersehbaren, geometrisch konsistenten Mustern (Bezug zu Tiefe, Perspektive und Verdeckung).
Das zentrale Problem, das die Autoren untersuchen, ist die Fähigkeit von Multimodalen Large Language Models (MLLMs), diese physikalischen Gesetze zu verstehen. Während MLLMs oft hervorragende Beschreibungen einzelner Ansichten liefern, wird vermutet, dass sie versagen, wenn es darum geht, zwei Ansichten derselben Szene auf gegenseitige Inkonsistenzen zu prüfen. Die Hypothese lautet, dass aktuelle State-of-the-Art-Modelle nur ein oberflächliches Verständnis von 3D-Geometrie besitzen und keine robuste interne Weltvorstellung (World Model) für räumliche Strukturen haben. Bisherige Benchmarks testen oft deskriptive Fähigkeiten oder semantische Plausibilität, aber nicht die fundamentale physikalische Machbarkeit einer Szene.

2. Methodik

A. Synthese räumlich inkonsistenter Bildpaare
Um das Problem systematisch zu evaluieren, entwickelten die Autoren einen skalierbaren, vollautomatischen Algorithmus zur Erzeugung von „Counterfactual"-Daten (Gegenfakten).

Datenbasis: Nutzung des Hypersim-Datensatzes (multiviewe Innenraumszenen mit Instanz-Masken und Tiefeninformationen).
Prozess (Cut-and-Paste-Strategie):
1. Auswahl eines Objekts $O$ , das in drei Ansichten ( $V_1, V_2, V_3$ ) derselben Szene sichtbar ist.
2. Entfernung: Das Objekt $O$ wird aus der zweiten Ansicht ( $V_2$ ) entfernt und der Bereich mittels eines Inpainting-Modells (LaMa) rekonstruiert, um einen sauberen Hintergrund zu erhalten.
3. Einfügung: Eine Instanz von $O$ wird aus der dritten Ansicht ( $V_3$ ) extrahiert und in die rekonstruierte $V_2$ eingefügt.
4. Ergebnis: Da $V_3$ eine andere Kameraposition hat, erscheint das eingefügte Objekt in $V_2$ in einer Pose, die mit der Geometrie von $V_1 \to V_2$ physikalisch unvereinbar ist (z. B. falscher Winkel, falsche Skalierung, unmögliche Verdeckung), während der Rest der Szene konsistent bleibt.
Effizienz: Das Verfahren erzeugt über 5 Paare pro Sekunde auf einer einzelnen GPU und erfordert keine manuelle Annotation.

B. Evaluierungs-Task

Aufgabe: Gegeben ein Bildpaar ( $V_1$ und die manipulierte $V'_2$ ), muss das Modell das Objekt identifizieren, das die 3D-Konsistenz verletzt.
Format: Forced-Choice-Test. Alle Objekte in $V_1$ werden mit Buchstaben (A–Z) markiert. Das Modell muss den korrekten Buchstaben auswählen.
Datensatz: Ein manueller Filterprozess reduzierte die automatisch generierten 10.000+ Paare auf 615 hochwertige Testpaare für die finale Evaluation.

3. Wichtige Beiträge

Neue Benchmark-Methode: Einführung eines skalierbaren Algorithmus zur Erzeugung realistischer, räumlich inkonsistenter Bildpaare aus echten Multiview-Daten, die keine Artefakte von Generativmodellen (wie Zero123) enthalten.
Umfassende Evaluation: Testung einer breiten Palette von MLLMs, darunter proprietäre Modelle (GPT-5, Gemini 2.5 Pro, GPT-4o) und Open-Source-Modelle (Qwen3-VL, Llama 3.2, InternVL, etc.).
Analyse der Fehlerursachen: Unterscheidung zwischen dem Erkennen von 3D-Inkonsistenzen und dem bloßen Erkennen von Inpainting-Artefakten durch spezielle Kontrollgruppen (Self-Pasting-Baselines).
Detailierte Fehleranalyse: Untersuchung der Modellleistung in Abhängigkeit von Szenenattributen (Tiefe, Beleuchtung, physikalische Plausibilität, Objektkategorien).

4. Ergebnisse

Leistungslücke zu Menschen: Menschen erreichen eine Genauigkeit von 84,8 %. Das beste getestete Modell (GPT-5 mit „Low"-Reasoning-Budget) erreicht nur 34,2 %. Selbst spezialisierte Modelle (z. B. SpaceQwen) versagen in dieser Aufgabe.
Instabilität und Varianz:
- Die Leistung der Modelle schwankt stark in Abhängigkeit von Szenenattributen (z. B. Tiefe, Beleuchtung), während menschliche Leistung robust bleibt.
- Modelle zeigen unterschiedliche Stärken bei verschiedenen Objektkategorien (z. B. schneidet Qwen3-VL bei Lampen überraschend gut ab, bei anderen Kategorien schlecht), was auf ein fragiles, nicht generalisierendes Verständnis hindeutet.
Kein Nutzen durch mehr Rechenleistung: Erhöhte „Reasoning-Budgets" (z. B. bei Gemini 2.5 Pro oder GPT-5) führen nicht zu signifikanten Verbesserungen; in einigen Fällen verschlechtert sich die Leistung sogar.
Fehleranalyse (Abbildung 5):
- Modelle scheitern oft an denselben schwierigen Beispielen wie Menschen (hohe IoU bei falschen Fragen).
- Kritisch: Wenn Modelle falsch liegen, geben sie unterschiedliche falsche Antworten (niedrige Übereinstimmung bei den gewählten Buchstaben). Dies deutet darauf hin, dass es keine kohärente alternative Interpretation der Szene gibt, sondern dass das räumliche Verständnis instabil und modell-spezifisch zusammenbricht.
Artefakt-Check: Kontrollexperimente zeigten, dass die Modelle nicht durch Inpainting-Artefakte getäuscht werden. Selbst wenn Artefakte durch „Self-Pasting" (Einfügen des Originalobjekts in die eigene Ansicht) massiv erhöht wurden, blieb die Leistung stabil. Die Genauigkeit steigt erst, wenn die Artefakte so groß werden, dass sie das Bild zerstören (ab ~50% Erweiterung des Inpainting-Bereichs).

5. Bedeutung und Fazit

Das Paper belegt, dass aktuelle Multimodale Sprachmodelle trotz ihrer Fähigkeit, visuelle Inhalte detailliert zu beschreiben, keine robuste Vorstellung von 3D-Geometrie und physikalischer Konsistenz besitzen.

Fragilität: Das Verständnis der Modelle ist „brittle" (brüchig) und hängt stark von spezifischen Trainingsdaten-Bias ab (z. B. Beleuchtungsverhältnisse oder Objekttypen).
Notwendigkeit neuer Ansätze: Die Ergebnisse unterstreichen, dass zukünftige MLLMs nicht nur lernen müssen, die Welt zu beschreiben, sondern fundamentale physikalische und räumliche Constraints verstehen müssen.
Benchmark als Werkzeug: Die vorgestellte Methode bietet einen strengen, skalierbaren Test, um Fortschritte im räumlichen Schlussfolgern (Spatial Reasoning) zu messen und die Lücke zwischen menschlicher und maschineller Wahrnehmung zu diagnostizieren.

Zusammenfassend zeigt die Studie, dass das „Spotting" (Erkennen) physikalisch unmöglicher Szenen eine fundamentale Schwachstelle aktueller KI-Systeme bleibt, die durch reine Skalierung oder bessere Textgenerierung nicht gelöst wird.