🤖 AI

OrientSAM: Mitigating Camera-Centric Shortcut in Multimodal Spatial Reasoning via Orientation-Aware Spatial Alignment

Dieses Paper führt OrientSAM ein, ein orientierungswahrnehmendes räumliches Ausrichtungsframework, das kamera-zentrische Abkürzungen in multimodalen großen Sprachmodellen durch die Injektion expliziter Orientierungsinformationen und den Einsatz von Curriculum Learning mildert, um eine robuste allozentrische räumliche Argumentation zu ermöglichen.

Ursprüngliche Autoren: Wenxiao Fan, Hang Yin, Kan Li

Veröffentlicht 2026-07-21

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenxiao Fan, Hang Yin, Kan Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stehen in einem Raum und betrachten ein Foto von zwei Freunden, die ein Gespräch führen. Wenn Sie einen Menschen fragen: „Wer ist auf der linken Seite?“, schaut er vielleicht auf das Foto und sagt: „Die Person auf der linken Seite des Bildes.“ Aber wenn Sie fragen: „Wer ist auf deiner linken Seite?“, während Sie auf einen der Freunde zeigen, ändert sich die Antwort komplett. Man muss sich mental in die Schuhe dieses Freundes hineinversetzen, sich umdrehen, um in die Richtung zu blicken, in die er schaut, und dann die andere Person betrachten. Diese mentale Akrobatik nennt man „Perspektivwechsel“ – eine Superkraft, die Menschen besitzen, die Computer jedoch überraschend schlecht beherrschen.

In der Welt der Künstlichen Intelligenz, speziell der „Multimodalen Großen Sprachmodelle“ (MLLMs), werden Computer immer besser darin, Bilder anzusehen und Text zu lesen. Sie können Ihnen sagen, dass da eine Katze auf einer Matte liegt oder dass ein Auto rot ist. Aber wenn es um räumliches Denken geht – also darum, herauszufinden, wo sich Dinge im 3D-Raum relativ zu anderen Dingen befinden, nicht nur relativ zur Kamera – stoßen diese KIs oft an eine Wand. Diese KI-Modelle sind tendenziell „kamerazentriert“, was bedeutet, dass sie die Welt nur aus der Sicht der Linse sehen. Es fällt ihnen schwer zu verstehen, dass „links“ und „rechts“ davon abhängen, in welche Richtung eine Person oder ein Objekt blickt, und nicht nur davon, wo sie auf dem Bildschirm sitzen. Dieses Paper mit dem Titel OrientSAM untersucht, warum diese smarten Computer an diesem einfachen Trick scheitern, und entwickelt ein neues System, das ihnen hilft, die Welt durch die Augen eines anderen zu sehen.

Die Kamerafalle: Warum die KI sich verirrt

Die Forscher begannen mit der Untersuchung eines spezifischen Fehlermusters. Sie bemerkten, dass eine KI, wenn sie gefragt wird: „Ist der Ball links oder rechts vom Spieler?“, oft basierend auf der Position des Spielers im Foto (der „Kameraperspektive“) antwortet, anstatt auf dessen tatsächliche Blickrichtung.

Um dies zu beweisen, stellten sie eine „Falle“ auf. Sie erstellten Testfragen, bei denen sich die Kameraperspektive und die Perspektive des Spielers widersprachen. Stellen Sie sich zum Beispiel vor, ein Spieler steht mit dem Gesicht zur Kamera. Für die Kamera mag ein Ball auf der rechten Seite des Spielers im Bild liegen. Aber wenn der Spieler zur Kamera schaut, befindet sich dieser Ball tatsächlich auf seiner linken Hand. Die Studie ergab, dass aktuelle KI-Modelle fast immer in die Falle tappten. Sie nutzten eine „Abkürzung“: Sie betrachteten einfach die linken und rechten Seiten des Bildes und ignorierten die Orientierung des Spielers. Es ist wie ein Schüler, der auswendig lernt, dass „links immer die linke Seite der Seite ist“, ohne jemals zu verstehen, dass sich „links“ ändert, wenn man die Seite umdreht.

Die Forscher entdeckten, dass diese Abkürzung schlimmer wird, wenn das Referenzobjekt (die Person oder das Ding, nach dem man fragt) direkt zur Kamera blickt. Je stärker das Objekt auf die Kamera ausgerichtet ist, desto mehr verwirrt die KI und verfällt auf die Bild-Ebene-Abkürzung. Dies deutet darauf hin, dass das Problem nicht darin besteht, dass die KI die Objekte nicht sehen kann; vielmehr fehlt ihr ein spezifisches „mentales Modell“ davon, wie diese Objekte im Raum orientiert sind.

Die Lösung: OrientSAM

Um dies zu beheben, entwickelte das Team OrientSAM (Orientation-aware Spatial Alignment Model). Stellen Sie sich das wie das Geben einer „3D-Brille“ und eines Kompasses an die KI vor.

Anstatt der KI nur das Bild und die Frage zu füttern, injiziert OrientSAM explizite Informationen über die Orientierung direkt in das Gehirn des Modells. So funktioniert es, unter Verwendung einiger kreativer Schritte:

Das „Kompass“-Token: Das System sagt nicht nur „da ist eine Person“. Es fügt ein spezielles digitales Token hinzu, das besagt: „Diese Person blickt 45 Grad nach rechts.“ Um sicherzustellen, dass der Computer versteht, dass das Anvisieren von 359 Grad fast dasselbe ist wie 1 Grad (da 0 und 360 derselbe Punkt sind), verwenden sie einen cleveren mathematischen Trick namens Fourier-Kodierung. Stellen Sie sich vor, man wickelt eine Schnur um einen Kreis; egal wie oft man darum herumgeht, die Schnur verbindet sich nahtlos. Dies hilft der KI zu verstehen, dass Richtungen ein kontinuierlicher Kreislauf sind und keine gerade Linie.
Das „Mentale Fitnessstudio“ (Curriculum Learning): Man würde einem Kind nicht die Aufgabe stellen, ein komplexes Geometrieproblem zu lösen, bevor es das Zählen gelernt hat. Ähnlich verhielten sich die Forscher und warfen der KI nicht einfach die schwierigsten Perspektivfragen zu. Sie nutzten eine Curriculum-Learning-Strategie.
- Stufe 1: Zuerlich brachten sie der KI bei, einfach nur zu erkennen, in welche Richtung Objekte zeigen. „Schau dir dieses Auto an; es zeigt nach Norden.“
- Stufe 2: Sobald die KI gut darin war, Richtungen zu erkennen, gingen sie zum schwierigen Teil über: „Wenn dieses Auto nun nach Norden zeigt, wo befindet sich der Baum relativ zu ihm?“
  Dieser schrittweise Trainingsprozess verhinderte, dass die KI zu ihren faulen, kamerazentrierten Abkürzungen zurückfiel.

Die Ergebnisse: Durch neue Augen sehen

Das Team testete OrientSAM auf drei verschiedenen Benchmarks (Spatial-MM, ViewSpatial und 3DSRBench), die wie standardisierte Tests für die räumlichen Fähigkeiten von KI funktionieren.

Die Ergebnisse waren eindeutig: OrientSAM übertraf andere starke KI-Modelle konsistent, insbesondere bei den kniffligen „Nicht-Kamera“-Fragen.

Beim Spatial-MM-Test, bei Fragen, bei denen die Antwort von der Perspektive einer Person abhing (nicht der Kamera), erreichte OrientSAM 87,31 %, während das nächstbeste Modell nur 39,55 % erreichte.
Beim ViewSpatial-Test, speziell für die „relative Richtung aus der Sicht einer Person“ (wo sich Dinge aus der Perspektive einer Person befinden), erreichte OrientSAM 85,04 % und übertraf damit das bisherige Bestleistung von 72,57 %.

Die Studie legt nahe, dass wir die KI, indem wir sie explizit über Orientierung lehren und sie in Phasen trainieren, davon abhalten können, sich auf faule Abkürzungen der Bildebene zu verlassen. Die KI „sieht“ das Bild nicht mehr nur; sie beginnt, die 3D-Welt zu verstehen und kann über sie aus der Perspektive der Objekte innerhalb dieser Welt zu urteilen.

Was das bedeutet

Dieses Paper behauptet nicht, alle räumlichen Denkprobleme gelöst zu haben. Das System stützt sich immer noch auf andere Werkzeuge, um Tiefe und Orientierung zu schätzen, und wenn diese Werkzeuge Fehler machen, kann auch OrientSAM verwirrt werden. Die Ergebnisse legen jedoch stark nahe, dass das fehlende Puzzleteil für viele KI-Modelle nicht mehr Daten oder größere Gehirne sind, sondern eine bessere Art, Richtung darzustellen. Indem wir der KI ein klares Verständnis dafür geben, „in welche Richtung vorne ist“, können wir ihr helfen, über die Kameralinse hinauszublicken und die Welt so zu verstehen wie wir: von innen nach außen.

Technisches Resümee: OrientSAM

Problemstellung

Multimodale Large Language Models (MLLMs) weisen signifikante Einschränkungen bei räumlichen Denkaufgaben auf, die eine Perspektivtransformation erfordern. Während aktuelle Modelle bei Aufgaben gut abschneiden, die direkt aus der Kameraperspektive interpretierbar sind, haben sie Schwierigkeiten bei Szenarien, in denen die korrekte Antwort von der lokalen Sichtweise eines Referenzobjekts (allozentrisches Denken) abhängt, anstatt von der Bildebene (egozentrisches Denken).

Die Autoren identifizieren einen spezifischen Fehlermodus, den sie als „kamerazentrierten Shortcut“ bezeichnen. In Szenarien, in denen die durch das lokale Bezugssystem des Referenzobjekts definierte räumliche Beziehung im Konflikt mit der horizontalen Anordnung in der Bildebene steht, greifen MLLMs konsistent auf den kamerazentrierten Hinweis zurück. Die Arbeit zeigt, dass dieser Shortcut nicht bloß ein allgemeines Defizit im räumlichen Denken ist, sondern eng mit der Orientierung des Referenzobjekts verknüpft ist. Insbesondere scheitern die Modelle bei der notwendigen Referenzrahmen-Transformation, wenn die Blickrichtung des Referenzobjekts von der Kameraperspektive abweicht, was auf ein Fehlen einer expliziten Orientierungsmodellierung in ihren Repräsentationen hindeutet.

Methodik: OrientSAM

Um dies zu adressieren, schlagen die Autoren OrientSAM (Orientation-aware Spatial Alignment) vor, ein Framework, das darauf ausgelegt ist, explizite Orientierungsinformationen in multimodale Repräsentationen zu injizieren und diese mit räumlichem Denken abzugleichen. Die Methodik besteht aus drei Kernkomponenten:

1. Konstruktion von Multi-Expert-Spatial-Daten

Da groß angelegte, orientierungswahrnehmende räumliche Überwachung (Supervision) spärlich gesät ist, bauen die Autoren eine Pipeline auf, um Trainingsdaten automatisch aus groß angelegten 2D-Bildern zu generieren. Diese Pipeline integriert:

Region Grounding: Verwendung von Modellen wie GroundingDINO und SAM, um Objekt-Bounding-Boxes und Segmentierungsmasken zu extrahieren.
Monokulare Geometrieschätzung: Schätzung von Tiefenkarten und Kameraparametern (Intrinsics), um die instanzbasierte Tiefe abzuleiten.
Orientierungsvorhersage: Verwendung eines Modells zur Orientationsschätzung, um semantische Blickrichtungen (Polar-, Azimut- und Rotationswinkel) für jedes Objekt vorherzusagen.
Curriculum-Organisation: Die Daten werden nach Konfidenz gefiltert und in zwei Stufen organisiert: eine Orientierungswahrnehmungsphase (Lernen stabiler Orientierungs-Primitive) und eine Relations-Reasoning-Phase (Lernen der Referenzrahmen-Transformation).

2. Orientierungswahrnehmende Repräsentation

OrientSAM kodiert die Objektorientierung explizit in den multimodalen Eingaberaum und geht damit über die bloße Behandlung der Orientierung als textuellen Hinweis hinaus.

Fourier-basierte Winkelkodierung: Um die Periodizität von Winkeln zu handhaben (wobei $0^\circ$ und $360^\circ$ identisch sind), verwenden die Autoren eine Fourier-Feature-Kodierung ( $\gamma(\phi)$ ) anstelle einer direkten Skalarregression.
Token-Injektion: Die kodierte Orientierung wird sowohl in die visuellen als auch in die textuellen Repräsentationen injiziert:
- Visuell: Die Orientierungskodierung wird projiziert und zu den regionsebene-RGB-Features addiert ( $\tilde{r}_i = r_i + W_o\gamma(\phi_i)$ ).
- Textuell: Das Objekt-Token wird mit derselben Kodierung augmentiert ( $\tilde{e}_i = \text{Embed}(t_i) + W_t\gamma(\phi_i)$ ).
Strukturierte Ausrichtung: Das Modell verwendet disjunkte Tokens für Erscheinung ( $\langle r_{gbi} \rangle$ ), Tiefe ( $\langle depth_i \rangle$ ) und Orientierung ( $\langle orient_i \rangle$ ). Dies ermöglicht es dem Sprachmodell, dynamisch auf die spezifischen geometrischen Hinweise zu achten, die für das Denken erforderlich sind, anstatt sie in einem einzigen Vektor zu kollabieren.

3. Curriculum-Learning-Strategie

Der Trainingsprozess folgt einem progressiven Curriculum, um das Lernen zu stabilisieren:

Stufe 1 (Orientierungswahrnehmung): Das Modell wird darauf trainiert, den Azimutwinkel einzelner Objekte vorherzusagen, wodurch eine robuste Abbildung zwischen visuellem Erscheinungsbild und semantischer Blickrichtung etabliert wird.
Stufe 2 (Orientierungswahrnehmendes Reasoning): Das Modell wird auf vollständigen Perspektivierungsaufgaben trainiert, wobei es räumliche Beziehungen unter dem Koordinatensystem des Referenzobjekts unter Verwendung der strukturierten RGB-Tiefe-Orientierung-Tokens vorhersagt. Dies verhindert, dass das Modell zu kamerazentrierten Shortcuts konvergiert, indem es gezwungen wird, sich auf die gelernten Orientierungsprioritäten zu verlassen.

Zentrale Beiträge

Diagnostisches Framework: Die Autoren führen ein einheitliches Framework ein, um referenzzentrierte Antworten (Ground Truth unter der Sicht des Objekts) von kamerazentrierten Antworten (Bildebenen-Beziehungen) zu trennen. Die Analyse zeigt, dass aktuelle MLLMs einen starken kamerazentrierten Shortcut aufweisen, insbesondere wenn diese beiden Antworten im Konflikt stehen, und dass die Stärke dieses Shortcuts mit der Orientierung des Referenzobjekts variiert.
OrientSAM-Framework: Ein neuartiges Alignment-Framework, das Orientierungsprioritäten durch Fourier-basierte Kodierung und strukturierte Tokens explizit in die multimodalen Repräsentationen integriert und so den Engpass der Referenzrahmen-Transformation adressiert.
Datenkonstruktions-Pipeline: Eine skalierbare Multi-Expert-Pipeline, die orientierungswahrnehmende räumliche Supervision aus groß angelegten 2D-Bildern generiert und so das Training von Modellen auf Perspektivierungsaufgaben ohne manuelle 3D-Annotation ermöglicht.
Empirische Validierung: Umfangreiche Experimente zeigen, dass die explizite Orientierungsmodellierung entscheidend für robustes allozentrisches Denken ist.

Experimentelle Ergebnisse

OrientSAM wurde auf drei Benchmarks evaluiert: Spatial-MM, ViewSpatial und 3DSRBench.

Leistungssteigerungen: OrientSAM übertrifft konsistent starke Baselines (einschließlich LLaVA-v1.5, Qwen2.5-VL, Qwen3-VL, SpatialRGPT und APC-Vis).
- Auf Spatial-MM erreicht es eine Genauigkeit von 87,31 % bei Nicht-Kameraansichts-Aufgaben und übertrifft damit signifikant die beste Baseline (APC-Vis mit 86,57 %).
- Auf ViewSpatial erzielt es State-of-the-Art-Ergebnisse in drei von vier Subtasks, mit einem bemerkenswerten Vorsprung bei der Person-View-relativen Richtung (85,04 % vs. 72,57 % für APC-Vis).
- Auf 3DSRBench führt es in den Aufgaben Orientierung & Richtung (81,83 %) und Multi-Objekt-Relation (77,80 %).
Ablationsstudien:
- Orientierungsinjektion: Das Entfernen des Orientierungszweigs senkt die Leistung signifikant (z. B. von 87,31 % auf 76,29 % auf Spatial-MM bei Nicht-Kameraansichten), was bestätigt, dass Daten-Feintuning allein nicht ausreicht.
- Curriculum-Learning: Das Entfernen der Curriculum-Strategie reduziert die Leistung, was darauf hindeutet, dass das progressive Training von der Wahrnehmung zum Reasoning essenziell für die Stabilität ist.
- Kodierungsstrategie: Die Fourier-basierte Kodierung (speziell $N=2$ ) schneidet besser ab als die direkte skalare Kodierung, was die Notwendigkeit der Modellierung der Periodizität von Winkeln validiert.
Shortcut-Analyse: Die Studie bestätigt, dass OrientSAM den kamerazentrierten Shortcut effektiv mildert. Bei Konfliktbeispielen steigt die Übereinstimmung des Modells mit der referenzzentrierten Ground Truth, während die Abhängigkeit von kamerazentrierten Hinweisen sinkt, insbesondere in den Frontal- und Rückansichts-Regimen, in denen vorherige Modelle versagten.

Bedeutung und Behauptungen

Das Paper behauptet, dass der primäre Flaschenhals für perspektivisch-bewusstes räumliches Denken in MLLMs nicht ein Mangel an allgemeiner visueller Wahrnehmung oder generischen geometrischen Hinweisen ist, sondern das Fehlen einer expliziten Orientierungsmodellierung.

Die Autoren argumenten:

Kamerazentrierte Verzerrung ist systematisch: Aktuelle Modelle verlassen sich auf Bildebenen-Heuristiken anstatt auf echtes Perspektivitäts-Denken, ein Verhalten, das sich verstärkt, wenn die Orientierung des Referenzobjekts im Konflikt mit der Kamera steht.
Orientierung ist ein fehlender induktiver Bias: Durch die explizite Injektion von Orientierungsprioritäten in den Repräsentationsraum können Modelle lernen, räumliche Beziehungen in lokale Bezugssysteme zu transformieren, was robustes allozentrisches Denken ermöglicht.
Praktische Auswirkungen: Dieser Ansatz ist entscheidend für Anwendungen, die eine verkörperte Interaktion (Embodied Interaction), Mensch-Objekt-Kollaboration und Szenenverständnis erfordern, bei denen das Denken aus der Sichtweise einer Entität in der Szene erfolgen muss und nicht aus der Sicht der Kamera.

Die Autoren bleiben hinsichtlich der Limitationen bescheiden und räumen ein, dass das Framework derzeit von der Qualität der vorgeschalteten Expertenmodelle (Grounding, Tiefe, Orientierung) abhängt und sich primprimär auf die links/rechts räumliche Orientierung konzentriert. Sie schlagen vor, dass zukünftige Arbeiten reichere räumliche Beziehungen adressieren und die Abhängigkeit von externen Annotationen reduzieren sollten.