Technische Samenvatting: OrientSAM

Probleemstelling

Multimodale Large Language Models (MLLM's) vertonen significante beperkingen in ruimtelijke redeneertaken die een perspectieftransformatie vereisen. Hoewel huidige modellen goed presteren op taken die direct interpreteerbaar zijn vanuit het camerazicht, worstelen ze met taken waarbij het juiste antwoord afhangt van het lokale gezichtspunt van een referentie-object (allocentrisch redeneren) in plaats van het beeldvlak (egocentrisch redeneren).

De auteurs identificeren een specifieke foutmodus die zij de "camera-centrische shortcut" noemen. In scenario's waar de ruimtelijke relatie gedefinieerd door het lokale frame van het referentie-object conflicteert met de horizontale ordening in het beeldvlak, vallen MLLM's consequent terug op de camera-centrische aanwijzing. Het paper demonstreert dat deze shortcut niet louter een algemeen tekort aan ruimtelijk redeneren is, maar nauw gekoppeld is aan de oriëntatie van het referentie-object. Specifiek falen modellen bij het uitvoeren van de noodzakelijke referentieframe-transformatie wanneer de kijkrichting van het referentie-object afwijkt van het standpunt van de camera, wat wijst op een gebrek aan expliciete oriëntatiemodellering in hun representaties.

Methodologie: OrientSAM

Om dit aan te pakken, stellen de auteurs OrientSAM (Orientation-aware Spatial Alignment) voor, een framework dat is ontworpen om expliciete oriëntatie-informatie in multimodale representaties te injecteren en deze af te stemmen op downstream ruimtelijk redeneren. De methodologie bestaat uit drie kerncomponenten:

1. Multi-Expert Ruimtelijke Dataconstructie

Omdat grootschalige oriëntatie-bewuste ruimtelijke supervisie schaars is, bouwen de auteurs een pipeline om automatisch trainingsdata te genereren uit grootschalige 2D-beelden. Deze pipeline integreert:

• Regio-grounding: Het gebruik van modellen zoals GroundingDINO en SAM om object-bounding boxes en segmentatie-masks te extraheren.
• Monoculaire Geometrie-schatting: Het schatten van dieptekaarten en cameraintrinsieken om instance-niveau diepte af te leiden.
• Oriëntatievoorspelling: Het gebruik van een oriëntatie-schattingsmodel om semantische kijkrichtingen (polair, azimuth en rotatiehoeken) voor elk object te voorspellen.
• Curriculum Organisatie: De data wordt gefilterd op basis van betrouwbaarheid en georganiseerd in twee stadia: een oriëntatie-perceptiestadium (leren van stabiele oriëntatieprimitieven) en een relatie-redeneerstadium (leren van referentieframe-transformatie).

2. Oriëntatie-bewuste Representatie

OrientSAM codeert object-oriëntatie expliciet in de multimodale inputruimte, waarbij het verder gaat dan het behandelen van oriëntatie als een louter tekstuele hint.

• Fourier-gebaseerde Hoek-encodering: Om de periodieke aard van hoeken te hanteren (waarbij $0^\circ$ en $360^\circ$ identiek zijn), gebruiken de auteurs Fourier-feature encodering ($\gamma(\phi)$) in plaats van directe scalaire regressie.
• Token Injectie: De gecodeerde oriëntatie wordt geïnjecteerd in zowel de visuele als de tekstuele representaties:
  • Visueel: De oriëntatie-encodering wordt geprojecteerd en toegevoegd aan de regio-niveau RGB-features ($\tilde{r}_i = r_i + W_o\gamma(\phi_i)$).
  • Tekstueel: Het object-token wordt verrijkt met dezelfde encodering ($\tilde{e}_i = \text{Embed}(t_i) + W_t\gamma(\phi_i)$).
• Gestructureerde Afstemming: Het model gebruikt ontkoppelde tokens voor verschijning ($\langle r_{gbi} \rangle$), diepte ($\langle depth_i \rangle$) en oriëntatie ($\langle orient_i \rangle$). Dit stelt het taalmodel in staat om dynamisch aandacht te besteden aan de specifieke geometrische aanwijzingen die nodig zijn voor redeneren, in plaats van deze samen te laten vallen in één enkele vector.

3. Curriculum Learning Strategie

Het trainingsproces volgt een progressief curriculum om het leren te stabiliseren:

• Stadium 1 (Oriëntatie Perceptie): Het model wordt getraind om de azimuth-hoek van individuele objecten te voorspellen, waardoor een robuuste mapping wordt gevestigd tussen visuele verschijning en semantische kijkrichting.
• Stadium 2 (Oriëntatie-bewust Redeneren): Het model wordt getraind op volledige perspectief-nemende taken, waarbij het ruimtelijke relaties voorspelt onder het coördinatensysteem van het referentie-object met behulp van de gestructureerde RGB-diepte-oriëntatie tokens. Dit voorkeert dat het model convergeert naar camera-centrische shortcuts door het te dwingen te vertrouwen op de geleerde oriëntatie-priors.

Belangrijkste Bijdragen

1. Diagnostisch Framework: De auteurs introduceren een verenigd framework om referentie-centrische antwoorden (grondwaarheid onder het perspectief van het object) te onderscheiden van camera-centrische antwoorden (beeldvlak-relaties). De analyse laat zien dat huidige MLLM's een sterke camera-centrische shortcut vertonen, vooral wanneer deze twee antwoorden conflicteren, en dat de sterkte van deze shortcut varieert met de oriëntatie van het referentie-object.
2. OrientSAM Framework: Een nieuw alignment-framework dat expliciet oriëntatie-priors incorporeert in multimodale representaties via Fourier-gebaseerde encodering en gestructureerde tokens, waarmee de bottleneck van referentieframe-transformatie wordt aangepakt.
3. Dataconstructie Pipeline: Een schaalbare, multi-expert pipeline die oriëntatie-bewuste ruimtelijke supervisie genereert uit grootschalige 2D-beelden, wat de training van modellen op perspectief-nemende taken mogelijk maakt zonder handmatige 3D-annotatie.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat expliciete oriëntatiemodellering cruciaal is voor robuust allocentrisch redeneren.

Experimentele Resultaten

OrientSAM werd geëvalueerd op drie benchmarks: Spatial-MM, ViewSpatial en 3DSRBench.

• Prestatiewinst: OrientSAM presteert consistent beter dan sterke baselines (inclusief LLaVA-v1.5, Qwen2.5-VL, Qwen3-VL, SpatialRGPT en APC-Vis).
  • Op Spatial-MM behaalt het 87,31% nauwkeurigheid op non-camera-view taken, wat aanzienlijk hoger is dan de beste baseline (APC-Vis met 86,57%).
  • Op ViewSpatial behaalt het state-of-the-art resultaten op drie van de vier subtaken, met een opvallende marge op persoon-view relatieve richting (85,04% vs. 72,57% voor APC-Vis).
  • Op 3DSRBench leidt het in de taken Oriëntatie & Richting (81,83%) en Multi-object Relatie (77,80%).
• Ablatie-studies:
  • Oriëntatie Injectie: Het verwijderen van de oriëntatie-branch verlaagt de prestaties aanzienlijk (bijv. van 87,31% naar 76,29% op Spatial-MM non-camera-view), wat bevestigt dat alleen data fine-tuning onvoldoende is.
  • Curriculum Learning: Het verwijderen van de curriculum-strategie vermindert de prestaties, wat aangeeft dat progressieve training van perceptie naar redeneren essentieel is voor stabiliteit.
  • Encodering Strategie: Fourier-gebaseerde encodering (specifiek $N=2$) presteert beter dan directe scalaire encodering, wat de noodzaak bevestigt om de periodieke aard van hoeken te modelleren.
• Shortcut Analyse: De studie bevestigt dat OrientSAM de camera-centrische shortcut effectief mitigeert. Bij conflict-samples neemt de overeenstemming van het model met de referentie-centrische grondwaarheid toe, terwijl de afhankelijkheid van camera-centrische aanwijzingen afneemt, met name in de front-facing en back-facing regimes waar eerdere modellen faalden.

Betekenis en Claims

Het paper claimt dat de primaire bottleneck voor perspectief-bewust ruimtelijk redeneren in MLLM's niet een gebrek aan algemene visuele perceptie of generieke geometrische aanwijzingen is, maar de afwezigheid van expliciete oriëntatiemodellering.

De auteurs stellen dat:

1. Camera-centrische Bias is Systematisch: Huidige modellen vertrouwen op beeldvlak-heuristieken in plaats van echt perspectief-nemen, een gedrag dat wordt verergerd wanneer de oriëntatie van het referentie-object conflicteert met het camerazicht.
2. Oriëntatie is een Ontbrekende Inductieve Bias: Door expliciet oriëntatie-priors in de representatieruimte te injecteren, kunnen modellen leren om ruimtelijke relaties te transformeren naar lokale referentiekaders, wat robuust allocentrisch redeneren mogelijk maakt.
3. Praktische Implicaties: Deze aanpak is cruciaal voor toepassingen die vereisen dat er interactie plaatsvindt met de fysieke wereld, mens-object samenwerking en scène-begrip, waarbij redeneren moet plaatsvinden vanuit het gezichtspunt van een entiteit in de scène in plaats van de camera.

De auteurs blijven bescheiden over beperkingen en erkennen dat het framework momenteel afhankelijk is van de kwaliteit van upstream expert-modellen (grounding, diepte, oriëntatie) en zich primair richt op links/rechts ruimtelijke redeneren. Zij suggereren dat toekomstig werk rijkere ruimtelijke relaties moet adresseren en de afhankelijkheid van externe annotaties moet verminderen.