Riepilogo Tecnico: OrientSAM

Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) mostrano limitazioni significative nei compiti di ragionamento spaziale che richiedono la trasformazione della prospettiva. Mentre gli attuali modelli si comportano bene in compiti interpretabili direttamente dalla vista della telecamera, faticano quando la risposta corretta dipende dal punto di vista locale di un oggetto di riferimento (ragionamento allocentrico) piuttosto che dal piano dell'immagine (ragionamento egocentrico).

Gli autori identificano una specifica modalità di fallimento denominata "scorciatoia incentrata sulla telecamera" (camera-centric shortcut). In scenari in cui la relazione spaziale definita dal frame di riferimento dell'oggetto confligge con la disposizione orizzontale nel piano dell'immagine, gli MLLM scelgono costantemente l'indizio incentrato sulla telecamera come default. Il documento dimostra che questa scorciatoia non è solo un deficit generale di ragionamento spaziale, ma è strettamente accoppiata all'orientamento dell'oggetto di riferimento. Nello specifico, i modelli non riescono a eseguire la necessaria trasformazione del frame di riferimento quando la direzione di orientamento dell'oggetto di riferimento diverge dal punto di vista della telecamera, indicando una mancanza di modellazione esplicita dell'orientamento nelle loro rappresentazioni.

Metodologia: OrientSAM

Per affrontare questo problema, gli autori propongono OrientSAM (Orientation-aware Spatial Alignment), un framework progettato per iniettare informazioni di orientamento esplicite nelle rappresentazioni multimodali e allinearle al ragionamento spaziale a valle. La metodologia consiste in tre componenti principali:

1. Costruzione di Dati Spaziali Multi-Expert

Poiché la supervisione spaziale orientata all'orientamento su larga scala è scarsa, gli autori hanno costruito una pipeline per generare automaticamente dati di addestramento da immagini 2D su larga scala. Questa pipeline integra:

• Grounding delle Regioni: Utilizzo di modelli come GroundingDINO e SAM per estrarre bounding box di oggetti e maschere di segmentazione.
• Stima della Geometria Monoculare: Stima delle mappe di profondità e delle costanti intrinseche della telecamera per derivare la profondità a livello di istanza.
• Predizione dell'Orientamento: Utilizzo di un modello di stima dell'orientamento per predire le direzioni semantiche di orientamento (direzione polare, azimut e angoli di rotazione) per ogni oggetto.
• Organizzazione per Curriculum: I dati sono filtrati per confidenza e organizzati in due fasi: una fase di percezione dell'orientamento (apprendimento di primitive di orientamento stabili) e una fase di ragionamento sulle relazioni (apprendimento della trasformazione del frame di riferimento).

2. Rappresentazione Consapevole dell'Orientamento

OrientSAM codifica esplicitamente l'orientamento dell'oggetto nello spazio di input multimodale, andando oltre il trattamento dell'orientamento come un semplice suggerimento testuale.

• Codifica degli Angoli basata su Fourier: Per gestire la natura periodica degli angoli (dove $0^\circ$ e $360^\circ$ sono identici), gli autori impiegano una codifica di caratteristiche Fourier ($\gamma(\phi)$) invece di una regressione scalare diretta.
• Iniezione di Token: L'orientamento codificato viene iniettato sia nelle rappresentazioni visive che in quelle testuali:
  • Visiva: La codifica dell'orientamento viene proiettata e aggiunta alle caratteristiche RGB a livello di regione ($\tilde{r}_i = r_i + W_o\gamma(\phi_i)$).
  • Testuale: Il token dell'oggetto è aumentato con la stessa codifica ($\tilde{e}_i = \text{Embed}(t_i) + W_t\gamma(\phi_i)$).
• Allineamento Strutturato: Il modello utilizza token disgiunti per l'aspetto ($\langle r_{gbi} \rangle$), la profondità ($\langle depth_i \rangle$) e l'orientamento ($\langle orient_i \rangle$). Ciò consente al modello linguistico di prestare attenzione dinamicamente ai segnali geometrici specifici richiesti per il ragionamento, anziché collassarli in un singolo vettore.

3. Strategia di Apprendimento per Curriculum

Il processo di addestramento segue un curriculum progressivo per stabilizzare l'apprendimento:

• Fase 1 (Percezione dell'Orientamento): Il modello viene addestrato a predire l'angolo azimutale dei singoli oggetti, stabilendo una mappatura robusta tra l'aspetto visivo e la direzione semantica di orientamento.
• Fase 2 (Ragionamento Consapevole dell'Orientamento): Il modello viene addestrato su compiti completi di presa della prospettiva, predicendo le relazioni spaziali sotto il sistema di coordinate dell'oggetto di riferimento utilizzando i token strutturati RGB-profondità-orientamento. Questo evita che il modello converga verso scorciatoie incentrate sulla telecamera, costringendolo a fare affidamento sui priori di orientamento appresi.

Contributi Chiave

1. Framework Diagnostico: Gli autori introducono un framework unificato per disgiungere le risposte centrate sul riferimento (verità rispetto alla vista dell'oggetto) dalle risposte incentrate sulla telecamera (relazioni nel piano dell'immagine). L'analisi rivela che gli attuali MLLM mostrano una forte scorciatoia incentrata sulla telecamera, specialmente quando queste due risposte sono in conflitto, e che la forza di questa scorciatoia varia con l'orientamento dell'oggetto di riferimento.
2. Framework OrientSAM: Un nuovo framework di allineamento che incorpora esplicitamente i priori di orientamento nelle rappresentazioni multimodali tramite codifica basata su Fourier e token strutturati, affrontando il collo di bottiglia della trasformazione del frame di riferimento.
3. Pipeline di Costruzione dei Dati: Una pipeline multi-expert scalabile che genera supervisione spaziale consapevole dell'orientamento da immagini 2D su larga scala, consentendo l'addestramento di modelli su compiti di presa della prospettiva senza annotazione 3D manuale.
4. Validazione Empirica: Esperimenti estesi dimostrano che la modellazione esplicita dell'orientamento è critica per un robusto ragionamento allocentrico.

Risultati Sperimentali

OrientSAM è stato valutato su tre benchmark: Spatial-MM, ViewSpatial e 3DSRBench.

• Guadagni di Performance: OrientSAM supera costantemente i forti baseline (inclusi LLaVA-v1.5, Qwen2.5-VL, Qwen3-VL, SpatialRGPT e APC-Vis).
  • Su Spatial-MM, raggiunge l'87,31% di accuratezza sui compiti non incentrati sulla vista della telecamera, superando significativamente il miglior baseline (APC-Vis al 86,57%).
  • Su ViewSpatial, raggiunge risultati state-of-the-art in tre dei quattro sottotesti, con un margine notevole sulla direzione relativa dalla vista della persona (85,04% vs 72,57% per APC-Vis).
  • Su 3DSRBench, guida nei compiti di Orientamento e Direzione (81,83%) e Relazione tra più oggetti (77,80%).
• Studi di Ablazione:
  • Iniezione dell'Orientamento: Rimuovere la branca dell'orientamento riduce drasticamente le performance (ad esempio, dall'87,31% al 76,29% su Spatial-MM non-camera-view), confermando che il solo fine-tuning dei dati è insufficiente.
  • Apprendimento per Curriculum: Rimuovere la strategia di curriculum riduce le performance, indicando che l'addestramento progressivo dalla percezione al ragionamento è essenziale per la stabilità.
  • Strategia di Codifica: La codifica basata su Fourier (specificamente $N=2$) supera la codifica scalare diretta, validando la necessità di modellare la natura periodica degli angoli.
• Analisi della Scorciatoia: Lo studio conferma che OrientSAM mitiga efficacementamente la scorciatoia incentrata sulla telecamera. Nei campioni di conflitto, l'accordo del modello con la verità di riferimento aumenta mentre la sua dipendenza dai segnali della telecamera diminuisce, particolarmente nei regimi frontali e posteriori dove i modelli precedenti fallivano.

Significato e Rivendicazioni

Il documento sostiene che il principale collo di bottiglia per il ragionamento spaziale consapevole della prospettiva negli MLLM non è la mancanza di percezione visiva generale o di segnali geometrici generici, ma l'assenza di una modellazione esplicita dell'orientamento.

Gli autori sostengono che:

1. Il Bias della Telecamera è Sistematico: Gli attuali modelli si affidano a euristiche del piano dell'immagine piuttosto che a una vera presa della prospettiva, un comportamento che è esacerbato quando l'orientamento dell'oggetto di riferimento confligge con la vista della telecamera.
2. L'Orientamento è un Bias Induttivo Mancante: Iniettando esplicitamente i priori di orientamento nello spazio di rappresentazione, i modelli possono imparare a trasformare le relazioni spaziali in frame di riferimento locali, abilitando un robusto ragionamento allocentrico.
3. Implicazioni Pratiche: Questo approccio è cruciale per applicazioni che richiedono l'interazione incarnata (embodied), la collaborazione uomo-oggetto e la comprensione della scena, dove il ragionamento deve avvenire dal punto di vista di un'entità nella scena piuttosto che dalla telecamera.

Gli autori rimangono modesti riguardo ai limiti, riconoscendo che il framework attualmente dipende dalla qualità dei modelli esperti a monte (grounding, profondità, orientamento) e si concentra principalmente sul ragionamento spaziale destra/sinistra. Suggeriscono che il lavoro futuro dovrebbe affrontare relazioni spaziali più ricche e ridurre la dipendenza da annotazioni esterne.