Sintesi Tecnica: Radicamento delle Relazioni Spaziali in un Modello del Mondo Compatto

1. Definizione del Problema

Il documento investiga una modalità di fallimento critica nei modelli del mondo compatti e condizionati da obiettivi, progettati per il controllo incarnato (embodied control). Questi modelli, spesso basati su Architetture Predittive di Embedding Congiunto (JEPA), mirano a rappresentare le relazioni spaziali (ad esempio, "metti il blocco rosso a sinistra del blocco blu") utilizzando una combinazione di uno stato latente globale e ancoraggi di riferimento metrici espliciti.

Il problema centrale identificato è la Fuga dell'Istruzione (Instruction Leakage). Gli autori dimostrano che quando la dinamica di transizione di un modello del mondo è condizionata da un obiettivo linguistico che nomina esplicitamente la relazione oggetto di valutazione (ad esempio, l'istruzione "sposta X a sinistra di Y" contiene la parola "sinistra"), il modello non impara a percepire la relazione spaziale dalla scena. Invece, impara a trascrivere l'istruzione direttamente nelle sue coordinate di ancoraggio predette.

Ciò crea un'illusione ingannevole di radicamento (grounding):

• Alta Accuratezza di Lettura (Readout Accuracy): I modelli raggiungono un'elevata accuratezza (es. 0,90) nelle letture delle relazioni.
• Fragilità: Questa accuratezza crolla a livelli casuali (es. 0,27) quando l'obiettivo viene rimosso.
• Fallimento Controfattuale: Quando presentata con un'istruzione controfattuale (ad esempio, "sposta X a destra" quando la scena mostra "sinistra"), le sue ancore predette seguono l'istruzione falsa il 94,5% delle volte, ignorando la scena reale.

Il documento sostiene che questa fuga avviene perché il predittore può sfruttare l'istruzione come una scorciatoia, rendendo irrilevanti per il compito specifico della lettura della relazione gli input non relativi all'istruzione (stato, azione).

2. Metodologia

Configurazione Sperimentale

Gli autori utilizzano un ambiente controllato 2D di un tavolo relazionale (ispirato a CLEVR) dove:

• Scene: Contengono $N=4$ forme colorate.
• Task: Un oggetto bersaglio deve essere spostato rispetto a un oggetto ancora (relazioni: sinistra, destra, sopra, sotto).
• Ambiguità: Il numero di distrattori duplicati ($a \in \{0, \dots, 4\}$) è regolabile per testare l'ambiguità referenziale.
• Architettura del Modello (PrismWM): Un modello basato su JEPA che fattorizza lo stato in:
  • Un latente globale $z$ (codificato da ViT-tiny).
  • Ancore di punti metrici sparsi $p$ (letti dalle feature dei patch).
  • Un embedding dell'obiettivo $g$.
  • Un predittore transformer condizionato dall'azione che proietta in avanti $(z, p)$.

Protocollo di Rilevamento

Per distinguere tra vera percezione e trascrizione dell'istruzione, gli autori impiegano due controlli specifici sulla distribuzione di rendering dell'addestramento:

1. Controllo con Obiettivo Rimosso (Goal-Withheld Control): I token dell'obiettivo vengono azzerati durante la fase di lettura. Un modello percettivo genuino dovrebbe mantenere l'accuratezza; un modello che trascrive dovrebbe crollare al livello del caso.
2. Controllo Controfattuale: Il modello riceve un'istruzione che nomina una relazione diversa da quella reale della scena. Un modello genuino segue la scena; un modello che trascrive segue l'istruzione falsa.

Varianti del Modello

Gli autori addestrano e confrontano diverse varianti per isolare la causa:

• GoalDyn: L'obiettivo è fornito alla dinamica (predittore).
• GoalDyn+Read: L'obiettivo è nella dinamica, più un percorso di lettura supervisionato per le ancore osservate.
• GoalFree (La Soluzione): L'obiettivo viene rimosso dalla dinamica (il predittore non vede mai l'obiettivo) ed è utilizzato solo nella funzione di costo del pianificatore. Il percorso di lettura è supervisionato.
• NoGoal: Baseline senza condizionamento dell'obiettivo.
• Benchmark Esterni: Il fenomeno è validato su BabyAI (MiniGrid) e Language-Table (Google), variando se le istruzioni nominano la relazione o solo i referenti.

3. Contributi Chiave

1. Caratterizzazione della Fuga dell'Istruzione: Il documento stabilisce che la fuga è governata dalla trascrivibilità. Si verifica quando l'istruzione nomina la quantità misurata (la relazione) ed è essenzialmente indipendente dalla forza predittiva degli input non legati all'istruzione (stato/azione). Ciò è stato verificato in tre setting (Tabletop, BabyAI, Language-Table) e tramite un dosaggio di ablazione dell'azione.
2. Protocollo di Rilevamento Validato: Gli autori propongono un protocollo di test rigoroso (probi Goal-Withheld e Controfattuale) che separa chiaramente la percezione dalla trascrizione. Dimostrano che l'alta accuratezza di un modello condizionato dall'obiettivo è un artefatto di "pura trascrizione".
3. Soluzione Architetturale (Dinamiche Goal-Free): Il documento prescrive e valida una soluzione: rimuovere l'obiettivo dalle dinamiche di transizione. Costringendo il predittore a inferire le relazioni esclusivamente dalla scena (senza vedere l'obiettivo) e supervisionando il percorso di lettura delle ancore, il modello raggiunge un vero radicamento, indipendente dall'istruzione.
4. Analisi del Controllo: Lo studio rivela che il condizionamento dell'obiettivo nelle dinamiche degrada attivamente le prestazioni di controllo. Rimuovere l'obiettivo dalle dinamiche ripristina le prestazioni di controllo al livello della più semplice baseline "NoGoal", confermando che l'obiettivo era la fonte del degrado, non una mancanza di feature.

4. Risultati

Rappresentazione e Radicamento

• Fuga (Leakage): Il modello standard condizionato dall'obiettivo (GoalDyn) raggiunge un'accuratezza delle ancore predette di circa 0,90 con l'obiettivo presente, ma questa scende a circa 0,27 (caso) quando l'obiettivo è rimosso. Sotto istruzioni controfattuali, segue l'istruzione falsa il 94,5% delle volte.
• Radicamento Genuino: Il modello GoalFree (obiettivo rimosso dalle dinamiche) raggiunge un'elevata accuratezza (~0,88) che è identica sia che l'obiettivo sia presente, sia che sia rimosso. Ciò prova che le ancore codificano la relazione basandosi sulla percezione, non sulla trascrizione dell'istrazione.
• Confine di Ambiguità: Il radicamento genuino esiste a bassa e media ambiguità, ma crolla al livello del caso ad massima ambiguità ($a=4$), indicando che il radicamento appreso è strettamente sintonizzato sui segnali della distribuzione di addestramento piuttosto che essere un percettore relazionale generale.
• Validazione Esterna:
  • BabyAI: Le istruzioni che nominano la relazione causano fuga (punteggio controfattuale 1,00).
  • Language-Table: Le istruzioni che nominano solo i referenti (senza il nome della relazione) non mostrano fuga. Aumentare queste istruzioni per includere il nome della direzione induce la fuga.

Prestazioni di Controllo

• Degradazione Monotonica: Il tasso di successo del controllo diminuisce monotonicamente man mano che l'obiettivo guadagna influenza sulle dinamiche:
  • NoGoal / GoalFree: ~0,30
  • GoalDyn (obiettivo come predittore): ~0,14
  • GoalDyn (obiettivo nel rollout): ~0,03 (pavimento casuale)
• Il Vantaggio della Soluzione: Il modello GoalFree pareggia la baseline "NoGoal" nelle prestazioni di controllo. Il documento afferma esplicitamente che non rivendica un guadagno di controllo rispetto alla baseline, bensì il valore della soluzione è il recupero del radicamento percettivo (che la baseline NoGoal non possiede) e la rimozione del danno attivo causato dal condizionamento dell'obiettivo.
• Gap Residuo: Tutte le varianti performano significativamente al di sotto dell'Oracle (dinamiche reali), cosa che gli autori attribuiscono alla fedeltà della dinamica (drift nei rollout multi-step) piuttosto che al meccanismo di rappresentazione o radicamento.

5. Significato e Rivendicazioni

La rilevanza del documento risiede nell'aver identificato una "scorciatoia" sottile ma pervasiva nei modelli del mondo condizionati da obiettivi, dove l'istruzione agisce come un segnale spuri, bypassando la necessità di percezione visiva.

• Lezione Metodologica: Un'elevata accuratezza di lettura della relazione in modelli condizionati dall'obiettivo non è prova di radicamento se l'istruzione nomina la relazione. Deve essere validata con controlli di obiettivo rimosso e controfattuali.
• Lezione Architetturale: L'obiettivo appartiene alla funzione di costo del pianificatore, non nelle dinamiche di transizione. Condizionare le dinamiche sull'istruzione crea un percorso per il modello per copiare la risposta invece di predire la scena.
• Ambito: Gli autori sono modesti nelle loro rivendicazioni. Non pretendono di aver risolto il radicamento 3D o la robotica nel mondo reale. Dimostrano che, per compiti che nominano la relazione, l'attuale "ricetta" di condizionare le dinamiche sul linguaggio è insicura. La soluzione (dinamiche Goal-Free) recupera la percezione genuina ma non migliora intrinsecamente il controllo oltre la più semplice baseline; il collo di bottiglia rimanente è la fedeltà delle dinamiche apprese.

Il documento conclude che questa fuga è un problema strutturale nei design che condizionano i predittori sul linguaggio quando il linguaggio nomina la quantità valutata, e che la rilevazione e la soluzione proposte sono applicabili a qualsiasi modello del mondo di questo tipo.