Sintesi Tecnica: CST-WM: Un Modello di Mondo con Struttura Causale per il Tracking Visivo Embodied

1. Definizione del Problema

Il tracking visivo embodied richiede che un robot segua un bersaglio in movimento partendo da osservazioni egocentriche, mantenendo la visibilità, regolando la distanza di inseguimento e garantendo la sicurezza in ambienti affollati e parzialmente osservabili. La sfida principale non sorge quando il bersaglio è chiaramente visibile, ma durante occlusioni temporanee, derive del campo visivo (field-of-view) o quando il bersaglio diventa confondibile con dei distrattori. In questi scenari, il robot deve prendere decisioni predittive sulla futura osservabilità del bersaglio e sulla scala apparente prima che siano disponibili nuovamente prove affidabili.

Gli autori identificano un particolare modo di guasto nei modelli di predizione sequenziale condizionati all'azione, definito allucinazione causale (causal hallucination). Nei modelli di mondo standard, la forte correlazione tra le azioni di controllo del robot e le osservazioni relative al bersaglio può indurre il modello a allucinare un effetto causale diretto dall'azione corrente sull'evidenza del bersaglio. Invece di permettere alle azioni di influenzare la futura evidenza del bersaglio solo attraverso il meccanismo fisico del movimento del robot che cambia l'osservazione, il modello può utilizzare una "scorciatoia" iniettando direttamente l'informazione dell'azione nello stato del bersaglio. Ciò risulta in rollout futuri plausibili che possiedono una semantica errata per la pianificazione orientata al tracking, fallendo nel distinguere tra sequenze di azioni che preservano la visibilità e quelle che non lo fanno.

2. Metodologia: CST-WM

Per affrontare l'allucinazione causale, gli autori propongono CST-WM (Causally Structured World Model), che impone un vincolo strutturale sulla rappresentazione della pianificazione.

2.1 Decomposizione Causale e Rappresentazione dello Stato

Il modello decompone lo stato latente $S_\ell$ in tre rami distinti:

1. Ramo dell'Evidenza del Bersaglio ($H_\ell$): Una rappresentazione compatta derivata dall'osservazione corrente, composta da un punteggio di confidenza della rilevazione (da GroundingDINO) e un'area del bersaglio normalizzata (che funge da proxy per la scala apparente/distanza). Fondamentalmente, questo ramo non è una stima completa dello stato esterno, ma un riassunto di osservabilità e scala.
2. Ramo del Robot ($x_\ell$): Rappresenta lo stato cinematico del robot, integrato dalla cronologia delle azioni.
3. Ramo dell'Osservazione ($Z_\ell$): Una rappresentazione latente visiva codificata tramite un VAE pre-addestrato.

2.2 Transizione con Struttura Causale

L'innovazione principale è la fattorizzazione della dinamica di transizione per prevenire l'iniezione diretta dell'azione nel ramo dell'evidenza del bersaglio. La transizione è definita come:
$$p(H_{\ell+1}, x_{\ell+1}, Z_{\ell+1} | H_\ell, Z_\ell, x_\ell, a_\ell) = p(H_{\ell+1} | H_\ell, Z_\ell, x_\ell) \cdot p(x_{\ell+1} | x_\ell, a_\ell) \cdot p(Z_{\ell+1} | Z_\ell, H_{\ell+1}, x_{\ell+1})$$

I vincoli architettonici chiave includono:

• Vincolo di Non-Leakage (Non-Perdita): L'aggiornamento del ramo dell'evidenza del bersaglio $H_{\ell+1}$ è condizionato dallo stato precedente e dallo stato del robot, ma esclude esplicitamente l'azione corrente $a_\ell$. Matematicamente, $\frac{\partial \hat{H}_{\ell+1}}{\partial a_\ell} = 0$.
• Percorso dell'Azione: Le azioni influenzano la futura evidenza del bersaglio solo indirettamente: $a_\ell \to x_{\ell+1} \to Z_{\ell+1}$ (e successivamente $H_{\ell+1}$ tramite l'osservazione).
• Architettura a Singolo Livello: I rami vengono aggiornati in un ordine fisso (Evidenza del Bersaglio $\to$ Robot $\to$ Osservazione) con un mascheramento rigoroso per garantire che nessuna rappresentazione che trasporti l'azione entri nell'aggiornamento dell'evidenza del bersaglio.

2.3 Addestramento e Pianificazione

• Addestramento: Il modello è addestrato utilizzando un Modello Probabilistico di Diffusione (DDPM) su tuple di transizione $(O_\ell, a_\ell, O_{\ell+1})$. Viene introdotta una perdita ausiliaria consapevole della distanza, supervisionata da etichette di distanza relativa provenienti solo dal simulatore, per migliorare la correlazione tra il proxy dell'evidenza del bersaglio e la distanza reale. Questa supervisione è utilizzata solo durante l'addestramento; non sono disponibili segnali geometrici privilegiati al momento del test.
• Pianificazione: Il sistema impiega il Controllo Predittivo del Modello (MPC) utilizzando il Metodo della Cross-Entropy (CEM). Il pianificatore esegue i rollout di sequenze di azioni candidate utilizzando la dinamica appresa, valutandoli in base a una funzione di valore che premia la visibilità del bersaglio ($H_{vis}$), la scala apparente appropriata ($H_{area}$), la validità dell'azione e la sicurezza. La prima azione della migliore sequenza viene eseguita in modalità a orizzonte scorrevole (receding-horizon).

3. Contributi Chiave

1. Formulazione dell'Allucinazione Causale: Il paper identifica e formalizza l' "allucinazione causale" come un fallimento strutturale specifico nei modelli di mondo condizionati all'azione per il tracking, dove i modelli confondono i segnali di controllo con l'evidenza del bersaglio.
2. Architettura CST-WM: La proposta di un modello di mondo con struttura causale che blocca esplicitamente l'iniezione diretta dell'azione nel ramo dell'evidenza del bersaglio, garantendo che l'evidenza del bersaglio evolva solo attraverso le conseguenze del moto proprio sulle osservazioni.
3. Rappresentazione Compatta Orientata alla Pianificazione: L'introduzione di un proxy dell'evidenza del bersaglio (confidenza di rilevazione + area normalizzata) che riassume l'osservabilità e la scala per la pianificazione senza richiedere il recupero completo dello stato geometrico o la supervisione privilegiata al momento dell'inferenza.
4. Valutazione Esaustiva: Una valutazione rigorosa su EVT-Bench e Habitat 3.0, che include tracking standard, recupero della perdita del bersaglio, trasferimento tra dataset e diagnostica offline (fedeltà del rollout, coerenza del valore di pianificazione e analisi del leakage).

4. Risultati Sperimentali

Gli autori hanno valutato CST-WM rispetto a baseline reattive (es. TrackVLA, Uni-NaVid) e modelli di mondo adattati (es. Navigation World Models) in tre scenari:

• Tracking Standard: Su EVT-Bench, CST-WM ha ottenuto il più alto Success Rate (88.7%), Tracking Rate (83.4%) e il più basso Collision Rate (1.41%). Su Habitat 3.0, ha migliorato il Following Rate (0.53), il Distance-Range Success (0.70) e l'Episode Success (0.61) rispetto alle baseline.
• Recupero della Perdita del Bersaglio: In scenari che coinvolgono occlusioni brevi/lunghe, deriva fuori dal campo visivo (out-of-FOV) e incroci con distrattori, CST-WM ha dimostrato un successo di riacquisizione superiore (es. 0.84 contro 0.71 per l'occlusione breve) e tempi di recupero più rapidi.
• Diagnostica Offline:
  • Fedeltà del Rollout: CST-WM ha mostrato un errore di predizione latente inferiore e un AUROC di visibilità del bersaglio più elevato su orizzonti lunghi rispetto alle baseline, con un divario di prestazioni che aumenta all'aumentare dell'orizzonte.
  • Coerenza del Valore di Pianificazione: Il modello ha ottenuto una correlazione di rango più alta (Spearman's $\rho$ = 0.68) con le classifiche indotte dal simulatore delle sequenze candidate, indicando una migliore valutazione comparativa dei comportamenti futuri.
  • Analisi del Leakage: Le diagnostiche basate sul Jacobiano hanno confermato che l'iniezione diretta dell'azione nel ramo dell'evidenza del bersaglio è stata ridotta quasi a zero ($\approx 0.001$), mentre le baseline presentavano un leakage significativo.

5. Significato e Rivendicazioni

Il paper sostiene che per il tracking visivo embodied, la sola predizione futura non è sufficiente; la struttura predittiva stessa deve allinearsi con il modo in cui l'evidenza del bersaglio entra nella pianificazione.

Gli autori affermano che, imponendo una struttura causale in cui l'evidenza del bersaglio viene aggiornata senza iniezione diretta dell'azione, il modello evita gli errori semantici associati all'allucinazione causale. Questo allineamento strutturale consente un inseguimento più stabile, un migliore controllo della distanza e un riacquisizione del bersaglio più affidabile sotto occlusione. I risultati suggeriscono che la fattorizzazione proposta migliora sia le prestazioni del controllo a valle che la qualità interna dei futuri immaginati.

Gli autori rimangono modesti riguardo alle loro rivendicazioni, notando che:

• Il metodo si affida a un rilevatore (GroundingDINO), e le prestazioni degradano se il rilevatore fallisce (es. sfocatura intensa, punti di vista estremi).
• Il proxy dell'evidenza del bersaglio non è un estimatore di distanza metrica, ma un proxy basato sulla scala efficace entro un intervallo specifico (1–3m).
• L'evidenza primaria proviene dalla simulazione (EVT-Bench, Habitat 3.0), e sebbene siano mostrati risultati qualitativi nel mondo reale, non sono riportate statistiche su larga scala per robot fisici.
• Il vincolo di non-leakage è un requisito strutturale per la rappresentazione della pianificazione, non una rivendicazione di un pieno recupero causale della dinamica umana esterna.