Riepilogo Tecnico: Perché le Azioni Latenti Falliscono e Come Prevenirlo

Enunciato del Problema

I Modelli di Azione Latente (LAM) mirano ad apprendere rappresentazioni rilevanti per l'azione da video non etichettati comprimendo i cambiamenti da un frame all'altro, offrendo una soluzione alla scarsità di dataset etichettati per le azioni nella robotica reale. Tuttavia, nei video "in-the-wild" (presi in ambienti naturali), le osservazioni contengono non solo lo stato endogeno dell'agente, ma anche stati esogeni (ad esempio, disordine di sfondo, movimento della telecamera, cambiamenti di illuminazione). Questi fattori esogeni introducono transizioni tra i frame non correlate alle azioni dell'agente.

Studi precedenti hanno osservato che i LAM addestrati con obiettivi di ricostruzione standard spesso non riescono ad allinearsi con le azioni ground-truth in tali ambienti. Invece di apprendere le dinamiche dell'azione, le azioni latenti codificano in modo spurio il rumore esogeno. Sebbene esistano rimedi empirici (ad esempio, supervisione ausiliaria, dati multi-vista), non è stata condotta alcuna analisi teorica unificata che spieghi perché gli obiettivi standard falliscono in presenza di rumore esogeno o perché specifici obiettivi ausiliari mitigano questo fallimento.

Metodologia

Gli autori propongono un quadro teorico unificato basato sul Processo Decisionale di Markov a Blocchi Esogeni (Ex-BMDP) per analizzare l'apprendimento delle azioni latenti.

1. Quadro Teorico: Ex-BMDP

Gli autori estendono il classico Block MDP (BMDP) per modellare esplicitamente il rumore esogeno. In questa formulazione:

• Lo stato latente $x$ è decomposto in uno stato endogeno $s$ (controllabile dall'agente) e uno stato esogeno $\xi$ (indipendente dalle azioni dell'agente).
• Le funzioni di transizione e le distribuzioni iniziali sono disaccoppiate: $T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$.
• Le osservazioni sono generate tramite una mappa di emissione deterministica $o = h(s, \xi)$, che include un encoder visivo $f$.

2. Analisi del LAM Lineare

Per garantire la trattabilità teorica, gli autori analizzano inizialmente un setting LAM Lineare in cui:

• Le transizioni delle osservazioni sono additive: $o' = o + \phi_\xi(a) + \epsilon$, dove $\phi_\xi(a)$ è l'effetto dell'azione e $\epsilon$ è il rumore esogeno derivante dai cambiamenti di stato ($\xi \to \xi'$).
• Il modello di dinamica inversa ($\psi_{IDM}$) e il modello di dinamica diretta ($\psi_{FDM}$) sono mappe lineari.
• L'obiettivo standard è la minimizzazione dell'errore di ricostruzione $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$.

3. Obiettivi Ausiliari

Gli autori riformulano due famiglie di obiettivi ausiliari esistenti all'interno del quadro Ex-BMDP:

• Ricostruzione Cross-Exogena ($L_{X-exo}$): Utilizza osservazioni accoppiate da diversi stati esogeni ($\xi, \tilde{\xi}$) che condividono lo stesso stato endogeno per imporre coerenza.
• Previsione Robusta agli Esogeni ($L_{\xi-robust}$): Supervisiona l'azione latente con un target $y$ (ad esempio, azioni ground-truth o flusso ottico) che è robusto alle variazioni esogene (cioè, $y$ rimane simile indipendentemente da $\xi$).

Contributi Chiave

1. Identificazione della "Fuga Futura" (Future Leakage)

Gli autori dimostrano che minimizzare l'obiettivo di ricostruzione standard $L_{LAM}$ in presenza di rumore esogeno causa la fuga futura.

• Meccanismo: Poiché il modello diretto $\psi_{FDM}$ deve ricostruire l'osservazione futura $o'$ (che contiene il futuro stato esogeno $\xi'$), e $\xi'$ non è disponibile come input, l'azione latente $z$ è costretta a codificare informazioni su $\xi'$.
• Risultato: La Proposizione 4.2 mostra che nessun minimizzatore globale di $L_{LAM}$ ammette un'azione latente indipendente da $\xi'$. Di conseguenza, $z$ assorbe informazioni esogene dal frame futuro, riducendo la capacità disponibile per codificare le effettive dinamiche dell'azione.

2. Ruolo della Sensibilità dell'Encoder Visivo

L'analisi rivela che l'energia del rumore esogeno nello spazio latente è governata dalla sensibilità dell'encoder visivo ai cambiamenti esogeni.

• L'energia del rumore è proporzionale alla frequenza delle commutazioni dello stato esogeno e alla sensibilità della funzione di emissione $h$ rispetto a $\xi$.
• I risultati empirici mostrano che encoder come DINOv2, che sono incentrati sugli oggetti e robusti alle variazioni di sfondo, riducono significativamente questa sensibilità rispetto agli input pixel grezzi, portando a un migliore allineamento delle azioni.

3. Giustificazione Teorica degli Obiettivi Ausiliari

Il paper fornisce dimostrazioni che mostrano come gli obiettivi ausiliari mitigano l'interferenza esogena imponendo coerenza attraverso gli stati esogeni:

• Ricostruzione Cross-Exogena: Sotto ipotesi lineari, minimizzare $L_{X-exo}$ è equivalente all'Analisi delle Correlazioni Canoniche (CCA). Questo sopprime le componenti di transizione che variano con specifici stati esogeni, preservando al contempo le componenti che persistono attraverso di essi (cioè, i cambiamenti guidati dall'azione).
• Previsione Robusta agli Esogeni: La Proposizione 4.8 dimostra che prevedere un target $y$ che è $\eta$-robusto rispetto agli stati esogeni fornisce un limite esplicito sul disallineamento delle azioni latenti tra diversi stati esogeni. Minimizzare questa perdita forza l'azione latente a essere coerente indipendentemente dallo sfondo.

Risultati Sperimentali

Esperimenti su LAM Lineari

Utilizzando dati sintetici con probabilità di commutazione esogena controllate ($p_{switch}$):

• Validazione della Fuga Futura: Gli esperimenti hanno confermato che le azioni latenti codificano stati esogeni futuri. Quando lo stato esogeno del frame successivo veniva scambiato durante l'inferenza, l'output di ricostruzione si spostava per corrispondere al frame scambiato, confermando il comportamento "scorciatoia".
• Sensibilità al Rumore: All'aumentare della sensibilità dell'osservazione ai cambiamenti esogeni ($\alpha$), l'Errore Quadratico Medio Normalizzato (NMSE) per la previsione dell'azione peggiorava, validando il legame teorico tra sensibilità dell'encoder e fallimento.
• Efficacia Ausiliaria: L'aggiunta di $L_{X-exo}$ o $L_{\xi-robust}$ alla perdita standard ha migliorato costantemente l'allineamento delle azioni e ha ridotto la varianza delle azioni latenti attraverso gli stati esogeni.

Esperimenti su LAM Non Lineari (Pratici)

Per testare la generalizzabilità, gli autori hanno addestrato un LAM non lineare (VQ-VAE con CNN/UNet) su un dataset grid-world con rumore esogeno moltiplicativo (violando le ipotesi lineari):

• LAM Vanilla: All'aumentare dell'intensità del rumore, il modello codificava le regioni esogene, portando a una perdita di coerenza elevata e a un basso MSE della regione esogena (significando che prevedeva il rumore).
• LAM Augmentato: I modelli addestrati con $L_{X-exo}$ o $L_{\xi-robust}$ mantenevano un alto MSE della regione esogena (ignorando il rumore) e una bassa perdita di coerenza a tutti i livelli di rumore.
• Conclusione: Le intuizioni teoriche riguardanti la fuga futura e i benefici degli obiettivi che impongono coerenza valgono anche quando le ipotesi di linearità e additività sono violate.

Significato e Affermazioni

Il paper afferma di fornire un'analisi teorica unificata dei fallimenti nell'apprendimento delle azioni latenti in presenza di rumore esogeno. Il suo significato primario risiede in:

1. Spiegazione delle Modalità di Fallimento: Identifica formalmente la "fuga futura" come il meccanismo attraverso il quale gli obiettivi di ricostruzione standard degradano l'apprendimento delle azioni, anziché limitarsi a osservare il fenomeno empiricamente.
2. Unificazione dei Rimedi: Dimostra che diversi obiettivi ausiliari (multi-vista, supervisione delle azioni, flusso ottico) condividono un meccanismo teorico comune: impongono la coerenza delle azioni latenti attraverso gli stati esogeni.
3. Guida alla Progettazione: Evidenzia l'importanza critica della sensibilità dell'encoder visivo ai fattori esogeni, suggerendo che estrattori di caratteristiche robusti sono un prerequisito per LAM efficaci.

Gli autori concludono che, sebbene le loro dimostrazioni teoriche si basino su ipotesi lineari, la validazione empirica su modelli non lineari suggerisce che questi principi si estendono a scenari pratici di apprendimento delle azioni latenti nel mondo reale.