Riepilogo Tecnico: Azioni Latenti da Effetti di Transizione Fattorizzati sotto Ambiguità dell'Agente

1. Definizione del Problema

I Modelli di Azione Latente (Latent Action Models - LAM) mirano a apprendere proxy simili ad azioni direttamente dalle transizioni di osservazione (ad esempio, frame video $x_t$ a $x_{t+1}$) senza etichette di azione esplicite. Sebbene efficaci in contesti controllati dove l'agente è la fonte dominante di cambiamento, i LAM affrontano una significativa ambiguità dell'agente in scene complesse. In ambienti con distrattori, sfondi in movimento, dinamiche della telecamera o oggetti articolati, la transizione visiva $\Delta x_t$ è un mix di movimento controllato dall'agente e fattori esogeni non controllati.

I LAM standard comprimono l'intera transizione in un vettore latente monolitico. Senza supervisione, il modello manca di una base per distinguere quali cambiamenti osservati siano attribuibili all'agente rispetto ai distrattori. Questa ambiguità porta a spazi latenti che intrecciano il movimento controllabile con il rumore specifico dell'ambiente, ostacolando la trasferibilità e l'apprendimento di policy a valle. Gli approcci esistenti spesso si affidano a prior oggetto-centrici o segmentazione, imponendo assunzioni rigide e limitandone la scalabilità.

2. Metodologia

Gli autori propongono la Fattorizzazione della Transizione Osservata (Observed Transition Factorization - OTF), un approccio bottom-up che tratta la transizione visiva non come un singolo evento da comprimere, ma come una composizione sparsa di primitive di transizione osservata riutilizzabili. Il framework consiste in due fasi principali:

2.1. Fattorizzazione della Transizione Osservata (OTF)

La prima fase apprende un vocabolario condiviso di effetti di movimento locali.

• Costruzione dell'Input: Un'osservazione di movimento $o_t$ viene costruita applicando una trasformazione di gradiente (o Sobel) a frame consecutivi e calcolando la differenza. Questo enfatizza il cambiamento osservabile riducendo la dipendenza dall'aspetto statico e dall'identità dell'oggetto.
• Quantizzazione Vettoriale per Patch: L'input di movimento è partizionato in patch spaziali. Ogni patch viene codificata e quantizzata in un codebook discreto di dimensione $K$ utilizzando un obiettivo di tipo VQ-VAE.
• Primitive: Il codebook apprende primitive di transizione osservata riutilizzabili (ad esempio, spostamento locale, shift dei bordi, residui di rotazione, deformazione da contatto). Fondamentalmente, queste primitive rappresentano effetti visivi piuttosto che puro movimento fisico o identità degli oggetti.
• Rappresentazione dei Fattori: Per ogni transizione, il modello produce un insieme strutturato di fattori $E_t = \{e_{t,k}\}_{k=1}^K$, dove ogni fattore $e_{t,k}$ consiste nell'ingresso del codebook, una mappa di occupazione (supporto spaziale) e una forza di attivazione.
• Obiettivo di Addestramento: Il fattorizzatore è addestrato per ricostruire l'osservazione di movimento $o_t$ utilizzando le primitive selezionate e l'attuale frame $x_t$ come riferimento per l'aspetto, minimizzando la perdita di ricostruzione insieme alle standard perdite VQ e un regolarizzatore di ortogonalità per garantire la diversità del codebook.

2.2. OTF-LAM: Astrazione dell'Azione

Una volta pre-addestrato il modulo OTF, questo viene congelato e un Modello di Azione Latente viene addestrato sopra i fattori estratti.

• Astrazione Consapevole dello Stato: Il modello prende i fattori $E_t$ e lo stato corrente $x_t$ per formare un'azione latente compatta $z_t^{act}$.
• Meccanismo di Gating: Un "Modulo di Astrazione dell'Azione" converte ogni fattore in un token consapevole dello stato, dove una rete di gating assegna un peso di rilevanza $\alpha_{t,k}$ a ciascun fattore in base al contesto corrente, selezionando efficacemente quali primitive di transizione osservata sono rilevanti per l'azione dell'agente.
• Predizione: L'aggregato latente $z_t^{act}$ viene utilizzato in un framework standard di dinamica inversa-forward per predire l'osservazione successiva (o un aggiornamento residuo).

2.3. OTF-LAM-Dino

Viene introdotta una variante decoder-free per separare ulteriormente i componenti riutilizzabili dai dettagli specifici dell'ambiente.

• Rappresentazione Congelata: Invece di predire nello spazio dei pixel, il modello predice stati futuri in uno spazio di rappresentazione DINOv2 congelato.
• Architettura: Sia l'encoder visivo (DINOv2) che l'estrattore di primitive di movimento OTF sono congelati. I componenti apprendibili sono limitati all'aggregatore di azioni e al predittore di dinamica forward all'interno dello spazio delle feature DINO. Ciò costringe il modello a concentrarsi sull'astrazione della struttura di transizione rilevante per il controllo piuttosto che sulla ricostruzione di texture a livello di pixel.

2.4. Apprendimento della Policy

Per connettere lo spazio latente appreso al controllo nel mondo reale, viene utilizzata una piccola quantità di supervisione dell'azione. Una policy di behavioral cloning mappa l'azione latente $z_t^{act}$ verso le azioni reali, e un decoder di azione viene addestrato per mappare l'azione latente predetta verso l'azione ground-truth, utilizzando l'osservazione corrente per risolvere l'ambiguità su quale oggetto l'azione si applichi.

3. Contributi Chiave

1. Fattorizzazione della Transizione Osservata (OTF): Un metodo innovativo per scomporre transizioni visive complesse in un insieme sparso di primitive localizzate e riutilizzabili prima di tentare di inferire azioni latenti. Questo sposta l'obiettivo dell'apprendimento dal "recuperare la vera azione" alla "strutturazione degli effetti di transizione osservati".
2. OTF-LAM e OTF-LAM-Dino: Due architetture che utilizzano l'interfaccia di transizione fattorizzata. OTF-LAM-Dino dimostra specificamente che combinare vocabolari di transizione riutilizzabili con rappresentazioni di stato visivo congelate (DINOv2) può migliorare le prestazioni a valle agendo come regolarizzatore contro i fattori di disturbo a livello di pixel.
3. Trasferibilità Zero-Shot: Evidenza empirica che mostra come le primitive di movimento apprese si trasferiscano zero-shot tra diversi vettori visivi (ad esempio, diverse classi di cifre in Moving MNIST) e morfologie incarnate (ad esempio, da Walker a Cheetah in Distracting Control Suite), indicando che il codebook cattura strutture di transizione generali piuttosto che template specifici dell'ambiente.
4. Robustezza all'Ambiguità: Il metodo dimostra che fattorizzare le transizioni permette un apprendimento delle azioni latenti più robusto in presenza di distrattori, superando o eguagliando i baseline LAM monolitici in contesti complessi.

4. Risultati Sperimentali

Il paper valuta il metodo su Distracting Control Suite (DCS) (Cheetah-Run e Walker-Run) e Moving MNIST.

• Riutilizzabilità: Negli esperimenti di trasferimento cross-morfologia e cross-carrier, il vocabolario OTF ha mostrato una degradazione delle prestazioni significativamente inferiore rispetto ai baseline VQ-VAE monolitici. Ad esempio, in DCS, il vocabolario OTF addestrato su Walker-Run ha mantenuto un'alta qualità di ricostruzione quando applicato zero-shot a Cheetah-Run, mentre i baseline monolitici hanno subito grandi aumenti di errore (fino al 71% di degradazione rispetto al ~20% di OTF).
• Apprendimento della Policy a Valle:
  • Su DCS, OTF-LAM e OTF-LAM-Dino hanno ottenuto rendimenti competitivi o superiori rispetto ai baseline come LAPO, FLAM e HiLAM.
  • OTF-LAM-Dino ha costantemente superato il modello OT-LAM basato su decoder, suggerendo che predire in uno spazio di rappresentazione congelato sia più efficace per i compiti di controllo rispetto alla ricostruzione dei pixel.
  • Il metodo ha distillato con successo le azioni latenti in policy che eguagliano o superano i baseline, anche quando la transizione visiva conteneva un significativo rumore di disturbo.
• Ablation: Lo studio sulla dimensione del codebook ($K$) ha indicato che, sebbene i vocabolari più grandi aiutassero generalmente in ambienti complessi (Cheetah-Run), la performance non era strettamente monotona, suggerendo una capacità ottimale dipendente dall'ambiente e dall'architettura.

5. Significato e Rivendicazioni

Il paper sostiene che i fattori osservati fattorizzati fungano da rappresentazione intermedia superiore per l'apprendimento di azioni latenti basato solo sulle osservazioni sotto ambiguità dell'agente.

• Cambio di Prospettiva: Gli autori sostengono che, sotto l'apprendimento basato solo sull'osservazione, l'obiettivo più affidabile non è la vera azione stessa, ma la struttura degli effetti di transizione osservati. Trattando la transizione come una composizione di primitive riutilizzabili, il modello può separare il movimento controllabile dai distrattori senza fare affidamento su rigidi prior oggetto-centrici.
• Generalizzazione: I risultati suggeriscono che l'apprendimento di un "vocabolario" di effetti di transizione visiva consente una migliore generalizzazione attraverso diversi agenti e domini visivi rispetto all'apprendimento di un'unica azione latente monolitica per transizione.
• Ambito Modesto: Gli autori dichiarano esplicitamente che il loro lavoro valuta questi approcci in contesti controllati e ambienti con distrattori come DCS. Riconoscono che estendere questo a domini video più ricchi e diversificati (ad esempio, telecamere in movimento, dinamiche diverse dal non-agente) rimane un lavoro futuro. Non pretendono di aver risolto il problema inverso generale del recupero dell'azione senza alcuna supervisione, ma dimostrano che una rappresentazione intermedia fattorizzata migliora significativamente la robustezza e la trasferibilità dell'interfaccia dell'azione latente appresa.