Riepilogo Tecnico: MaskLAM – Guida ai Modelli di Azione Latente in Presenza di Distrazioni

Enunciato del Problema

I Modelli di Azione Latente (LAM) offrono una via per pre-addestrare agenti incarnati su video su larga scala privi di etichette di azione, inferendo azioni latenti tra osservazioni consecutive. Queste azioni latenti vengono successivamente decodificate in controlli reali utilizzando un piccolo insieme di esempi etichettati. Tuttavia, i LAM standard, come LAPO, si basano su obiettivi di ricostruzione globale che costringono il modello a codificare l'intera scena per prevedere i fotogrammi futuri.

In ambienti realistici contenenti distrazioni visive (ad esempio, sfondi dinamici, vibrazioni della telecamera o oggetti in movimento), questo approccio fallisce. La funzione di perdita di ricostruzione standard spinge l'azione latente a codificare il moto esogeno (distrazioni) piuttosto che le dinamiche controllate dall'agente (endogene). Questo fenomeno, formalizzato dal framework Exogenous Block MDP (Ex-BMDP), risulta in spazi latenti che non recuperano le azioni vere, causando un rendimento significativamente inferiore delle politiche successive durante il fine-tuning. I tentativi precedenti di risolvere il problema hanno richiesto modifiche architetturali, funzioni di perdita ausiliarie o supervisione privilegiata delle azioni durante il pre-addestramento, aumentando complessità e requisiti di dati.

Metodologia: MaskLAM

Gli autori propongono MaskLAM, una modifica leggera all'obiettivo di addestramento di LAPO che affronta il problema della contaminazione esogena senza alterare l'architettura del modello o richiedere etichette di azione durante il pre-addestramento.

Intuizione Principale

Il metodo si basa sull'osservazione che, sebbene i fattori endogeni (agente) ed esogeni (distrazione) siano intrecciati nello spazio latente, sono tipicamente spazialmente separabili nello spazio dei pixel. Le variazioni controllate dall'agente sono concentrate sui pixel dell'agente, mentre il moto delle distrazioni avviene altrove.

Implementazione Tecnica

1. Segmentazione Zero-Shot: MaskLAM utilizza modelli fondazione di segmentazione pronti all'uso (nello specifico SAM 2.1) per generare maschere binarie ($M_t$) che identificano i pixel dell'agente. Queste maschere sono ottenute in zero-shot da un singolo prompt (ad esempio, un riquadro di delimitazione) sul primo fotogramma e propagate attraverso la sequenza video.
2. Funzione di Perdita per Dinamiche Forward Mascherata: Invece di ricostruire l'intera osservazione, la funzione di perdita del modello di dinamiche forward (FDM) è limitata ai pixel dell'agente. La funzione di perdita è definita come:
   $$L_{MaskLAM}^{FDM} = \frac{1}{\|M_{t+1}\|_1} \| M_{t+1} \odot (\hat{o}_{t+1} - o_{t+1}) \|_2^2$$
   dove $\odot$ denota il prodotto di Hadamard. Questo garantisce che i pixel esterni alla maschera dell'agente (distrazioni) contribuiscano con gradiente zero all'azione latente $z_t$.
3. Input Condizionati alla Maschera: Le maschere di segmentazione sono concatenate come canale di input aggiuntivo sia al Modello di Dinamiche Inverse (IDM) che al FDM. Questo permette ai modelli di utilizzare il contesto completo della scena (inclusi gli oggetti con cui l'agente interagisce che potrebbero cadere al di fuori della maschera stretta dell'agente) garantendo al contempo che il segnale di apprendimento per $z_t$ sia derivato esclusivamente dalle dinamiche controllate dall'agente.
4. Nessuna Modifica Architetturale: L'intervento modifica solo il calcolo della perdita e i canali di input, lasciando intatta l'architettura sottostante di LAPO (coppia IDM/FDM) e la pipeline di addestramento a tre stadi (pre-addestramento, rilabeling, fine-tuning del decoder).

Contributi Chiave

1. Separabilità Spaziale come Intervento: Il documento identifica la separabilità spaziale dei pixel dell'agente e delle distrazioni come la proprietà chiave che permette di implementare la fattorizzazione astratta Ex-BMDP come un intervento concreto durante l'addestramento.
2. Proposta di MaskLAM: Un metodo che elimina i gradienti esogeni sull'azione latente limitando la funzione di perdita di ricostruzione ai pixel dell'agente, senza richiedere funzioni di perdita ausiliarie, modifiche architetturali o etichette di azione durante il pre-addestramento.
3. Validazione Empirica: Una valutazione estesa su due benchmark (Distracting Control Suite e Distracting Meta-World) dimostra che MaskLAM supera significativamente le baseline senza etichette e riduce il divario di rendimento rispetto ai metodi che si affidano a supervisione privilegiata delle azioni (LAOM-Labels).

Risultati

Gli autori hanno valutato MaskLAM su 14 task attraverso due benchmark, confrontandolo con LAPO, LAOM-Labels (limite superiore con supervisione delle azioni), LAOF (basato su flusso) e LAPO-Slots (centrato sugli oggetti).

• Qualità dell'Azione Latente: MaskLAM ha ridotto l'Errore Quadratico Medio (NMSE) normalizzato tramite sonda lineare fino a 3,51× rispetto a LAPO. Nelle visualizzazioni (proiezioni UMAP), MaskLAM ha prodotto varietà lisce e monotone allineate con le azioni reali, mentre LAPO collassava in cluster intrecciati.
• Rendimento a Valle: MaskLAM ha migliorato il ritorno normalizzato fino a 4,97× rispetto a LAPO in scenari con distrazioni. Ha eguagliato o superato tutte le baseline senza etichette e si è avvicinato al rendimento di LAOM-Labels, che utilizza supervisione privilegiata delle azioni.
• Efficienza del Campione: MaskLAM ha dimostrato una superiore efficienza del campione nella fase di fine-tuning del decoder. Su Distracting Meta-World, ha raggiunto un rendimento vicino al picco con soli 2.000 etichette di azione, mentre LAPO e LAPO-Slots richiedevano quasi due ordini di grandezza in più di etichette per colmare il divario.
• Robustezza:
  • Occlusione: MaskLAM ha mantenuto bassi tassi di errore anche con fino al 75% di occlusione dell'agente, mentre i modelli non mascherati si degradavano significativamente.
  • Maschere Imperfette: Il metodo è rimasto efficace anche quando le maschere di segmentazione erano perturbate (il mIoU scendeva a 0,4–0,6), indicando che non è richiesta una segmentazione perfetta a livello di pixel.
  • Spazi Latenti Compatti: MaskLAM ha permesso dimensioni latenti più piccole (ad esempio, 64-dim) di raggiungere lo stesso allineamento di latenti non mascherati più grandi (256-dim), poiché lo spazio latente non è gravato dalla codifica della varianza esogena.

Significato e Affermazioni

Il documento afferma che il fallimento dei LAM standard in ambienti ricchi di distrazioni è guidato dall'obiettivo di previsione (ricostruzione globale) piuttosto che dall'architettura. Ridistribuendo il carico di supervisione dalle scarse etichette di azione alle maschere di segmentazione economiche e disponibili in zero-shot, MaskLAM rende il pre-addestramento delle azioni latenti fattibile su video rumorosi del mondo reale.

Gli autori sottolineano che questo approccio:

• Disaccoppia la necessità di etichette di azione dalla capacità di apprendere dinamiche disintrecciate.
• Preserva la semplicità del framework LAPO risolvendo al contempo un problema critico di robustezza.
• Dimostra che i prior spaziali derivati dai modelli fondazione possono guidare efficacemente l'apprendimento delle rappresentazioni in assenza di annotazioni di controllo esplicite.

Il lavoro suggerisce che, per agenti incarnati operanti in ambienti visivi complessi, la supervisione necessaria per disintrecciare le dinamiche dell'agente dalle distrazioni può essere tratta da maschere di segmentazione piuttosto che da etichette di azione, potenzialmente abilitando il pre-addestramento su larga scala su dati video di scala internet.