Ego-Foresight: Self-supervised Learning of Agent-Aware Representations for Improved RL

1. Il Problema

Nonostante i progressi significativi nel Deep Reinforcement Learning (RL) degli ultimi dieci anni, la quantità di esperienza di addestramento necessaria per apprendere politiche efficaci rimane un collo di bottiglia critico, sia in ambienti simulati che reali.

• Limitazione degli approcci attuali: I metodi precedenti che mirano a migliorare l'efficienza campionando modellando separatamente l'agente e l'ambiente richiedono solitamente un segnale di supervisione (es. maschere di segmentazione ottenute da ID geometrici, modelli CAD o modelli di segmentazione fine-tunati). Questo rende difficile l'applicazione nel mondo reale, dove tali segnali non sono disponibili e dove l'agente può cambiare morfologia (es. utilizzando strumenti).
• Ispirazione biologica: Gli esseri umani apprendono nuove abilità con poche prove e spesso senza supervisione, sviluppando un modello interno delle conseguenze sensoriali dei propri comandi motori (predizione motoria). Il cervello sopprime le sensazioni auto-generate per aumentare la salienza degli input esterni.
• Obiettivo: Sviluppare un metodo non supervisionato per disentanglare (separare) le informazioni relative all'agente da quelle dell'ambiente, sfruttando il movimento come segnale intrinseco, per migliorare l'efficienza campionaria del RL.

2. Metodologia: Ego-Foresight (EF)

Il paper propone Ego-Foresight (EF), un metodo di apprendimento auto-supervisionato che sfrutta la predizione delle conseguenze visive delle azioni dell'agente per imparare una rappresentazione consapevole di sé.

Architettura e Meccanismo

Il sistema utilizza un modello Encoder-Decoder con un blocco ricorrente:

1. Input: Una sequenza limitata di frame RGB (contesto) e le azioni pianificate.
2. Encoder: Un encoder convoluzionale estrae una rappresentazione di feature $h$. Questa viene divisa in due parti:
   • $h_s$: Feature della scena (ambiente statico e oggetti in movimento non controllati).
   • $h_a$: Feature dell'agente (corpo e strumenti integrati).
3. Predizione Ricorrente: Le feature dell'agente ($h_a$) vengono passate a un modulo ricorrente insieme alle azioni future ($a_{t+1}$) per prevedere le future configurazioni dell'agente nel spazio delle feature.
4. Decoding e Ricostruzione: Le feature della scena ($h_s$) vengono "avanzate" (fast-forwarded) dal tempo corrente al tempo di predizione, mentre le feature predette dell'agente ($\hat{h}_a$) vengono concatenate. Un decoder ricostruisce i frame futuri.
5. Loss Function: L'obiettivo è minimizzare l'errore di ricostruzione tra il frame futuro reale e quello predetto ($L_{ef}$).
   • Bottleneck: La dimensionalità di $h_a$ è impostata come una frazione piccola del totale, costringendo il modello a concentrarsi solo sulle dinamiche più prevedibili (quelle dell'agente).
   • Separazione: Poiché il contenuto della scena è fornito direttamente dal contesto, il modulo ricorrente è "forzato" a non prevedere la dinamica dell'ambiente, concentrandosi esclusivamente sull'evoluzione dell'agente.

Integrazione con RL

EF viene utilizzato come task ausiliario per migliorare l'apprendimento delle feature in algoritmi RL esistenti:

• Algoritmi testati: DrQ-v2 (Model-Free) e TD-MPC2 (Model-Based).
• Funzione di Loss: La loss totale è la somma pesata della loss originale dell'algoritmo RL e della loss di ricostruzione di EF ($L_{ef}$).
• Motor Babbling: Per evitare che l'agente, cercando di massimizzare la ricompensa, esegua solo movimenti ripetitivi (limitando la diversità dei dati per l'apprendimento della predizione), viene introdotto uno stage iniziale di "motor babbling" (movimenti casuali) per esplorare lo spazio delle azioni.

3. Contributi Chiave

1. Metodo Auto-Supervisionato: Proposta di un metodo per disentanglare le informazioni dell'agente basato su movimento e auto-predizione, eliminando la necessità di supervisione (maschere o modelli CAD).
2. Adattabilità al Body-Schema: Dimostrazione della capacità del metodo di ricostruire le future configurazioni dell'agente e di adattarsi a cambiamenti nella morfologia, come l'integrazione di strumenti (es. un martello) nel corpo dell'agente una volta afferrato.
3. Miglioramento delle Performance RL: Estensione di due algoritmi SOTA (DrQ-v2 e TD-MPC2) con EF, dimostrando miglioramenti significativi nell'efficienza campionaria e nelle performance finali.
4. Studio Ablativo: Analisi dettagliata degli iperparametri introdotti (peso della loss, orizzonte temporale, dimensionalità delle feature).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due benchmark simulati complessi: Meta-World e DMC (DeepMind Control Suite), utilizzando MuJoCo.

• Disentanglement delle Feature:

  • La visualizzazione dei gradienti mostra che, durante l'addestramento, le feature $h_a$ si specializzano progressivamente sulle informazioni dell'agente, mentre $h_s$ gestisce lo sfondo e gli oggetti dinamici esterni.
  • Il modello predice correttamente il movimento dell'agente ignorando gli oggetti in movimento non controllati.
  • Integrazione degli strumenti: Nel task "Hammer", il modello predice il movimento del martello una volta afferrato, trattandolo come parte del corpo dell'agente. Nel task "Door Open", la porta rimane statica nella predizione (parte della scena) poiché il suo movimento non è deterministico rispetto alle azioni dell'agente.

• Efficienza e Performance nel RL:

  • DrQv2-EF: Ha mostrato miglioramenti in 21 su 26 task rispetto al DrQ-v2 base, riducendo drasticamente i passi necessari per risolvere i task e migliorando spesso la performance asintotica. Non ha degradato i risultati in nessun task.
  • TD-MPC2-EF: Ha migliorato le performance in 8 su 10 task rispetto al TD-MPC2 base.
  • Confronto con Baseline: EF supera o è competitivo con metodi supervisionati (SEAR), metodi contrastivi (CURL) e modelli basati su world model avanzati (Dreamer-v3).
  • Task con Strumenti: Il divario di performance rispetto alle baseline è maggiore nei task che richiedono l'uso di strumenti, confermando che la capacità di integrare nuovi "corpi" nella rappresentazione è un vantaggio chiave.
  • Metriche: Vengono riportati punteggi normalizzati per l'efficienza (ENS) e metriche Rliable, confermando la robustezza statistica dei risultati.

5. Significato e Implicazioni

• Verso il RL nel Mondo Reale: Rimuovendo la dipendenza da segnali di supervisione specifici per l'hardware (maschere, CAD), EF rende il RL più applicabile in scenari reali dove l'ambiente e l'agente sono dinamici e non perfettamente modellabili a priori.
• Efficienza Campionaria: Il disentanglement delle informazioni permette all'algoritmo RL di focalizzare la capacità di apprendimento sul controllo dell'agente nelle fasi iniziali, per poi dedicarsi alle interazioni ambientali, accelerando l'apprendimento.
• Regolarizzazione: L'imposizione della predittibilità del movimento dell'agente agisce come un regolarizzatore per l'algoritmo RL, stabilizzando l'apprendimento.
• Limiti e Futuro: Il metodo richiede la ricostruzione pixel-per-pixel (costo computazionale) e una fase di babbling fissa. Il lavoro futuro punta a sostituire la ricostruzione con loss contrastive, rendere il babbling adattivo e scalare a risoluzioni più alte e ambienti reali (es. guida autonoma).

In sintesi, Ego-Foresight dimostra che l'auto-consapevolezza (self-awareness) può essere appresa in modo auto-supervisionato attraverso la predizione motoria, fornendo una rappresentazione delle feature che migliora significativamente l'efficienza e la robustezza degli algoritmi di Reinforcement Learning visivo.