Agent-Centric Visual Reinforcement Learning under Dynamic Perturbations

1. Enunciato del Problema

Gli agenti di Reinforcement Learning (RL) visivo apprendono politiche direttamente dalle osservazioni dei pixel, ma sono altamente vulnerabili a perturbazioni visive dinamiche (ad esempio, pioggia, neve, sfocatura da movimento, rumore del sensore e sfondi in cambiamento). I benchmark esistenti si basano spesso su distrazioni di sfondo statiche o corruzioni singole e fisse, fallendo nel catturare la natura non stazionaria e variabile nel tempo degli ambienti reali, dove i tipi di corruzione cambiano in modo imprevedibile (ad esempio, il meteo che passa dalla pioggia alla nebbia).

Il paper identifica due modalità di fallimento critiche nei metodi attuali:

1. Metodi senza Modello (Model-Free): Gli encoder confondono le caratteristiche dello stato rilevanti per il compito con gli artefatti della corruzione, portando a confusione nella politica quando le texture in primo piano sono occluse.
2. Metodi basati su Modello (World Models): Gli obiettivi basati sulla ricostruzione (ad esempio, in DreamerV3) costringono lo stato latente a codificare caratteristiche specifiche della corruzione per minimizzare l'errore di ricostruzione. Sotto commutazione dinamica, questa "intreccia" la perturbazione nella rappresentazione latente, contaminando i roll-out immaginati utilizzati per la pianificazione e causando crolli catastrofici delle prestazioni.

Le soluzioni esistenti, come l'aumento dei dati o l'apprendimento di rappresentazioni invarianti, falliscono perché o continuano a fornire pixel corrotti all'agente o non riescono a recuperare informazioni perse a livello di pixel (ad esempio, primi piani occlusi).

2. Metodologia: ACO-MoE

Gli autori propongono Agent-Centric Observations with Mixture-of-Experts (ACO-MoE), un framework di pre-elaborazione plug-and-play progettato per disaccoppiare la percezione dalla perturbazione prima che l'agente RL elabori l'input.

Componenti Principali:

• Preprocessore Plug-and-Play: ACO-MoE si colloca tra l'ambiente e il backbone RL (encoder). Prende un'osservazione corrotta $x_t$ e produce un'osservazione centrata sull'agente pulita $\tilde{x}_t$.
• Architettura Mixture-of-Experts (MoE):
  • Encoder Condiviso: Estrae caratteristiche multi-scala dall'input corrotto.
  • Router: Un modulo leggero che seleziona dinamicamente uno tra $|K|$ esperti specializzati in base alle caratteristiche di input. Crucialmente, opera senza etichette oracle del tipo di corruzione durante l'inferenza.
  • Esperti di Ripristino: Ogni esperto è specializzato per un tipo specifico di degradazione (ad esempio, pioggia, sfocatura, rumore).
• Output Dual-Stream: Ogni esperto selezionato produce due output:
  1. Residuo RGB: Ripristina i pixel del primo piano corrotti.
  2. Maschera del Primo Piano: Segmenta l'agente e gli oggetti rilevanti per il compito dallo sfondo.
• Composizione Centrata sull'Agente: L'osservazione finale è costruita componendo il primo piano ripristinato su uno sfondo nero uniforme. Questo elimina le distrazioni di sfondo e garantisce che l'agente RL veda solo lo stato rilevante per il compito.
• Strategia di Addestramento: La MoE è pre-addestrata offline su dati accoppiati puliti/corrotti con pseudo-maschere. Durante l'addestramento RL, il modulo ACO-MoE viene congelato, prevenendo la deriva delle osservazioni e garantendo un apprendimento stabile della politica.

3. Analisi Teorica

Il paper fornisce un'analisi formale dell'informazione teorica per giustificare l'approccio:

• Proposizione 5.1 (Contaminazione della Rappresentazione): Dimostra che per i world model basati sulla ricostruzione, la minimizzazione dell'errore di ricostruzione costringe inevitabilmente la rappresentazione latente $Z_t$ a codificare la modalità di corruzione $K_t$. Nello specifico, $I(Z_t; K_t | S_t) \ge I(X_t; K_t | S_t) - C(\epsilon)$. Una ricostruzione accurata implica un alto intreccio con il rumore.
• Corollario 5.2 (Primo Piano come Ancoraggio IB): Dimostra che l'estrazione del primo piano pulito $F_t$ agisce come un surrogato Information Bottleneck (IB). Poiché il primo piano è una funzione deterministica dello stato $S_t$ e indipendente dalla corruzione esogena $K_t$, l'uso di $F_t$ come input ($Z_t = F_t$) raggiunge un'invarianza esatta ai disturbi ($I(Z_t; K_t | Y_t) = 0$) preservando al contempo la sufficienza del compito.

4. Benchmark: Visual Degraded Control Suite (VDCS)

Per valutare sistematicamente questo problema, gli autori introducono VDCS, un'estensione della DeepMind Control Suite (DMC).

• Perturbazioni Dinamiche: A differenza dei benchmark statici, VDCS utilizza dinamiche di commutazione di Markov per simulare transizioni non stazionarie tra tipi di corruzione (ad esempio, pioggia $\to$ neve $\to$ sfocatura) all'interno di un singolo episodio.
• Degradazioni: Include 7 degradazioni fisiche (Pioggia, Nebbia, Neve, Sfocatura da movimento, Rumore Gaussiano, Bassa luminosità, JPEG) e 2 distrazioni di sfondo (Video, Colore).
• Severità: Le corruzioni hanno livelli di severità correlati temporalmente, imitando la persistenza nel mondo reale.

5. Risultati Chiave

Gli esperimenti sono stati condotti su VDCS e sul DMControl Generalization Benchmark (DMC-GB) utilizzando sia backbone senza modello (DrQ-v2) sia basati su modello (DreamerV3, TD-MPC2).

• Prestazioni su VDCS:
  • ACO-MoE ottiene un miglioramento relativo del 78,5% rispetto alla migliore baseline (SimGRL) in media.
  • Recupera il 95,3% delle prestazioni pulite di DreamerV3 sotto corruzioni di commutazione di Markov impegnative.
  • I guadagni specifici sono massicci su compiti sensibili alla perdita di texture: finger_turn_hard (+207%), cheetah_run (+126%) e hopper_hop (+105%).
• Generalizzazione (DMC-GB):
  • Raggiunge lo Stato dell'Arte (SOTA) su DMC-GB (Video Hard e Colore Hard), superando il secondo miglior metodo rispettivamente del 6,2% e del 17,4%.
  • Dimostra robustezza anche quando il tipo di corruzione non è esplicitamente noto durante l'inferenza.
• Studi di Ablazione:
  • MoE vs. Singolo Esperto: Gli esperti specializzati superano una singola rete grande, provando il beneficio del routing.
  • Dual-Stream: Sia il ripristino RGB che la mascheratura del primo piano sono essenziali; rimuovere uno dei due causa crolli significativi delle prestazioni.
  • Congelato vs. Congiunto: Mantenere il preprocessore congelato è critico; il suo fine-tuning durante l'RL porta a instabilità e collasso delle prestazioni.
• Efficienza: ACO-MoE aggiunge latenza minima (~20ms/step su RTX 5090) rispetto ai metodi di adattamento al test come FTR, che si affidano a pesanti modelli di segmentazione (SAM).

6. Significato e Contributi

1. Nuovo Benchmark (VDCS): Stabilisce uno standard rigoroso per valutare l'RL visivo sotto perturbazioni non stazionarie e realistiche dal punto di vista fisico, andando oltre le distrazioni di sfondo statiche.
2. Insight Teorico: Dimostra formalmente che gli obiettivi di ricostruzione nei world model sono strutturalmente incompatibili con la robustezza alle corruzioni dinamiche, motivando il passaggio al pre-processing centrato sull'agente.
3. Framework Robusto (ACO-MoE): Introduce una soluzione nuova e agnostica rispetto all'architettura che disaccoppia la percezione dalla perturbazione. Funziona in modo trasparente sia con agenti senza modello sia con agenti basati su modello, senza richiedere modifiche all'algoritmo RL stesso.
4. Impatto Pratico: Il metodo recupera prestazioni quasi pulite in ambienti altamente degradati, rendendo l'RL visivo più fattibile per il deployment nel mondo reale, dove il rumore del sensore e i cambiamenti ambientali sono inevitabili.

In conclusione, questo lavoro sposta il paradigma dall'"imparare a ignorare il rumore" al "ripristinare la visione centrata sull'agente", fornendo una soluzione teoricamente fondata e empiricamente superiore per il controllo visivo robusto.