Saliency-Guided Representation with Consistency Policy Learning for Visual Unsupervised Reinforcement Learning

1. Il Problema: Limiti delle Rappresentazioni di Successore nel RL Visuale Non Supervisionato

L'apprendimento per rinforzo non supervisionato (URL) mira a creare agenti capaci di generalizzare a compiti mai visti (generalizzazione zero-shot) senza supervisione aggiuntiva. Un paradigma promettente in questo ambito è quello delle Rappresentazioni di Successore (Successor Representations - SR), che separano la dinamica dell'ambiente dalla funzione di ricompensa, permettendo di inferire politiche ottimali per nuovi compiti basandosi su pochi dati.

Tuttavia, il paper identifica due limiti critici quando le SR vengono applicate ad ambienti visivi ad alta dimensionalità (come i video):

1. Rappresentazioni Subottimali: Gli obiettivi standard delle SR tendono a far sì che l'encoder si concentri su regioni dell'immagine irrilevanti per la dinamica (es. sfondi statici o dettagli non informativi). Questo porta a una stima inaccurata delle "misure di successore", degradando la capacità di generalizzare.
2. Difficoltà nella Modellazione delle Politiche: In ambienti visivi, apprendere politiche condizionate alle abilità (skill-conditioned policies) che siano sia espressive (multimodali) che controllabili è complesso. Le reti tradizionali faticano a bilanciare questi aspetti, mentre i modelli di diffusione, pur essendo potenti, soffrono di un'elevata latenza di inferenza.

2. Metodologia: Il Framework SRCP

Per superare questi ostacoli, gli autori propongono SRCP (Saliency-Guided Representation with Consistency Policy Learning), un framework unificato che decoupla l'apprendimento della rappresentazione dall'addestramento della misura di successore e introduce una nuova politica basata sui modelli di coerenza.

Il framework si articola in cinque componenti principali:

A. Generazione di Mappe di Saliency

Per guidare l'encoder verso le regioni rilevanti, il sistema genera mappe di saliency basate sui gradienti della funzione di valore derivata dalle caratteristiche di successore. Queste mappe evidenziano i pixel dell'osservazione che contribuiscono maggiormente alla dinamica del sistema, mascherando le regioni irrilevanti.

B. Apprendimento di Rappresentazioni Dinamiche Guidate dalla Saliency

Invece di addestrare l'encoder direttamente con l'obiettivo SR (che può essere fuorviante), SRCP introduce un task di dinamica guidato dalla saliency:

• Vengono utilizzati modelli di dinamica forward e inverse.
• L'encoder viene addestrato a prevedere lo stato successivo o l'azione basandosi sulle osservazioni mascherate dalla saliency ($o_\alpha$).
• Questo forza l'encoder a catturare esclusivamente le caratteristiche rilevanti per la dinamica, migliorando la qualità delle rappresentazioni di base e di successore.

C. Addestramento della Misura di Successore

Una volta appresa una rappresentazione dinamica di alta qualità, le caratteristiche di base ($\phi$) e le caratteristiche di successore ($\psi$) vengono ottimizzate congiuntamente per soddisfare la consistenza di Bellman, utilizzando la rappresentazione Hilbertiana (HILP) come base.

D. Politica di Coerenza (Consistency Policy) con Guida Classifier-Free

Per la parte di controllo, SRCP sostituisce le politiche tradizionali o i modelli di diffusione lenti con una Consistency Policy:

• Modellazione Multimodale: La politica è formulata come un processo di denoising che recupera un'azione pulita da una versione rumorosa, condizionata dallo stato e da un vettore di abilità ($z$).
• Classifier-Free Guidance: Per bilanciare diversità e controllabilità, viene applicata una strategia di guida senza classificatore. L'azione finale è una combinazione dell'output condizionato e non condizionato, permettendo di controllare la forza dell'influenza dell'abilità ($\omega$).
• Obiettivi di Addestramento: La politica viene ottimizzata per massimizzare il ritorno atteso delle abilità, garantire la coerenza comportamentale su dati perturbati (stabilità) e promuovere distribuzioni multimodali espressive.

3. Contributi Chiave

1. Analisi Empirica dei Fallimenti delle SR: Dimostrazione che l'ottimizzazione congiunta di encoder e SR in ambienti visivi porta a rappresentazioni che ignorano la dinamica, limitando la generalizzazione.
2. Decoupling tramite Saliency: Proposta di un metodo per separare l'apprendimento della rappresentazione dinamica dall'obiettivo SR, utilizzando mappe di saliency per focalizzare l'attenzione sulle regioni dinamiche critiche.
3. Politica di Coerenza per URL: Introduzione di una politica basata su modelli di coerenza (Consistency Models) con guida classifier-free specifica per l'URL, risolvendo il compromesso tra diversità delle azioni e controllabilità delle abilità con un costo computazionale inferiore rispetto ai diffusion model.
4. Framework Universale: SRCP è progettato per essere compatibile con vari metodi SR esistenti (come FB e HILP), agendo come un miglioramento architetturale generale.

4. Risultati Sperimentali

Il framework è stato valutato sul benchmark ExORL, comprendente 16 compiti di controllo continuo visivo su 4 domini (Walker, Quadruped, Cheetah, Jaco) e 4 dataset di pre-addestramento diversi (RND, PROTO, APS, APT).

• Generalizzazione Zero-Shot: SRCP ha raggiunto lo stato dell'arte (SOTA) in tutti i domini, superando i metodi precedenti (come HILP e FB) con margini significativi (es. +13% su Walker, +33% su Quadruped, +11% su Cheetah).
• Ablazione: Gli esperimenti di ablazione confermano che sia il componente di rappresentazione guidata dalla saliency (SRCP w/o SE) sia la politica di coerenza (SRCP w/o CP) contribuiscono individualmente al miglioramento, ma la loro combinazione offre le prestazioni migliori.
• Robustezza: SRCP dimostra una forte robustezza rispetto alle variazioni dei dataset e mantiene prestazioni elevate anche con budget di inferenza ridotti (pochi passaggi di adattamento).
• Efficienza: Nonostante l'aggiunta di moduli per la saliency e la politica di coerenza, i tempi di addestramento e l'uso di memoria sono comparabili ai metodi baseline, grazie alla natura efficiente dei Consistency Models rispetto ai Diffusion Models.

5. Significato e Impatto

Questo lavoro è significativo perché risolve il collo di bottiglia principale che ha limitato l'applicazione delle Rappresentazioni di Successore agli ambienti visivi reali.

• Paradigma Shift: Sposta il focus dal semplice addestramento congiunto a un approccio modulare che separa la comprensione della dinamica visiva dalla pianificazione delle abilità.
• Efficienza Computazionale: Dimostra che è possibile ottenere politiche espressive e controllabili senza il costo computazionale proibitivo dei modelli di diffusione iterativi, rendendo il RL non supervisionato più pratico per applicazioni reali (es. robotica).
• Generalizzazione Reale: Fornisce un framework solido per costruire agenti "generalisti" capaci di adattarsi a nuovi compiti visivi complessi con una minima quantità di dati, un passo cruciale verso l'intelligenza artificiale generale in contesti dinamici.

In sintesi, SRCP rappresenta un avanzamento fondamentale nel campo del RL visivo non supervisionato, combinando tecniche di attenzione (saliency) e modelli generativi efficienti (consistency models) per superare i limiti delle rappresentazioni tradizionali.