Sintesi Tecnica: Pre-addestramento senza ricompensa per l'Apprendimento per Rinforzo tramite la Massimizzazione della Copertura dell'Occupazione

Definizione del Problema

Le ricompense sparse rappresentano una sfida fondamentale nell'Apprendimento per Rinforzo (RL), in cui gli agenti non ricevono feedback informativi finché non raggiungono un obiettivo specifico. Sebbene i metodi a ricompensa intrinseca (ad es., novità, errore di predizione, diversità delle abilità) tentino di iniettare segnali di supervisione, essi spesso dipendono dalla capacità di valutare le ricompense estrinseche o online o tramite il relabeling offline delle transizioni memorizzate. Questa assunzione fallisce in contesti di RL multi-task, meta- e continua, dove le interazioni sono strettamente prive di ricompensa e la funzione di ricompensa a valle è non disponibile finché l'agente non raggiunge effettivamente un obiettivo dipendente dal compito.

Gli obiettivi esistenti privi di ricompensa soffrono spesso di non-stazionarietà. I metodi che ottimizzano il matching della marginale degli stati, l'errore di predizione o la diversità delle abilità possono scoprire stati diversificati durante il pre-addestramento, ma non riescono a mantenere una politica la cui occupazione di stato scontata sia ampiamente distribuita. Inveve, la politica finale spesso si concentra su piccole regioni o presenta un comportamento oscillatorio di "espansione-collasso", fallendo nel fornire un'inizializzazione robusta per compiti con ricompense sparse a valle.

Metodologia: ROVER

Gli autori propongono ROVER (Reward-free pretraining via Occupancy coVERage maximization), un algoritmo progettato per pre-addestrare politiche di esplorazione trasferibili che massimizzano la copertura dello spazio degli stati senza richiedere una distribuzione target o una valutazione della ricompensa offline.

1. Obiettivo: Massimizzazione della Copertura dell'Occupazione

ROVER formula l'obiettivo di pre-addestramento come la minimizzazione della auto-similarità della misura di occupazione scontata $d^\pi$ all'interno di uno Spazio di Hilbert Riproducente (RKHS).

• Formulazione: L'obiettivo è definito come $J(\pi) = \|\mu_{d^\pi}\|_H^2$, dove $\mu_{d^\pi}$ è l'embedding della media del kernel della misura di occupazione.
• Equivalenza Teorica:
  • Minimizzare questa norma è equivalente a massimizzare l'entropia di Rényi di ordine 2.
  • Nel setting tabulare con un kernel di Dirac, è equivalente a minimizzare la distanza Maximum Mean Discrepancy (MMD) rispetto a una distribuzione uniforme, promuovendo efficacementmente una copertura uniforme senza definire esplicitamente un target uniforme.
  • Negli spazi di rappresentazione appresi, promuove la diversità nella geometria indotta dalla rappresentazione.

2. Implementazione Algoritmica

ROVER sfrutta la formulazione operatoriale dell'RL per rendere l'obiettivo computabile e differenziabile in forma chiusa. L'algoritmo alterna la raccolta di dati a tre fasi:

• Apprendimento della Rappresentazione: Viene appresa una mappa di caratteristiche $\phi_\theta$ dai dati di transizione utilizzando una perdita contrastiva InfoNCE per allineare le rappresentazioni dello stato successivo predetto con gli stati successivi reali. Questo definisce la geometria per l'obiettivo di copertura.
• Stima del Modello del Mondo (Operatore di Transizione): L'algoritmo stima un operatore di transizione elevato $\hat{T}_n$ utilizzando la Regressione Kernel Ridge (KRR) sulle rappresentazioni apprese. Questo operatore mappa le caratteristiche stato-azione nelle embedding dello stato successivo in forma chiusa.
• Policy Mirror Descent (PMD): La politica viene aggiornata per minimizzare l'obiettivo $J(\pi)$ utilizzando la Policy Mirror Descent. Il gradiente dell'obiettivo è derivato in forma chiusa utilizzando il risolvente dell'operatore di transizione, permettendo aggiornamenti efficienti senza stima del gradiente basata su campionamento.

3. Augmentation dello Stato-Sink (Stato Pozzo)

Un componente critico di ROVER è l'introduzione di uno stato "sink" virtuale ($s_{S_\epsilon}$) per gestire le regioni dello spazio degli stati non supportate dai dati attuali.

• Meccanismo: Lo spazio degli stati è aumentato con uno stato sink assorbente. L'operatore di transizione è stimato utilizzando un problema di ridge spostato che instrada i residui non spiegati (predizioni per coppie stato-azione non viste) verso questo stato sink piuttosto che verso un vettore zero.
• Stabilizzazione: Questo evita il comportamento "espansione-collasso" in cui una politica oscilla tra la scoperta di nuove regioni e l'oblio delle regioni precedentemente coperte. Lo stato sink impone un costo all'assegnazione di occupazione a regioni non supportate, bilanciando l'esplorazione con la ritenzione della copertura nota.
• Decomposizione dell'Obiettivo: L'obiettivo totale si decompone nella norma dell'occupazione nello spazio originale più un termine di penalità proporzionale alla massa assegnata allo stato sink, controllato da un iperparametro $\epsilon$.

Contributi Chiave

1. Formulazione Target-Free: Il paper formalizza la copertura dell'occupazione come un obiettivo RKHS privo di target per il trasferimento di comportamenti senza ricompensa, collegandolo al matching MMD, alla diversità di Rényi-2 e alla minimizzazione dell'energia di teoria del potenziale.
2. Aggiornamento della Politica Basato su Operatori: Gli autori derivano un aggiornamento della politica in forma chiusa, basato su operatori, per minimizzare questo obiettivo utilizzando un modello del mondo risolvente appreso, evitando i problemi di non-stazionarietà dei metodi basati su proxy.
3. Augmentation dello Stato-Sink: L'introduzione di uno stato sink virtuale stabilizza la copertura sotto dati parziali, prevenendo il comportamento ciclico di espansione-collasso e garantendo che la politica mantenga la copertura delle regioni precedentemente visitate.

Risultati Sperimentali

Gli autori valutano ROVER in ambienti di navigazione sparse, completamente osservabili (tabulari e basati su pixel), progettati per isolare colli di bottiglia topologici (ad es., Middle-Room, Multi-Rooms, Maze).

• Efficienza della Copertura: ROVER raggiunge la copertura completa dello spazio degli stati significativamente più velocemente dei baseline (RND, SMM, APT, MAXENT, CIC) quando addestrato da zero.
• Stabilità e Trasferimento: A differenza dei baseline che possono scoprire stati transitoriamente ma collassare in un'occupazione localizzata, ROVER produce politiche con occupazioni scontate ampiamente distribuite. Ciò si traduce in inizializzazioni più forti per l'RL model-free a valle (DDPG, SAC), richiedendo meno campioni per raggiungere gli obiettivi.
• Trasferimento Offline: Negli scenari di RL offline (CQL, DDPG), i replay buffer generati da ROVER supportano efficacemente l'apprendimento a valle. Sebbene la distribuzione differisca da altri metodi (ad es., CIC produce dati più omogenei, mentre ROVER mantiene una densità più alta vicino agli stati di partenza e ai colli di bottiglia), la struttura dei dati di ROVER è particolarmente efficace per algoritmi conservativi come CQL.
• Robustezza: Il metodo dimostra robustezza rispetto agli iperparametri, sebbene valori estremi per la norma dello stato sink $\epsilon$ possano ostacolare l'esplorazione.

Significato e Rivendicazioni

Il paper posiziona ROVER come un passo fondamentale verso l'instaurazione della copertura dell'occupazione come obiettivo standard per il trasferimento comportamentale senza ricompensa.

• Ambito Modesto: Gli autori dichiarano esplicitamente che lo studio è limitato ad spazi di azione discreti e ambienti semplici per isolare l'obiettivo di copertura e analizzare direttamente il suo comportamento, piuttosto che presentare ROVER come un algoritmo di esplorazione pienamente scalabile per domini ad alta dimensionalità immediatamente.
• Insight Centrale: Il contributo primario è la dimostrazione che la massimizzazione della copertura dell'occupazione tramite un approccio operatoriale stabile e in forma chiusa produce politiche che sono intrinsecamente migliori per il trasferimento a valle di compiti con ricompense sparse rispetto a quelle ottimizzate per la novità transitoria o la diversità delle abilità.
• Direzioni Future: Gli autori identificano come lavoro futuro lo sviluppo di rappresentazioni scalabili per domini ad alta dimensionalità, implementazioni approssimate dell'obiettivo risolvente, ed estensioni ad azioni continue e osservabilità parziale.