Improving Zero-Shot Offline RL via Behavioral Task Sampling

1. Enunciato del Problema

L'Apprendimento per Rinforzo Offline Zero-Shot (ZSRL) mira ad addestrare agenti in grado di ottimizzare funzioni di ricompensa non viste senza ulteriore interazione con l'ambiente, basandosi esclusivamente su un dataset offline pre-raccolto.

• Approccio Standard: I metodi all'avanguardia attuali (ad es. Successor Features, rappresentazioni Forward-Backward) apprendono un embedding dello stato $\phi(s)$ e addestrano una politica condizionata a un vettore di task $z$. La funzione di ricompensa è definita linearmente come $R_z(s) = \phi(s)^\top z$.
• Il Difetto: Per addestrare queste politiche, gli algoritmi esistenti campionano tipicamente vettori di task $z$ in modo uniforme da un ipersfera unitaria a dimensionalità elevata ($S^{d-1}$).
• Il Problema Centrale: Gli autori sostengono che questo campionamento uniforme crea una disallineamento tra la geometria dello spazio dei task e la fisica dell'ambiente. Negli spazi a dimensionalità elevata, il fenomeno della "concentrazione della misura" fa sì che i vettori campionati uniformemente siano quasi ortogonali ai comportamenti reali che l'agente può produrre (lo spazio comportamentale). Ciò porta a una "diluzione del segnale", dove il segnale di ricompensa diventa trascurabile per quasi tutti i comportamenti, rendendo impossibile per l'agente distinguere le azioni ottimali da quelle subottimali. Questo si traduce in una scarsa generalizzazione zero-shot.

2. Metodologia: Distribuzione dei Task Comportamentali (BTD)

Gli autori propongono di sostituire il campionamento uniforme dei task con un approccio guidato dai dati chiamato Campionamento dei Task Comportamentali.

A. Insight Teorico

• Occupazione delle Caratteristiche: Definiscono l'occupazione delle caratteristiche $\psi_\pi$ di una politica come la somma scontata delle caratteristiche dello stato lungo la sua traiettoria.
• Varianza Vanescente: Dimostrano (Proposizione 4.1) che all'aumentare della dimensione latente $d$, la varianza attesa dei ritorni tra le politiche sotto il campionamento uniforme dei task converge a zero. Ciò significa che il segnale di apprendimento collassa, impedendo un'ottimizzazione efficace della politica.

B. L'Algoritmo Proposto

Invece di campionare $z$ da una distribuzione uniforme, il metodo estrae i vettori di task direttamente dal dataset offline:

1. Estrazione: Dal dataset offline $D$, gli autori estraggono sotto-traiettorie $\tau$. Per ogni sotto-traiettoria, calcolano l'occupazione empirica delle caratteristiche $\tilde{\psi}_\tau = \sum \gamma^t \phi(s_t)$.
2. Definizione del Vettore di Task: Il vettore di task per una traiettoria è definito come l'occupazione normalizzata: $z_\tau = \tilde{\psi}_\tau / \|\tilde{\psi}_\tau\|_2$. Questo vettore rappresenta la direzione nello spazio delle caratteristiche che massimizza la ricompensa per quel comportamento osservato specifico.
3. Modellazione della Distribuzione: L'insieme di tutti i vettori estratti forma una distribuzione empirica $p_{data}$. Gli autori adattano un modello di densità parametrico (nello specifico un Modello a Mixture di Gaussiane o GMM) a questi dati, creando la Distribuzione dei Task Comportamentali (BTD), indicata come $p_\theta(z)$.
4. Addestramento: Durante l'addestramento della politica, i vettori di task vengono campionati dalla BTD appresa ($z \sim p_\theta(z)$) invece che dall'ipersfera unitaria. Ciò garantisce che l'agente sia addestrato su task fisicamente realizzabili e radicati nella dinamica dell'ambiente.

3. Contributi Chiave

1. Identificazione della Diluzione del Segnale: Il documento dimostra teoricamente ed empiricamente che il campionamento uniforme dei task negli spazi a dimensionalità elevata porta al collasso del segnale di apprendimento a causa dell'ortogonalità con lo spazio comportamentale.
2. Distribuzione dei Task Comportamentali (BTD): Un nuovo framework agnostico rispetto al metodo che estrae e modella la distribuzione dei task realizzabili direttamente dai dati offline.
3. Integrazione: Il metodo è una sostituzione diretta ("drop-in replacement") per il passaggio di campionamento dei task negli algoritmi ZSRL esistenti (Successor Features e Forward-Backward) senza modificare gli obiettivi sottostanti di apprendimento delle rappresentazioni.
4. Valutazione Completa: Esperimenti estesi su molteplici benchmark, metodi di apprendimento delle rappresentazioni e dimensioni latenti.

4. Risultati Sperimentali

Gli autori hanno valutato il loro metodo su benchmark ZSRL standard (Cheetah, Walker, Quadruped) utilizzando dataset raccolti tramite Distillazione di Reti Casuali (RND). Hanno confrontato il metodo con sette baseline (inclusi Autoencoder, Modelli di Transizione, LRA e BYOL) su varie dimensioni latenti.

• Guadagno di Prestazione: Il campionamento BTD ha migliorato le prestazioni zero-shot di una media del 20% su tutti gli ambienti e le baseline.
• Robustezza alla Dimensionalità:
  • Fallimento delle Baseline: All'aumentare della dimensione latente (fino a 1000), i metodi di campionamento uniforme standard hanno subito un brusco calo delle prestazioni, collassando spesso verso prestazioni quasi casuali.
  • Stabilità BTD: Il campionamento BTD ha mantenuto alte prestazioni anche ad alte dimensioni (ad es. 1000), dimostrando di mitigare efficacemente il problema della diluzione del segnale.
• Ridotta Varianza: Il campionamento BTD ha ridotto significativamente la varianza nelle prestazioni di test tra diversi metodi di apprendimento delle rappresentazioni, indicando un apprendimento più coerente e affidabile.
• Studi di Ablazione:
  • Strategie di Miscelazione: La combinazione di campionamento uniforme e campionamento BTD (interpolazione tra i due) ha degradato le prestazioni, confermando che l'introduzione di task arbitrari e non realizzabili danneggia il segnale di apprendimento.
  • Componenti GMM: Le prestazioni si sono stabilizzate dopo circa 20 componenti GMM, suggerendo che lo spazio dei task comportamentali può essere catturato con una distribuzione relativamente semplice.
  • Visualizzazione: Le proiezioni UMAP hanno mostrato che il campionamento uniforme copre l'intera ipersfera, mentre i task comportamentali reali occupano una varietà specifica e piccola, validando la necessità di un campionamento guidato dai dati.

5. Significato e Conclusione

Questo lavoro sposta fondamentalmente il paradigma dell'RL offline ZSOT dall'generazione arbitraria di task al radicamento comportamentale.

• Impatto Pratico: Evidenzia che, negli ambienti offline, quali task vengono scelti per l'addestramento è tanto critico quanto come la politica impara a eseguirli.
• Scalabilità: Disaccoppiando la distribuzione dei task dalla maledizione della dimensionalità intrinseca al campionamento uniforme, il metodo consente l'addestramento di agenti generalisti in spazi latenti a dimensionalità elevata.
• Generalizzabilità: L'approccio è compatibile con varie tecniche di apprendimento delle rappresentazioni (SF, FB, Autoencoder, ecc.), rendendolo una strada scalabile verso agenti di apprendimento per rinforzo più robusti e generalizzabili per il dispiegamento nel mondo reale, dove i task sono vincolati fisicamente.

In sintesi, il documento sostiene che per raggiungere una vera generalizzazione zero-shot nell'RL offline, gli agenti devono essere addestrati su task che riflettono le reali capacità e dinamiche dell'ambiente, piuttosto che su una distribuzione uniforme e astratta di possibilità matematiche.