Shaping Sparse Rewards in Reinforcement Learning: A Semi-supervised Approach

Riepilogo Tecnico: Modellazione delle Ricompense Sparse nell'Apprendimento per Rinforzo: Un Approccio Semi-supervisionato

Enunciato del Problema
L'Apprendimento per Rinforzo (RL) affronta una sfida fondamentale negli scenari reali in cui i segnali di ricompensa sono estremamente radi. In tali ambienti, gli agenti ricevono un feedback immediato minimo, portando a un'alta varianza nei rendimenti e a difficoltà nell'apprendere politiche ottimali. Sebbene la modellazione e la densificazione delle ricompense siano soluzioni comuni, esse spesso soffrono di "hacking della ricompensa", dove gli agenti apprendono comportamenti che si discostano dal design inteso per massimizzare ricompense artificiali. Al contrario, i metodi di modellazione delle ricompense basati sulla supervisione, che si affidano a dimostrazioni non esperte, soffrono di scarsa efficienza nel campionamento quando le transizioni con ricompensa non nulla sono estremamente rare. Gli approcci esistenti faticano a utilizzare efficacemente la vasta maggioranza delle transizioni che producono ricompense nulle.

Metodologia: Modellazione Semi-supervisionata delle Ricompense (SSRS)
Gli autori propongono il framework di Modellazione Semi-supervisionata delle Ricompense (SSRS), che colma questa lacuna sfruttando le tecniche di Apprendimento Semi-supervisionato (SSL). L'idea centrale è eseguire la modellazione delle ricompense non solo sulle scarse transizioni con ricompensa non nulla, ma anche sulle abbondanti transizioni con ricompensa nulla, apprendendo rappresentazioni dello spazio delle traiettorie.

Il framework opera attraverso i seguenti componenti chiave:

1. Stima della Ricompensa come Classificazione: Il problema della modellazione delle ricompense è inquadrato come un compito di classificazione. Il sistema impara ad assegnare un valore di ricompensa da un insieme discreto $Z$ (contenente le ricompense non nulle osservate e lo zero) alle coppie stato-azione. Lo stimatore della ricompensa è costituito da due reti neurali:

   • $R_V(s)$: Una funzione di distribuzione della ricompensa basata sul valore dello stato che mappa uno stato su una distribuzione di probabilità su $Z$.
   • $R_Q(s, a)$: Una funzione di distribuzione della ricompensa basata sul valore stato-azione che mappa una coppia stato-azione su una distribuzione di probabilità su $Z$.
     Il vettore finale del punteggio di confidenza $q_t$ per una transizione è una combinazione ponderata di queste due distribuzioni.

2. Ottimizzazione Semi-supervisionata: Il framework alterna aggiornamenti della politica e ottimizzazione dello stimatore della ricompensa.

   • Perdita Supervisionata ($L_r$): Per le transizioni con ricompense non nulle note, lo stimatore viene addestrato per minimizzare la discrepanza tra le sue previsioni e la verità fondamentale utilizzando una perdita di entropia incrociata sogliata.
   • Regolarizzazione della Coerenza ($L_s$): Per le transizioni con ricompensa nulla, il modello impiega la regolarizzazione della coerenza. Applica aumentazioni dei dati deboli e forti alle transizioni di input. Il modello è ottimizzato per produrre previsioni coerenti tra le versioni aumentate debolmente e quelle aumentate fortemente, a condizione che la confidenza superi una soglia $\lambda$. Ciò utilizza i dati non etichettati a ricompensa nulla per affinare la funzione di ricompensa.

3. Aumentazione dell'Entropia: Viene introdotta una nuova tecnica di aumentazione dei dati specificamente per compiti non basati su immagini. A differenza delle tradizionali aumentazioni delle immagini (ad esempio, cutout, rotazione) che potrebbero violare le ipotesi di regolarità nello spazio delle traiettorie, questo metodo utilizza l'Entropia di Shannon. Calcola l'entropia della matrice degli stati e la utilizza per perturbare la rappresentazione dello stato. Ciò preserva le ipotesi di regolarità e di raggruppamento necessarie affinché l'SSL sia efficace nello spazio delle traiettorie.

4. Vincolo di Monotonia: Per stabilizzare l'addestramento e migliorare la rappresentazione dei vantaggi delle azioni, viene introdotto un vincolo. Penalizza i casi in cui il vantaggio stimato (la differenza tra $R_Q(s, a)$ e $R_V(s)$) è negativo, garantendo che la funzione di vantaggio catturi miglioramenti relativi rispetto alla linea di base dello stato.

Contributi Chiave

• Framework SSRS: Un nuovo framework che integra l'SSL nel RL, abilitando la modellazione delle ricompense sia sulle transizioni con ricompensa non nulla che su quelle con ricompensa nulla per migliorare l'efficienza del campionamento in ambienti a ricompensa rada.
• Aumentazione dell'Entropia: La proposta di un metodo di perturbazione dei dati basato sull'entropia adattato agli spazi delle traiettorie, che supera i metodi di aumentazione tradizionali nei compiti di osservazione non visiva.
• Validazione Empirica dell'SSL nel RL: Il documento indaga empiricamente le condizioni in cui l'SSL è efficace nel RL, dimostrando che gli spazi delle traiettorie rispettano le ipotesi lievi (regolarità e raggruppamento) necessarie per le metodologie SSL.
• Vincolo di Monotonia: L'introduzione di un vincolo per regolare la relazione tra stimatori del valore dello stato e del valore stato-azione, migliorando la stabilità dell'addestramento.

Risultati Sperimentali
Il framework SSRS è stato valutato in ambienti Atari a ricompensa rada (ad esempio, Montezuma's Revenge, Seaquest, Venture) e in compiti di manipolazione robotica (FetchReach).

• Prestazioni vs. Baseline: SSRS ha costantemente superato gli approcci basati sulla supervisione (RCP, SORS) e le baseline RL standard. In ambienti altamente radi come Montezuma's Revenge, SSRS ha raggiunto punteggi massimi fino al doppio di quelli delle baseline supervisionate.
• Efficacia dell'Aumentazione: L'aumentazione dell'entropia proposta ha determinato un aumento del 15,8% nel punteggio migliore rispetto ad altri metodi di aumentazione (ad esempio, cutout, smooth, translation).
• Studi di Ablazione: Gli esperimenti hanno confermato l'importanza del vincolo di monotonia, mostrando che SSRS con questo vincolo (SSRS-ST) ha ottenuto punteggi migliori rispetto alla versione senza (SSRS-NST) nella maggior parte degli ambienti testati.
• Robustezza degli Iperparametri: Lo studio ha analizzato iperparametri come la probabilità di aggiornamento ($p_u$), la soglia di confidenza ($\lambda$) e il coefficiente di coerenza ($\beta$). I risultati hanno indicato che le prestazioni raggiungono il picco quando la soglia di confidenza è compresa tra 0,8 e 0,9, e che il coefficiente di coerenza ha un impatto minimo sui risultati finali ma influenza la dinamica dell'addestramento.

Significato e Affermazioni
Il documento afferma che trattando la modellazione delle ricompense come un problema di classificazione semi-supervisionato, gli agenti possono imparare efficacemente dalla maggior parte delle transizioni a ricompensa nulla, che vengono tipicamente scartate o sottoutilizzate. Gli autori sostengono che lo spazio delle traiettorie nel RL soddisfa le ipotesi necessarie per l'SSL (raggruppamento e regolarità), permettendo al modello di inferire segnali di ricompensa affidabili per le transizioni a ricompensa nulla. L'introduzione dell'aumentazione dell'entropia è evidenziata come un'innovazione critica che adatta le tecniche di perturbazione SSL alla natura specifica delle osservazioni RL, evitando le insidie derivanti dall'applicazione di aumentazioni centrate sulle immagini a dati non visivi. In definitiva, il lavoro dimostra che l'SSL può migliorare significativamente l'efficacia della modellazione delle ricompense, portando a punteggi più elevati degli agenti in domini difficili a ricompensa rada.