ETGL-DDPG: A Deep Deterministic Policy Gradient Algorithm for Sparse Reward Continuous Control

1. Il Problema: Controllo Continuo con Ricompense Sparse

L'algoritmo DDPG (Deep Deterministic Policy Gradient) è uno standard per il reinforcement learning (RL) in ambienti a controllo continuo. Tuttavia, le sue prestazioni crollano drasticamente in scenari con ricompense sparse, dove l'agente riceve un segnale positivo solo quando raggiunge uno stato obiettivo specifico (es. completare un labirinto o afferrare un oggetto), mentre tutte le altre transizioni hanno ricompensa zero o negativa.

Il paper identifica tre carenze fondamentali del DDPG in questi contesti:

1. Mancanza di esplorazione direzionale: Le strategie standard (come $\epsilon$-greedy o rumore aggiunto alla politica) sono "cieche" e non utilizzano la storia delle esperienze per guidare l'esplorazione verso aree non visitate.
2. Trattamento uniforme delle transizioni: I buffer di esperienza (replay buffer) campionano uniformemente tutte le transizioni. In ambienti a ricompensa sparsa, questo significa che le poche transizioni "di successo" (quelle che portano al goal) vengono raramente selezionate per l'addestramento.
3. Propagazione lenta dell'informazione: Poiché solo l'ultimo passo di un episodio di successo riceve ricompensa, il DDPG standard deve ripetere l'episodio molte volte affinché il segnale di ricompensa si propaghi all'indietro fino agli stati iniziali (problema del credito assegnato).

2. Metodologia: ETGL-DDPG

Gli autori propongono ETGL-DDPG, un algoritmo che integra tre tecniche ortogonali per risolvere i problemi sopra citati, mantenendo la struttura base del DDPG.

A. $\epsilon_t$-greedy: Esplorazione con Ricerca (Search)

Per migliorare l'esplorazione, viene introdotta una variante temporale di $\epsilon$-greedy.

• Meccanismo: Con probabilità $\epsilon$, l'agente non sceglie un'azione casuale, ma avvia una ricerca ad albero (tree search) limitata da un budget temporale $N$.
• Implementazione: Poiché DDPG è un algoritmo model-free (non conosce la dinamica dell'ambiente), la ricerca utilizza il Replay Buffer come modello approssimato. L'algoritmo utilizza una funzione di hashing sensibile alla località (SimHash) per discretizzare lo spazio degli stati e stimare i conteggi delle visite ($n(\phi(s))$).
• Strategia: L'albero esplora le transizioni disponibili nel buffer partendo dallo stato corrente. Se l'algoritmo incontra un nodo in un'area non visitata (conteggio zero), genera un'opzione (una sequenza di azioni) per raggiungerlo. Se non trova aree non visitate, sceglie il nodo meno visitato nell'albero.
• Vantaggio: Questo approccio fornisce un'esplorazione direzionale verso stati poco esplorati, superando la casualità pura.

B. GDRB: Goal-conditioned Dual Replay Buffer

Per ottimizzare l'uso delle informazioni, viene proposto un nuovo framework di doppio buffer.

• Struttura:
  • Buffer $\mathcal{D}_\beta$ (Exploration): Memorizza tutte le transizioni dell'addestramento. Utilizza il reservoir sampling per mantenere una copertura storica.
  • Buffer $\mathcal{D}_e$ (Exploitation): Memorizza solo le transizioni degli episodi di successo (raggiungimento del goal). Utilizza la politica FIFO (First-In-First-Out).
• Campionamento Adattivo: Il rapporto di campionamento tra i due buffer è dinamico. All'inizio dell'addestramento si campiona prevalentemente da $\mathcal{D}_\beta$; man mano che l'agente impara a raggiungere il goal, la proporzione di campioni da $\mathcal{D}_e$ aumenta, permettendo di sfruttare meglio le esperienze di successo.

C. Longest n-step Return

Per accelerare la propagazione della ricompensa, si abbandona l'aggiornamento TD a un passo (one-step) in favore del ritorno n-step più lungo.

• Meccanismo: Per ogni transizione in un episodio di successo, il valore target $Q$ viene calcolato come la somma scontata di tutte le ricompense future fino alla fine dell'episodio (o fino al goal).
• Effetto: In un episodio di successo, la ricompensa finale viene propagata istantaneamente a tutti gli stati precedenti dell'episodio, non solo all'ultimo. Negli episodi falliti, questa strategia aiuta a ridurre il bias di sovrastima tipico degli aggiornamenti multi-step.

3. Contributi Chiave

1. $\epsilon_t$-greedy: Un nuovo metodo di esplorazione basato su ricerca che utilizza la memoria delle esperienze passate per generare opzioni direzionali.
2. Dimostrazione Teorica: Gli autori provano che $\epsilon_t$-greedy ha una complessità campionaria polinomiale (è un algoritmo PAC-MDP) sotto lievi assunzioni MDP, garantendo l'efficienza teorica.
3. GDRB: Un nuovo buffer di esperienza dualistico che separa esplicitamente le esperienze di successo da quelle generali, adattando dinamicamente il campionamento.
4. Integrazione: La combinazione di queste tre strategie (esplorazione, gestione memoria, propagazione ricompensa) in un'unica architettura DDPG.

4. Risultati Sperimentali

L'algoritmo è stato valutato su benchmark standard di controllo continuo 2D e 3D, inclusi ambienti di navigazione (Wall-maze, U-maze, Point-push) e manipolazione (window-open, soccer, press-button), tutti configurati con ricompense sparse.

• Prestazioni Generali: ETGL-DDPG supera significativamente il DDPG base e altri metodi state-of-the-art (SAC, TD3, DOIE) in tutti gli ambienti testati.
• Copertura dell'Ambiente: Grazie a $\epsilon_t$-greedy, l'agente copre una percentuale molto più alta dello spazio degli stati rispetto alle strategie di esplorazione tradizionali (es. $\epsilon_z$-greedy o rumore Gaussiano).
• Ablation Study:
  • $\epsilon_t$-greedy è il componente più critico, essendo l'unico in grado di far convergere l'agente in ambienti molto difficili come Wall-maze.
  • GDRB migliora le prestazioni in quasi tutti i task.
  • Il Longest n-step return mostra benefici specifici in alcuni task (U-maze, press-button) ma può introdurre varianza in altri.
• Efficienza: Nonostante i tempi di addestramento siano circa 1.5 volte superiori rispetto al DDPG base (a causa della ricerca locale ad ogni passo), il guadagno in termini di successo e velocità di convergenza è sostanziale.

5. Significato e Conclusioni

Questo lavoro è significativo perché affronta il problema fondamentale dell'esplorazione nel RL a ricompensa sparsa senza ricorrere a reward shaping manuale (che è specifico per il problema) o a modelli complessi dell'ambiente.

• Innovazione Concettuale: Dimostra che l'uso intelligente del replay buffer come modello approssimato per la ricerca di stati non visitati è una strategia efficace ed efficiente.
• Robustezza: L'approccio è generalizzabile a diversi domini di controllo continuo.
• Limitazioni e Futuro: L'attuale implementazione si basa su hashing statico, che potrebbe non essere ideale per ambienti basati su immagini ad alta dimensionalità. I futuri lavori potrebbero integrare tecniche di hashing dinamico (es. normalizing flows) e adattare il metodo a ambienti stocastici.

In sintesi, ETGL-DDPG rappresenta un avanzamento sostanziale nella capacità degli algoritmi di controllo continuo di imparare in ambienti difficili dove il feedback è raro, combinando esplorazione intelligente, gestione efficiente della memoria e propagazione rapida del segnale di ricompensa.