Riepilogo Tecnico: Ensemble Elastic DQN (EEDQN)

Definizione del Problema

Le Deep Q-Networks (DQN) e altri algoritmi di apprendimento per rinforzo basati sul valore soffrono frequentemente di bias di sovrastima (overestimation bias). Ciò accade perché i target di bootstrapping utilizzano un'operazione di massimizzazione su stime di valore rumorose, permettendo l'estrazione e la propagazione di errori positivi attraverso gli aggiornamenti successivi. Questa inflazione dei valori Q può trarre in inganno la selezione delle azioni, incoraggiando gli agenti a visitare nuovamente regioni spazio-azione sovrastimate e contribuendo alla convergenza verso politiche sub-ottimali.

Sebbene i metodi basati su ensemble (ad es., Averaged DQN, MaxMin DQN) e i metodi multi-step (ad es., Rainbow, Elastic Step DQN) abbiano indipendentemente mostrato risultati promettenti nel migliorare la stabilità e l'efficienza campionaria, la loro interazione rimane poco esplorata. Combinare questi approcci non è banale; mentre l'aggregazione di ensemble può ridurre la sovrastima, l'applicazione di un'aggregazione conservativa in modo uniforme su tutti i target rischia di introdurre un bias di sottostima. Inoltre, i metodi multi-step adattivi esistenti, come l'Elastic Step DQN, si affidano a test di similarità basati su clustering computazionalmente costosi, limitandone la scalabilità.

Metodologia

Il documento propone Ensemble Elastic DQN (EEDQN), un algoritmo basato sul valore che integra ritorni multi-step elastici adattivi con un'aggregazione di ensemble dipendente dall'orizzonte.

1. Meccanismo Elastic Step Scalabile

EEDQN modifica l'originale Elastic Step DQN per eliminare l'overhead computazionale del clustering. Invece di utilizzare il clustering di rappresentazione per determinare la similarità degli stati, EEDQN impiega una regola leggera basata sulla differenza dei valori Q:

• Mantiene un ensemble di $N$ reti target $\{\hat{Q}_i\}$.
• Calcola il vettore target medio dell'ensemble $\bar{Q}^-(s, \cdot)$.
• Calcola la differenza $L_1$ ($z$) tra i vettori target medi dello stato iniziale ($s_0$) e dello stato successivo corrente ($s'$).
• Una soglia adattiva ($h$) viene derivata da un buffer storico di valori $z$ recenti ($h = \text{mean}(B) + \text{std}(B)/\sqrt{|B|}$).
• Se $z > h$, la traiettoria è considerata entrata in una nuova regione di valore, innescando l'archiviazione del rendimento accumulato e resettando l'accumulo. Altrimenti, i premi continuano ad accumularsi.

2. Aggregazione di Ensemble Dipendente dall'Orizzonte

Un'innovazione centrale di EEDQN è l'uso di diverse regole di aggregazione basate sulla lunghezza del rendimento accumulato (orizzonte $k$):

• Target a un passo ($k=1$): Il valore di bootstrap viene calcolato utilizzando la media dell'ensemble. Questo evita che i target diventino eccessivamente conservativi, il che potrebbe ostacolare l'apprendimento in regioni in cui il bootstrapping è necessario.
• Ritorni elastici multi-step ($k > 1$): Il valore di bootstrap viene calcolato utilizzando il minimo dell'ensemble. Poiché i ritorni più lunghi accumulano già significative informazioni di ricompensa prima del termine di bootstrap, l'uso del minimo riduce l'estrapolazione ottimistica estrema senza dominare il valore totale del target.

Il valore target $y$ è definito come:
$$y = \begin{cases} R(k) & \text{se terminale} \\ R(1) + \gamma G_{\text{mean}}(s', a^*) & \text{se } k=1 \\ R(k) + \gamma^k G_{\text{min}}(s', a^*) & \text{se } k>1 \end{cases}$$
dove $a^*$ è l'azione greedy selezionata in base alla media dell'ensemble.

Contributi Chiave

1. Proposta di Algoritmo: Introduzione di EEDQN, che combina ritorni multi-step elastici adattivi con l'aggregazione di target basata su ensemble.
2. Miglioramento della Scalabilità: Sostituzione del test di similarità basato su clustering dell'Elastic Step DQN con una regola di differenza dei valori Q più leggera, rendendo la costruzione di ritorni adattivi più applicabile ai contesti di controllo discreti.
3. Aggregazione Dipendente dall'Orizzonte: Proposta di una regola in cui i target a un passo utilizzano la media dell'ensemble, mentre i ritorni elastici più lunghi utilizzano il minimo dell'ensemble, con l'obiettivo di bilanciare la riduzione del bias ottimistico con la preservazione dell'efficienza campionaria.
4. Valutazione Empirica: Valutazione completa rispetto a DQN, Double DQN, Averaged DQN, MaxMin DQN ed Elastic Step DQN attraverso cinque ambienti MinAtar.
5. Analisi di Ablazione: Investigazione di varie regole di aggregazione (media, minimo, scambiate e combinazioni convesse) per analizzare l'interazione tra il conservatorismo dell'ensemble e la lunghezza del ritorno adattivo.

Risultati Sperimentali

EEDQN è stato valutato su cinque ambienti MinAtar (Seaquest, SpaceInvaders, Asterix, Breakout, Freeway) utilizzando 10 seed casuali corrispondenti.

• Performance: EEDQN ha ottenuto il rendimento finale più elevato in quattro dei cinque ambienti (SpaceInvaders, Asterix, Breakout, Freeway). In Seaquest, MaxMin DQN ha performato meglio, con EEDQN al secondo posto.
• Controllo dell'Inflazione del Valore: Una metrica diagnostica che confronta i valori Q massimi osservati con il limite superiore del rendimento scontato teorico ha mostrato che EEDQN e MaxMin DQN sono rimasti al di sotto della soglia di inflazione in tutti gli ambienti. Al contrario, DQN, DDQN, Averaged DQN ed Elastic Step DQN hanno superato questo limite in almeno un ambiente.
• Risultati dell'Ablazione: Nessuna singola regola di aggregazione ha dominato in tutti gli ambienti.
  • EEDQN (Media per $k=1$, Minimo per $k>1$) è stato il migliore in Asterix, Breakout e Freeway.
  • MinEEDQN (Minimo per tutti) è stato il migliore in Seaquest, un ambiente con gravi problemi di sovrastima.
  • ConvexEEDQN2 (mix 50/50) è stato il migliore in SpaceInvaders.
  • Ciò suggerisce che il grado ottimale di conservatorismo dipende dall'ambiente.

Significato e Rivendicazioni

Il documento afferma che EEDQN dimostra con successo che i ritorni multi-step adattivi e l'aggregazione di ensemble sono meccanismi complementari per ridurre il bias di sovrastima. Tuttavia, i risultati indicano anche che una strategia di aggregazione "taglia unica" è sub-ottimale; il miglior grado di conservatorismo dipende dalle caratteristiche specifiche dell'ambiente.

Gli autori posizionano EEDQN come un approccio leggero basato sul valore che studia come le regole di aggregazione debbano adattarsi all'orizzonte di backup. Dichiarano esplicitamente che il contributo non risiede semplicemente nell'uso isolato di ensemble o ritorni multi-step, ma nello studio di una regola dipendente dall'orizzonte che cambia l'operatore di aggregazione in base alla lunghezza del ritorno adattivo. Il documento conclude che, sebbene EEDQN migliori rispetto ai baseline standard, è necessaria ulteriore ricerca per investigare regole di aggregazione adattive che regolino online il compromesso tra media e minimo e per valutare il metodo su benchmark più ampi come il completo Atari Learning Environment.