Riepilogo Tecnico: L'Emergenza dell'Esplorazione nel Reinforcement Learning basato su Policy Gradient tramite il Retry

1. Definizione del Problema

Nel Reinforcement Learning (RL), l'esplorazione è tipicamente guidata dall'aggiunta di bonus espliciti (ad esempio, entropia, curiosità o bonus basati sul conteggio) al segnale di ricompensa o dall'impiego di metodi di campionamento posteriore. Gli autori pongono un meccanismo distinto: l'esplorazione dovrebbe emergere naturalmente dal bisogno dell'agente di massimizzare le ricompense sotto incertezza attraverso il retry (tentativo successivo).

L'intuizione centrale è che in ambienti in cui un agente può ripetere le azioni o incontrare stati simili, una politica greedy è subottimale se ignora il potenziale di rendimenti più elevati nei tentativi successivi. Senza la possibilità di riprovare, la scelta razionale è l'azione che si ritiene attualmente produca la ricompensa maggiore. Tuttavia, in condizioni di incertezza, una politica che mitiga l'incertezza esplorando azioni alternative può ottenere un massimo atteso di rendimento superiore su più prove. I metodi esistenti richiedono spesso complessi modelli ausiliari per stimare l'incertezza o costruire bonus; questo articolo si chiede se l'esplorazione possa essere indotta puramente ottimizzando un obiettivo basato sulla ricompensa che formalizzi il valore del retry.

2. Metodologia

2.1 L'Obiettivo ReMax

Gli autori propongono ReMax (Retry Maximum), un obiettivo che valuta una politica $\pi$ come il massimo atteso del rendimento su $M$ campioni indipendenti (prove), piuttosto che il rendimento atteso di una singola prova.

In un contesto di bandit con valori d'azione $\mu$ e una distribuzione su questi valori $\Pi$ (che rappresenta l'incertezza epistemica), l'obiettivo ReMax è definito come:
$$J^M_{\text{ReMax}}(\pi) := \mathbb{E}_{\mu \sim \Pi} \left[ \mathbb{E}_{A^{[M]} \sim \pi} \left[ \max_{m \in [M]} \mu_{A_m} \mid \mu \right] \right]$$
dove $A^{[M]}$ rappresenta $M$ campionamenti indipendenti dalla politica $\pi$.

• Meccanismo: Massimizzando il massimo atteso di $M$ campionamenti, l'obiettivo incentiva la politica ad assegnare massa di probabilità ad azioni che potrebbero generare ricompense elevate, anche se non sono attualmente il massimo della media stimata. Ciò induce la stocasticità (esplorazione) come proprietà emergente per proteggersi dall'incertezza.
• Caso Deterministico: Anche con ricompense fisse, ReMax rimodella la geometria dell'obiettivo. Aumentare il parametro di retry $M$ appiattisce il gradiente vicino all'ottimo, rallentando la convergenza e sostenendo l'esplorazione, mentre valori di $M$ più piccoli accelerano gli aggiornamenti.

2.2 Estensione all'RL (MDP)

Estendere ReMax ai Processi Decisionali di Markov (MDP) presenta delle sfide:

1. Unità di Incertezza: L'incertezza nell'RL comprende l'intero ambiente (ricompense e transizioni).
2. Fattibilità dei Retry: Ripetere fisicamente l'ambiente per provare più volte le stesse azioni da uno stesso stato è spesso impraticabile.

Per affrontare ciò, gli autori definiscono l'obiettivo ReMax utilizzando una funzione Q $Q^\pi_M(s, a)$, che rappresenta il rendimento episodico atteso. L'obiettivo è formulato come il massimo atteso su $M$ campionamenti di valori Q in uno stato $s$:
$$J^M_{\text{ReMax}}(\pi, s, Q) := \mathbb{E}_{Q \sim \mathcal{Q}} \left[ \mathbb{E}_{A^{[M]} \sim \pi} \left[ \max_{m \in [M]} Q(s, A_m) \right] \right]$$
Qui, la distribuzione $\mathcal{Q}$ cattura l'incertezza sui valori Q (sia tramite modellazione esplicita come gli ensemble, sia implicitamente tramite la non-stazionarietà dei critic deep).

2.3 Formulazione del Policy Gradient

Per ottimizzare ReMax in modo efficiente, gli autori derivano un nuovo stimatore di policy gradient (PG) che è computabile dai rendimenti di singole traiettorie.

• Fallimento dell'approccio Naïve: Un'applicazione diretta del teorema del policy gradient richiede l'osservazione dei rendimenti per tutte le $M$ azioni campionate simultaneamente, il che è impraticabile nell'RL episodico.
• Riformulazione dell'Expected Improvement (EI): Gli autori introducono un baseline basato sull' "Expected Improvement" (derivato dall'ottimizzazione bayesiana). Essi decompongono l'operatore max in un termine specifico per l'azione e un baseline che rappresenta il massimo degli altri $M-1$ campionamenti ($W_{-m}$).
• Soluzione in Forma Chiusa: Ordinando i valori Q, derivano un'espressione in forma chiusa per il termine di miglioramento atteso. Ciò consente di stimare il gradiente utilizzando il rendimento di una singola traiettoria $R(s, a)$ e le attuali stime Q.
• Parametro Continuo $m$: Il conteggio dei retry intero $M$ viene generalizzato in un parametro reale continuo $m > 0$. Ciò consente un controllo fine-grained del trade-off tra esplorazione ed esploitazione. Il termine $(1 - C_j)^{M-1}$ nella soluzione in forma chiusa è sostituito da $(1 - C_j)^{m-1}$.

2.4 Algoritmo RePPO

Gli autori istanziano ReMax all'interno del framework Proximal Policy Optimization (PPO), creando ReMax PPO (RePPO).

• Architettura: Un metodo actor-critic on-policy che utilizza un Q-critic.
• Obiettivo Surrogate: RePPO modifica lo standard PPO surrogate sostituendo il classico vantaggio con un vantaggio basato su EI.
  $$A^+(t) = R^+(t) - b^+(s_t)$$
  dove $R^+(t) = \text{EIm}(R^\lambda_t, \pi_\theta, Q_\phi(s_t, \cdot))$ e $b^+$ è il valore atteso dei valori Q trasformati da EI.
• Strategia di Sostituzione di Q: Per evitare che il critic sovrastimi il miglioramento dell'azione campionata (a causa della sottostima del valore Q), gli autori sostituiscono il valore Q dell'azione campionata con il rendimento effettivo della traiettoria quando calcolano il termine EI. Ciò assicura che il "miglioramento" sia misurato rispetto al vero rendimento, non rispetto a una stima potenzialmente distorta.

3. Contributi Chiave

1. Obiettivo ReMax: Un nuovo obiettivo RL che induce l'esplorazione tramite la massimizzazione del massimo atteso del rendimento sotto incertezza (retry) senza bonus di esplorazione espliciti.
2. Derivazione Teorica: Una nuova formulazione del policy gradient per ReMax che è stimabile dai rendimenti di singole traiettorie, utilizzando un'espressione in forma chiusa per il massimo atteso su $M$ campionamenti.
3. Controllo Continuo: La generalizzazione del conteggio dei retry discreto $M$ in un parametro continuo $m$, permettendo una regolazione precisa del tasso di esplorazione.
4. Algoritmo RePPO: Un algoritmo di deep RL pratico (RePPO) che implementa ReMax all'interno di un framework PPO, dimostrando che l'esplorazione può emergere dall'obiettivo stesso.

4. Risultati Sperimentali

4.1 Esperimenti Bandit

• Stocasticità: In un bandit a due braccia, ReMax induce politiche stocastiche per $M \ge 2$, mentre il RL standard ($M=1$) produce politiche deterministiche.
• Adattività: ReMax adatta l'esplorazione all'entità dell'incertezza del rendimento. All'aumentare della varianza, la politica ReMax ottimale aumenta l'esplorazione per catturare esiti ad alto rendimento rari, a differenza della softmax con regolarizzazione dell'entropia che rimane fissa in base alla media.
• Regret: Nei contesti di bandit a posteriori (Beta-Bernoulli e Gaussian-Gaussian), ReMax mostra un regret cumulativo empiricamente sublineare, comparabile a Thompson Sampling e UCB, e superiore al baseline Softmax.

4.2 Benchmark MinAtar

Valutato su quattro giochi (Breakout, Asterix, Freeway, Space Invaders):

• Performance: RePPO (con $m \in [1.2, 1.4]$) ha superato le varianti standard di PPO (PPO-V, PPO-Q) e PPO con bonus di entropia o bonus RND (Random Network Distillation).
• Esplorazione: RePPO ha mantenuto un'entropia di policy più alta durante l'addestramento rispetto a PPO con un bonus di entropia esplicito, nonostante non possieda tale bonus.
• Sensibilità ai Parametri: Le performance hanno raggiunto il picco intorno a $m=1.2$ - $1.4$. Valori di $m$ più grandi hanno rallentato il decadimento dell'entropia (sostenendo l'esplorazione), mentre valori più piccoli hanno portato a una convergenza più rapida ma con performance inferiori.
• Ablation: Rimuovere il baseline indipendente dall'azione o la strategia di sostituzione di Q ha degradato significativamente le performance, confermando la loro necessità.

4.3 Benchmark Craftax

Valutato su Craftax, un ambiente RL su larga scala e open-ended:

• Performance: RePPO ($m=1.2$) ha ottenuto performance competitive (11.87% del rendimento massimo) rispetto alle varianti PPO con bonus di entropia e RND (11.66% e 11.68%), e ha superato PPO senza bonus.
• Scalabilità: RePPO ha mantenuto un'entropia più alta senza bonus espliciti, dimostrando che il meccanismo scala verso compiti complessi a lungo orizzonte.

5. Significato e Rivendicazioni

L'articolo sostiene che ReMax offra un'alternativa promettente ai metodi tradizionali di esplorazione poiché:

• Elimina la necessità di bonus espliciti: L'esplorazione emerge naturalmente dall'obiettivo di massimizzare il massimo atteso del rendimento su più tentativi.
• Semplifica il design dell'algoritmo: Evita l'overhead computazionale e la complessità del design di bonus di curiosità o del mantenimento di modelli posteriori espliciti (sebbene possa utilizzarli per la stima dell'incertezza).
• Fornisce un controllo fine-grained: Il parametro continuo $m$ permette di regolare con precisione il trade-off tra esplorazione ed esploitazione.

Gli autori osservano che, sebbene i loro esperimenti di deep RL abbiano principalmente dimostrato un'esplorazione stocastica (aumento dell'entropia della policy), il framework teorico supporta l'esplorazione profonda (raccolta di informazioni temporalmente coerente) se combinato con una modellazione esplicita dell'incertezza (ad esempio, tramite ensemble). Posizionano ReMax come un principio generale applicabile a domini dove il retry è prezioso, inclusi i compiti di ragionamento con i Large Language Models (LLM), tracciando parallelismi con gli obiettivi pass@K in quel campo.

Il lavoro è modesto nelle sue rivendicazioni teoriche, notando che la definizione di limiti di regret formali per l'ambito del deep RL è lasciata a lavori futuri, e che i risultati attuali sono dimostrazioni empiriche di efficacia.