Sintesi Tecnica: Gradienti di Politica di Retry negli Spazi di Azione Continui

Definizione del Problema

L'esplorazione rimane una sfida centrale nel reinforcement learning (RL), particolarmente nel controllo continuo. Gli approcci standard si affidano tipicamente a politiche stocastiche combinate con una esplicita regolarizzazione dell'entropia (ad esempio, Soft Actor-Critic, SAC) o iniezione di rumore. Sebbene efficaci, questi metodi introducono un bonus di entropia ausiliario che distorce la politica ottimale verso un'entropia più elevata, potenzialmente impedendo la convergenza verso l'ottimo deterministico reale.

Recentemente, gli obiettivi basati sul "retry" (ad esempio, pass@K, max@K) hanno mostrato risultati promettenti negli spazi di azione discreti e nel post-training dei Large Language Models (LLM). Questi obiettivi ottimizzano il ritorno massimo ottenuto da $M$ traiettorie campionate piuttosto che il ritorno atteso. Il lavoro precedente (ReMax) ha dimostrato che, negli spazi discreti, questo obiettivo incoraggia naturalmente l'esplorazione adattandosi all'incertezza del ritorno, anche senza espliciti bonus di entropia. Tuttavia, le proprietà teoriche di ReMax negli spazi di azione continui rimanevano inesplorate, e i generatori di gradienti esistenti per spazi discreti non si estendono ai domini continui.

Metodologia

Framework Teorico

Gli autori estendono l'obiettivo ReMax agli spazi di azione continui utilizzando un estimatore di derivata pathwise.

• Obiettivo: Dato una funzione Q $Q(s, a)$ e un budget di retry $M$, l'obiettivo è definito come:
  $$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$$
  A differenza degli obiettivi regolarizzati dall'entropia, questa formulazione preserva la politica ottimale deterministica ($\pi^*$) come ottimo globale, evitando il bias verso la stocasticità inerente ai bonus di entropia.

• Stima del Gradiente: Poiché il calcolo esatto è impraticabile negli spazi continui, gli autori utilizzano un estimatore di gradiente di riparametrizzazione (RP). Le azioni sono campionate tramite $a_i = \mu + \sigma \epsilon_i$ (dove $\epsilon_i \sim \mathcal{N}(0, I)$). L'obiettivo è approssimato campionando $B$ azioni, ordinando i loro valori Q e calcolando una somma pesata dei primi $M$ valori. Ciò consente la backpropagation attraverso la rete Q e i parametri della politica.

Analisi Teorica della Dinamica dei Gradienti

Il documento fornisce un'analisi dettagliata di come il gradiente ReMax rimodelli il panorama di ottimizzazione per una politica Gaussiana $\mathcal{N}(\mu, \sigma^2)$ con una ricompensa quadratica $r(a) = -a^2$. Vengono identificati due meccanismi chiave quando $M > 1$:

1. Aumento dell'Entropia (Effetto Direzionale): Quando la media della politica è lontana dall'ottimo e la scala $\sigma$ è piccola, la direzione del gradiente punta naturalmente verso l'aumento di $\sigma$. Ciò accade perché l'operatore "max" su $M$ campioni crea un'aspettativa positiva di fluttuazione verso l'alto del reward (o verso il basso del costo) che è accessibile solo aumentando la scala della politica. Questo promuove l'esplorazione stocastica senza un bonus esplicito.
2. Smorzamento del Gradiente (Effetto Magnitudo): Man mano che la politica si avvicina all'ottimo, la norma del gradiente diminuisce. La selezione del migliore tra $M$ campioni riduce la deviazione dall'ottimo, "perdonando" efficacemente i campioni subottimali e rallentando la convergenza. Questo effetto di smorzamento aiuta a sostenere un'entropia più alta per un periodo più lungo durante l'addestramento.

Gli autori analizzano anche l'interazione con l'ottimizzatore Adam. Mostrano che la normalizzazione adattiva di Adam (specificamente il parametro di stabilizzazione $\epsilon$) può contrastare l'effetto di smorzamento del gradiente. Un $\epsilon$ piccolo (default $10^{-8}$) normalizza i gradienti, potenzialmente accelerando la convergenza e riducendo l'effetto di mantenimento dell'entropia, mentre un $\epsilon$ più grande ripristina il comportamento di smorzamento.

Algoritmo: ReMAC

Gli autori istanziano queste scoperte nell'algoritmo Actor-Critic ReMax (ReMAC), un algoritmo off-policy actor-critic.

• Critic: Addestrato tramite regressione temporal-difference standard con clipped double Q-learning (utilizzando due critic per ridurre la sovrastima).
• Actor: Ottimizzato utilizzando la derivata pathwise dell'obiettivo ReMax.
• Implementazione: ReMAC è presentato come una modifica minima di SAC, rimuovendo il bonus di entropia dal target del critic e dalla regolazione della temperatura, e sostituendo la perdita dell'actor con la perdita ReMax.

Risultati Chiave

Scoperte Teoriche

• Analisi del Campo Vettoriale: Le visualizzazioni del campo vettoriale del gradiente per politiche Gaussiane 1D confermano che, per $M > 1$, i gradienti spingono la politica verso un'entropia più alta quando è lontana dall'ottimo, mentre il RL standard ($M=1$) spinge sempre verso un'entropia inferiore.
• Proprietà di Convergenza: ReMax converge all'ottimo deterministico ($\mu=0, \sigma=0$), mentre la regolarizzazione dell'entropia converge a un ottimo stocastico ($\mu=0, \sigma>0$).
• Interazione con Adam: L'analisi teorica ed empirica di un problema toy dimostra che l'effetto di smorzamento è sensibile al parametro $\epsilon$ di Adam.

Valutazione Empirica

Gli esperimenti sono stati condotti su sei task di controllo continuo della suite Brax (Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d) su 3 milioni di step.

• Performance: ReMAC con $M > 1$ ha ottenuto performance comparabili a SAC e generalmente ha superato PPO. In diversi ambienti (Ant, Reacher, Swimmer, Walker2d), budget di retry più ampi ($M=4, 8$) hanno prodotto ritorni medi più elevati rispetto a $M=1$.
• Dinamiche dell'Entropia: In linea con le previsioni teoriche, ReMAC con $M > 1$ ha mantenuto un'entropia della politica più alta rispetto a $M=1$ (RL standard) durante tutto l'addestramento. L'entropia generalmente aumentava con $M$, in particolare negli ambienti Ant e Swimmer.
• Confronto con SAC: Sebbene ReMAC abbia raggiunto un'entropia superiore rispetto al RL standard ($M=1$), la sua entropia è rimasta inferiore a quella di SAC, il che è previsto data la massimizzazione esplicita dell'entropia di SAC.

Significato e Rivendicazioni

Il paper posiziona i propri contributi come segue:

1. Estensione Teorica: È il primo lavoro ad estendere ReMax agli spazi di azione continui e a fornire una rigorosa spiegazione teorica delle sue proprietà di promozione dell'esplorazione tramite derivate pathwise.
2. Esplorazione Intrinseca: Dimostra che gli obiettivi basati sul retry possono indurre l'esplorazione stocastica attraverso la geometria del panorama del gradiente (direzione e magnitudo) piuttosto che attraverso espliciti bonus di entropia. Ciò evita il bias di spostare la politica ottimale lontano dalla soluzione deterministica.
3. Viabilità Pratica: L'introduzione di ReMAC mostra che queste proprietà teoriche si traducono in pratici setting di deep RL, ottenendo performance di livello SAC con modifiche architettoniche minime.
4. Insight sull'Ottimizzazione: Il lavoro evidenzia il ruolo critico degli iperparametri dell'ottimizzatore (specificamente l' $\epsilon$ di Adam) nel modulare il compromesso esplorazione-sfruttamento negli obiettivi basati sul retry.

Gli autori rimangono modesti riguardo all'ambito, notando che la loro analisi teorica assume smoothnes e forte convessità, che potrebbero non valere in tutti i pratici ambienti di deep RL. Inquadrano ReMAC come una prova di concetto per l'esplorazione stocastica e suggeriscono che lavori futuri potrebbero integrare ReMax con il posterior sampling sulle funzioni Q per abilitare una "deep exploration" in contesti con reward sparsi.