Riepilogo Tecnico: Distribuzioni come Azioni: Un Quadro Unificato per Spazi di Azione Diversificati

Enunciato del Problema

Gli algoritmi di Reinforcement Learning (RL) sono tradizionalmente categorizzati in base alla loro idoneità per strutture specifiche degli spazi di azione. I metodi basati sul valore (ad es. DQN) eccellono negli spazi discreti enumerando i valori delle azioni, mentre i metodi basati sulla politica (ad es. DPG, SAC) sono progettati per spazi continui, sfruttando la differenziabilità delle funzioni valore-azione. Tuttavia, gli algoritmi attuali rimangono strettamente accoppiati alla struttura specifica dello spazio di azione. Progettare algoritmi unificati che generalizzino attraverso spazi di azione discreti, continui e ibridi è difficile, poiché spesso sono richiesti diversi stimatori del gradiente e architetture per ciascun dominio. Inoltre, gli stimatori esistenti del gradiente della politica per politiche stocastiche, come i metodi Likelihood-Ratio (LR) e Reparameterization (RP), soffrono spesso di alta varianza o introducono bias, specialmente in contesti discreti.

Metodologia

Il Quadro Distribuzioni come Azioni (DA)

Il documento introduce una formulazione innovativa che ridefinisce il confine tra agente e ambiente. Nel quadro classico del RL, la politica dell'agente $\pi_\theta$ produce un'azione (o parametri di distribuzione) e campiona l'azione internamente. Nel proposto quadro Distributions-as-Actions (DA):

1. L'agente produce parametri di distribuzione $\bar{\pi}_\theta(s)$ (ad es. media e varianza per Gaussiana, vettori di probabilità per categoriali) come sua azione.
2. Il processo di campionamento $A \sim f(\cdot|\bar{\pi}_\theta(s))$ è trattato come parte della funzione di transizione stocastica dell'ambiente.

Questa trasformazione converte lo spazio di azione originale $\mathcal{A}$ (che può essere discreto, continuo o ibrido) in uno spazio continuo di parametri di distribuzione $\mathcal{U}$. Di conseguenza, l'agente opera all'interno di un nuovo Processo Decisionale di Markov (DA-MDP) con uno spazio di azione continuo $\mathcal{U}$, indipendentemente dalla natura sottostante di $\mathcal{A}$.

Gradiente della Politica Distribuzioni come Azioni (DA-PG)

Costruendo sul DA-MDP, gli autori derivano lo stimatore DA-PG. Applicando il teorema del Gradiente della Politica Deterministica (DPG) allo spazio continuo dei parametri $\mathcal{U}$, ottengono uno stimatore del gradiente:
$$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$$
dove $\bar{Q}_w$ è un critico che stima il ritorno atteso sulla distribuzione di azione definita dai parametri $U$.

Proprietà Teoriche:

• Riduzione della Varianza: Il documento dimostra che DA-PG è il valore atteso condizionato di entrambi gli stimatori LR e RP. Per la legge della varianza totale, ciò risulta in una varianza strettamente inferiore rispetto agli stimatori originali, a condizione che la varianza condizionata all'azione o indotta dal rumore sia non nulla.
• Unificazione: Quando la distribuzione è un delta di Dirac, DA-PG si riduce esattamente allo stimatore DPG standard, stabilendolo come una generalizzazione rigorosa.

Apprendimento del Critico Interpolato (ICL)

Una sfida nel quadro DA è che il critico $\bar{Q}_w$ deve apprendere su uno spazio di input a dimensionalità più elevata (parametri di distribuzione), il che può essere difficile e portare a un aumento del bias se il critico è impreciso. Per affrontare ciò, gli autori propongono l'Apprendimento del Critico Interpolato (ICL).

• Meccanismo: Invece di aggiornare il critico solo sui parametri di distribuzione campionati $U_t$, l'ICL utilizza l'azione osservata $A_t$ per inferire che la transizione avrebbe potuto essere generata da altri parametri di distribuzione.
• Implementazione: Il critico viene aggiornato in un punto interpolato $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$, dove $U_{A_t}$ rappresenta i parametri deterministici corrispondenti all'azione osservata $A_t$, e $\omega_t \sim \text{Uniform}[0, 1]$.
• Obiettivo: Ciò incoraggia il critico ad apprendere un paesaggio di valori più liscio con curvatura informativa, facilitando una migliore ottimizzazione della politica nello spazio dei parametri.

Algoritmo DA-AC

Gli autori implementano un pratico algoritmo di RL profondo, Distributions-as-Actions Actor-Critic (DA-AC), basato sull'architettura TD3. DA-AC incorpora lo stimatore DA-PG per l'attore e l'aggiornamento ICL per il critico, consentendo a un singolo algoritmo di gestire spazi di azione diversificati.

Contributi Chiave

1. Quadro Unificato: Una riparametrizzazione del problema RL che tratta i parametri di distribuzione come azioni, unificando il controllo discreto, continuo e ibrido sotto un singolo algoritmo a azione continua.
2. Stimatore DA-PG: Uno stimatore generalizzato del gradiente della politica con varianza teoricamente inferiore rispetto agli stimatori LR e RP standard, applicabile a tipi arbitrari di spazi di azione.
3. Strategia ICL: Una tecnica semplice ma efficace per migliorare l'apprendimento del critico nel quadro DA sfruttando aggiornamenti fuori distribuzione tramite interpolazione.
4. Validazione Empirica: Valutazione completa che mostra come DA-AC raggiunga prestazioni competitive o superiori attraverso benchmark di controllo continuo, discreto e ibrido rispetto a baseline specializzate.

Risultati Sperimentali

Il documento valuta DA-AC attraverso quattro contesti distinti:

• Controllo Continuo: Su compiti MuJoCo e DeepMind Control Suite, DA-AC raggiunge prestazioni competitive, spesso superando TD3 e altre baseline, in particolare in ambienti ad alta dimensionalità.
• Controllo Discreto: Su ambienti di controllo classico Gym e MinAtar, DA-AC performa in modo comparabile a DQN e altre solide baseline discrete.
• Controllo Discreto ad Alta Dimensionalità: In versioni discretizzate di compiti di controllo continuo (ad es. Humanoid-v4 con 17 dimensioni discretizzate in 7 bin), DA-AC supera significativamente baseline come ST-AC, LR-AC e PPO, dove altri metodi faticano con l'esplosione combinatoria o l'alta varianza.
• Controllo Ibrido: Su MDP con Azioni Parametrizzate (PAMDPs), DA-AC raggiunge risultati competitivi contro algoritmi specializzati come PATD3 e PDQN.

Studi di Ablazione:
Esperimenti in contesti a bandito e nel controllo discreto ad alta dimensionalità dimostrano che la rimozione dell'ICL (DA-AC senza ICL) porta a prestazioni significativamente peggiori, confermando che l'ICL è cruciale per apprendere un critico efficace nel quadro DA.

Significato e Affermazioni

Il documento afferma che il quadro Distributions-as-Actions offre un modo principiato per disaccoppiare l'algoritmo di apprendimento dalla struttura specifica dello spazio di azione. Spostando il confine agente-ambiente, permette l'applicazione di metodi di gradiente a bassa varianza e di stile deterministico a problemi discreti e ibridi. Gli autori sottolineano che questo approccio:

• Fornisce il primo stimatore senza bias e a bassa varianza in stile riparametrizzazione per distribuzioni discrete.
• Permette a un singolo quadro algoritmico (DA-AC) di gestire una vasta varietà di contesti di controllo senza necessità di cambiamenti architetturali specifici del dominio.
• Dimostra che trattare il campionamento come parte dell'ambiente può semplificare l'apprendimento e aprire nuove prospettive algoritmiche, in particolare per spazi di azione ibridi complessi.

Il lavoro suggerisce che la ricerca futura potrebbe estendere questo quadro a metodi basati su modelli, controllo gerarchico e strategie di apprendimento del critico più avanzate, ma il contributo attuale si concentra sull'instaurare la fattibilità del quadro attraverso l'algoritmo DA-AC e il suo successo empirico.