Riepilogo Tecnico: Metodi Attore-Critico del Secondo Ordine per MDP Scontati tramite Decomposizione dell'Hessiana della Politica

Enunciato del Problema

L'apprendimento per rinforzo (RL) in contesti su larga scala affronta due sfide principali: la maledizione della dimensionalità che rende intrattabili i metodi tabulari, e le limitazioni dei metodi di ricerca della politica del primo ordine. Sebbene gli approcci attore-critico mitigino la varianza dell'approssimazione del valore, essi si basano su aggiornamenti del primo ordine che ignorano la curvatura della funzione obiettivo. Ciò porta a una convergenza lenta e a una sensibilità alla parametrizzazione della politica. Al contrario, l'ottimizzazione del secondo ordine offre aggiornamenti consapevoli della curvatura che accelerano la convergenza, ma è raramente applicata nel RL a causa della complessità computazionale proibitiva ($O(d^3)$) della stima dell'Hessiana e dell'instabilità causata da termini di interazione ad alta varianza nella decomposizione dell'Hessiana della politica.

La letteratura esistente affronta tipicamente la stima del valore e l'incorporazione della curvatura in modo indipendente. Questo documento identifica un vuoto: le approssimazioni del secondo ordine sono spesso instabili a causa di componenti di curvatura ad alta varianza, e manca un quadro unificato che stabilizzi queste approssimazioni mantenendo al contempo l'efficienza computazionale nei Processi Decisionali di Markov (MDP) scontati.

Metodologia

Gli autori propongono un quadro Attore-Critico del Secondo Ordine a Due Scale Temporali (SOTTAC) che sfrutta le informazioni complete sulla curvatura della funzione obiettivo attraverso un'approssimazione strutturata dell'Hessiana della Politica.

1. Decomposizione dell'Hessiana della Politica

La funzione obiettivo $J(\theta)$ è analizzata tramite la sua derivata del secondo ordine. L'Hessiana $H(\theta)$ è decomposta in quattro componenti (Teorema 1):

• $H_1$ (Termine prodotto esterno): Un termine simile alla Fisher che coinvolge il prodotto esterno del gradiente della politica.
• $H_2$ (Curvatura intrinseca): L'Hessiana del log-politica, che cattura la geometria intrinseca della distribuzione della politica.
• $H_{12}$ e $H_{12}^\top$ (Termini di interazione): Termini che coinvolgono il gradiente della funzione valore stato-azione $Q$ rispetto ai parametri della politica ($\nabla_\theta Q$).

Gli autori identificano che $H_{12}$ introduce una varianza significativa e un accoppiamento computazionale, rendendo gli aggiornamenti diretti del secondo ordine instabili.

2. Insight a Due Scale Temporali e Approssimazione

Per stabilizzare l'Hessiana, il metodo impiega un quadro attore-critico a due scale temporali:

• Il critico (che stima $Q$) evolve su una scala temporale più rapida rispetto all'attore (politica $\pi_\theta$).
• In questo quadro, il critico è trattato come quasi-stazionario durante gli aggiornamenti dell'attore. Di conseguenza, il gradiente del critico rispetto ai parametri dell'attore è approssimato a zero ($\nabla_\theta Q_c \approx 0$).
• Questa approssimazione elimina efficacemente il termine di interazione ad alta varianza $H_{12}$, semplificando l'Hessiana a $\tilde{H} \approx H_1 + H_2$.

3. Implementazione Efficiente tramite Prodotti Hessiana-Vettore (HVP)

Per evitare la costruzione esplicita dell'Hessiana ($O(d^3)$), il metodo utilizza i Prodotti Hessiana-Vettore (HVP). La direzione di aggiornamento è derivata massimizzando un modello quadratico locale utilizzando l'Hessiana approssimata. Sono formulate due approssimazioni specifiche:

• ACGN1 (Gauss-Newton basato sul Vantaggio): Sostituisce il valore stato-azione $Q$ con la funzione di vantaggio $A$ nei termini di curvatura ($H_1 + H_2 \approx A_1 + A_2$). Ciò riduce la varianza e sfrutta il termine prodotto esterno mantenendo la curvatura intrinseca.
• ACGN2 (Curvatura Intrinseca): Scarta completamente il termine prodotto esterno $H_1$, mantenendo solo la curvatura intrinseca $H_2$. Ciò è teoricamente giustificato per politiche log-concave (ad esempio, softmax), dove $H_2$ è semidefinita negativa, garantendo una direzione di massimizzazione stabile senza il bias convesso introdotto da $H_1$.

La regola di aggiornamento comporta un'ottimizzazione in un ciclo interno per risolvere lo spostamento $\Delta$ utilizzando HVP, seguita da un aggiornamento della politica $\theta \leftarrow \theta + \Delta$.

Contributi Chiave

1. Unificazione Teorica: Il documento stabilisce una connessione tra la stabilità degli attore-critici a due scale temporali e l'ottimizzazione del secondo ordine. Dimostra che l'assunzione di quasi-stazionarietà del critico in un quadro a due scale temporali giustifica l'approssimazione $\nabla_\theta Q \approx 0$, rimuovendo di conseguenza il termine di interazione instabile $H_{12}$.
2. Aggiornamenti del Secondo Ordine Stabili: Eliminando $H_{12}$, gli autori formulano aggiornamenti del secondo ordine stabili che incorporano informazioni complete sulla curvatura senza il carico computazionale della stima completa dell'Hessiana.
3. Approssimazioni Strutturate: L'introduzione di ACGN1 e ACGN2 fornisce due strategie distinte per gestire la curvatura: ACGN1 bilancia i termini prodotto esterno e intrinseci per la riduzione della varianza, mentre ACGN2 dà priorità alla stabilità strutturale affidandosi esclusivamente alla curvatura intrinseca.
4. Analisi di Convergenza: Il documento fornisce una prova di convergenza per l'aggiornamento dell'attore del secondo ordine smorzato, mostrando la convergenza a un punto stazionario fino agli errori di approssimazione (tracciamento del critico, curvatura e smorzamento).

Risultati Sperimentali

I metodi sono stati valutati su compiti di controllo discreto (CartPole, LunarLander) e domini di controllo continuo (Reacher, Humanoid) provenienti da MuJoCo.

• Spazi di Azione Discreti: ACGN2 ha dimostrato costantemente una convergenza più rapida e un'efficienza del campione migliorata rispetto alle baseline del primo ordine (REINFORCE) e del Gradiente Naturale (NGA). Ciò è attribuito alla dipendenza di ACGN2 dalla curvatura intrinseca semidefinita negativa, che si allinea bene con la parametrizzazione della politica log-concava utilizzata. Anche ACGN1 ha superato le baseline, ma ha convergito leggermente più lentamente a causa del bias convesso introdotto dal termine prodotto esterno.
• Spazi di Azione Continui: In ambienti ad alta dimensionalità (Humanoid), ACGN1 e NGA hanno mostrato una convergenza più stabile, mentre ACGN2 ha mostrato prestazioni comparabili con una varianza leggermente più alta a causa della sensibilità alle stime di curvatura rumorose. Tuttavia, tutti i metodi del secondo ordine hanno superato REINFORCE, confermando il beneficio delle informazioni sulla curvatura anche con politiche Gaussiane non log-concave.
• Compromessi Computazionali: Sebbene i metodi del secondo ordine comportino un tempo di esecuzione maggiore per iterazione a causa dei calcoli HVP, raggiungono una convergenza più rapida in termini di episodi di addestramento. ACGN2 offre un equilibrio favorevole tra costo computazionale e qualità della curvatura, mentre ACGN1 è il più costoso dal punto di vista computazionale a causa dell'inclusione di entrambi i componenti di curvatura.

Significato e Affermazioni

Il documento afferma che il suo contributo principale è risolvere l'instabilità dei metodi RL del secondo ordine sfruttando il quadro attore-critico a due scale temporali per giustificare la trascuratezza dei termini di interazione ad alta varianza. Ciò consente l'applicazione pratica di aggiornamenti consapevoli della curvatura che sono sia computazionalmente efficienti (tramite HVP) sia stabili.

Gli autori affermano che il loro approccio migliora la convergenza e l'efficienza del campione rispetto alle baseline del primo ordine e del gradiente naturale su compiti di controllo diversificati. Sottolineano che, sebbene il metodo non garantisca la definita positiva della matrice di curvatura in tutti i casi (in particolare per ACGN1), l'uso dello smorzamento e le proprietà strutturali specifiche delle approssimazioni (specialmente ACGN2) producono aggiornamenti ben comportati nelle vicinanze degli ottimi locali. Il lavoro suggerisce che la cattura accurata della curvatura intrinseca è fondamentale per l'ottimizzazione efficiente della politica, in particolare negli spazi di azione discreti.

Il lavoro futuro, come notato dagli autori, si concentrerà sull'estensione di queste approssimazioni di curvatura ai metodi di regione di fiducia (TRPO) e all'ottimizzazione della politica prossimale (PPO), e sullo sviluppo di approssimazioni scalabili per problemi su scala più ampia.