A Pontryagin Method of Model-based Reinforcement Learning via Hamiltonian Actor-Critic

Titolo: Un Metodo di Pontryagin per l'Apprendimento per Rinforzo Basato su Modello tramite Hamiltonian Actor-Critic (HAC)

1. Il Problema

L'Apprendimento per Rinforzo (RL) basato su modello (MBRL) mira a migliorare l'efficienza del campione apprendendo un modello dinamico dell'ambiente per ottimizzare la politica. Tuttavia, i metodi esistenti, in particolare le architetture Actor-Critic, soffrono di problemi fondamentali:

• Errori composti: Gli errori nel modello dinamico appreso si accumulano durante le "rollout" immaginarie (simulazioni a più passi), degradando la stima del valore a lungo termine.
• Sensibilità all'orizzonte: Approcci come il Model-Based Value Expansion (MVE) mitigano parzialmente il problema utilizzando rollout multi-step, ma rimangono sensibili alla scelta dell'orizzonte di rollout. Orizzonti più lunghi introducono un bias maggiore, mentre orizzonti più corti limitano l'informazione a lungo termine.
• Approssimazione del valore: L'uso di una rete critica (critic) separata per approssimare la funzione di valore introduce errori di approssimazione che possono fuorviare l'agente, specialmente in scenari offline o con distribuzioni fuori dal dominio (OOD).

2. Metodologia: Hamiltonian Actor-Critic (HAC)

Gli autori propongono HAC, un nuovo algoritmo MBRL che elimina la necessità di apprendere esplicitamente una funzione di valore (critic) per sistemi con dinamiche deterministiche. La metodologia si basa sui Principi di Massimo di Pontryagin (PMP) della teoria del controllo ottimo.

• Sostituzione del Critic con l'Hamiltoniana: Invece di addestrare una rete neurale per stimare $Q(s, a)$, HAC ottimizza direttamente una Hamiltoniana definita sulle dinamiche apprese e sulla funzione di ricompensa.
  • Il problema RL viene riformulato come un problema di controllo ottimo.
  • L'Hamiltoniana $H(s_t, a_t, \lambda_{t+1})$ è definita come: $H = c(s_t, a_t) + \lambda_{t+1}^T f(s_t, a_t)$, dove $c$ è il costo (ricompensa negativa) e $\lambda$ è il costato (variabile di stato coniugata).
• Calcolo del Costato (Costate): Il costato $\lambda_t$ viene calcolato tramite una ricorsione all'indietro basata sulle condizioni PMP, partendo dal costo terminale e tornando indietro nel tempo. Questo permette di ottenere una stima del valore "esatta" (rispetto al modello appreso) senza bisogno di una rete neurale separata.
• Tecnica dell'Analitico Jacobiano: Per calcolare efficientemente i gradienti dell'Hamiltoniana senza costruire grafi computazionali complessi e costosi (problema comune nella differenziazione automatica di ricorsioni profonde), gli autori introducono una tecnica che calcola analiticamente il Jacobiano delle dinamiche neurali (usando attivazioni ReLU), permettendo un calcolo efficiente del costato.
• Addestramento: L'agente (Actor) aggiorna i suoi parametri $\theta$ minimizzando l'Hamiltoniana media calcolata su una rollout immaginaria di $K$ passi. Non esiste un passo di aggiornamento per un "Critic".

3. Contributi Chiave

1. Eliminazione del Critic Esplicito: HAC rimuove la componente di approssimazione del valore, riducendo la sensibilità agli errori di modellazione e eliminando il ciclo di feedback negativo tipico degli Actor-Critic basati su modello.
2. Garanzie di Convergenza: Gli autori dimostrano teoricamente che, sotto ipotesi di regolarità (Lipschitz continuity), l'algoritmo HAC converge a un ottimo locale.
3. Legame Teorico Stretto: Viene dimostrato che, sotto condizioni specifiche (ricompense quadratiche o lineari), l'errore massimo di stima del critic in HAC è strettamente inferiore a quello del metodo MVE classico. Questo è dovuto alla proprietà di conservazione dell'Hamiltoniana nei sistemi ottimali, che impedisce l'accumulo di errori lungo l'orizzonte di rollout.
4. Efficienza Computazionale: Nonostante il calcolo ricorsivo del costato, HAC risulta più efficiente in termini di tempo totale di addestramento rispetto ai metodi MVE che richiedono ensemble di reti critiche (necessari per stabilizzare MVE).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark di controllo continuo (LQR, Pendulum, MountainCar, MuJoCo Swimmer e Hopper) in setting sia Online che Offline.

• Prestazioni di Controllo: HAC supera o è altamente competitivo rispetto a baseline model-free (DDPG, SAC) e metodi basati su modello (MVE-DDPG, MOPO).
• Efficienza del Campione: HAC converge più velocemente, richiedendo meno interazioni con l'ambiente o meno dati offline.
• Robustezza OOD: In scenari con distribuzioni fuori dal dominio (es. stati iniziali spostati), HAC mantiene prestazioni stabili, mentre i metodi basati su MVE tendono a fallire o a divergere a causa di stime di valore inaccurate.
• Confronto con Ensemble: Per raggiungere prestazioni simili a quelle di HAC, MVE-DDPG richiede l'uso di ensemble di 3-5 reti critiche, il che aumenta significativamente il costo computazionale. HAC ottiene prestazioni superiori con un singolo modello di dinamiche.

5. Significato e Impatto

Questo lavoro rappresenta un ponte significativo tra la teoria del controllo ottimo classica (Pontryagin) e il Deep Reinforcement Learning moderno.

• Paradigma Alternativo: Dimostra che per sistemi deterministici, non è necessario apprendere una funzione di valore complessa; l'ottimalità può essere raggiunta ottimizzando direttamente l'Hamiltoniana.
• Affidabilità: Offre una soluzione più robusta al problema degli errori composti nelle rollout immaginarie, un ostacolo storico per l'MBRL.
• Applicabilità: Sebbene attualmente limitato a dinamiche deterministiche (con estensioni teoriche possibili per sistemi stocastici), il metodo offre un approccio "principled" (fondato su principi teorici solidi) che potrebbe ispirare futuri algoritmi ibridi per il controllo robotico e la pianificazione in ambienti complessi.

In sintesi, HAC trasforma il problema dell'apprendimento per rinforzo in un problema di ottimizzazione controllata diretta, offrendo migliori garanzie teoriche, maggiore efficienza e robustezza rispetto alle architetture Actor-Critic tradizionali basate su modello.