Sintesi Tecnica: Hybrid Energy-Aware Reward Shaping (H-EARS)

1. Definizione del Problema

Il Deep Reinforcement Learning (DRL) per il controllo continuo affronta tre sfide persistenti: l'alta varianza durante l'addestramento, la bassa efficienza energetica e la scarsa capacità di generalizzazione sotto spostamenti di distribuzione. Gli algoritmi puramente data-driven e model-free (es. SAC, TD3) spesso riscoprono i principi fisici fondamentali attraverso un esteso processo di tentativi ed errori, portando a politiche instabili, energeticamente inefficienti e fisicamente implausibili. Queste politiche tendono spesso a sfruttare dinamiche specifiche del simulatore ("scorciatoie") piuttosto che apprendere strategie generalizzabili, con conseguente grave degradazione delle prestazioni in scenari del mondo reale o fuori distribuzione.

Gli approcci esistenti per colmare questo divario affrontano un compromesso:

• Metodi basati sulla fisica (es. reti neurali Lagrangiane o Hamiltoniane) impongono la coerenza fisica apprendendo le dinamiche ignote dai dati. Tuttavia, comportano un'elevata complessità computazionale ($O(n^2)$ a $O(n^3)$) e richiedono la ricostruzione completa della dinamica del sistema, il che è spesso impraticabile per sistemi complessi.
• Metodi puramente model-free sono computazionalmente efficienti ma mancano di vincoli fisici, fallendo spesso quando le dinamiche reali deviano dalle condizioni di addestramento.
• Lo Standard Reward Shaping (Potential-Based Reward Shaping, PBRS) accelera la convergenza ma si basa tipicamente su euristiche specifiche del compito (es. distanza dall'obiettivo) che mancano di interpretabilità fisica e non impongono intrinsecamente l'efficienza energetica o la stabilità.

Il problema centrale è la mancanza di un framework leggero e teoricamente fondato che integri la struttura fisica nota (specificamente l'energia) nel DRL per migliorare convergenza e stabilità senza richiedere l'identificazione completa del sistema o incorrendo in costi computazionali proibitivi.

2. Metodologia: H-EARS

Il documento propone Hybrid Energy-Aware Reward Shaping (H-EARS), una metodologia unificata che codifica i termini energetici dominanti — assunti come noti a priori — direttamente come potenziali di ricompensa. Il metodo opera con una computazione per step di $O(n)$, dove $n$ è il numero di coordinate generalizzate.

Definizione del Framework

H-EARS definisce una funzione di ricompensa modellata $R_{H-EARS}$ attraverso una trasformazione in due fasi del Processo Decisionale di Markov (MDP):

1. Regolarizzazione dell'Azione: Viene definito un nuovo MDP $M_\lambda$ con una ricompensa modificata $R_\lambda(s, a, s') = R(s, a, s') - \lambda E(a)$. Qui, $E(a) = a^\top Q a$ rappresenta il funzionale dell'energia di controllo, e $\lambda \geq 0$ è un coefficiente di regolarizzazione. Questo passaggio modifica intenzionalmente l'obiettivo di ottimizzazione per scambiare le prestazioni del compito con l'efficienza energetica.
2. Potential-Based Shaping: Un potenziale duale $\Phi(s)$ viene applicato a $M_\lambda$. La ricompensa finale è:
   $$R_{H-EARS}(s, a, s') = R(s, a, s') + \gamma\Phi(s') - \Phi(s) - \lambda E(a)$$
   dove $\Phi(s) = \alpha_{task}\Phi_{task}(s) + \alpha_{energy}\Phi_{energy}(s)$.
   • $\Phi_{task}(s)$: Codifica la guida orientata al compito (es. prossimità all'obiettivo).
   • $\Phi_{energy}(s) = -E(q, \dot{q})$: Codifica la struttura dell'energia meccanica (energia cinetica + potenziale).
   • $E(a)$: Penalizza l'ampiezza dell'azione per sopprimere i comportamenti oscillatori.

Fondamenti Teorici

Il documento stabilisce un quadro teorico completo:

• Indipendenza Funzionale (Lemma II.1): Il termine di shaping (dipendente dallo stato) e il termine di regolarizzazione (dipendente dall'azione) operano su domini disgiunti. Ciò consente di regolare $\alpha_{task}$, $\alpha_{energy}$ e $\lambda$ indipendentemente senza invalidare strutturalmente l'uno l'altro.
• Arricchimento del Gradiente (Teorema II.3): Sotto la condizione che la Hessiana dell'energia $\frac{\partial^2 E}{\partial q^2} \succ 0$ sia soddisfatta nella regione rilevante per il compito, il potenziale energetico fornisce segnali di gradiente informativi in tutto lo spazio degli stati. Ciò accelera la convergenza in ambienti con ricompensa sparsa assicurando che $\|\nabla_q E\| \gg \|\nabla_s R\|$.
• Necessità del Potenziale Duale (Proposizione II.4): Una singola funzione di potenziale non può soddisfare simultaneamente la direttività del compito e la consapevolezza energetica quando gli obiettivi sono in conflitto. La decomposizione in $\Phi_{task}$ e $\Phi_{energy}$ è matematicamente necessaria per bilanciare l'efficienza dell'esplorazione e la plausibilità fisica.
• Convergenza e Limiti di Errore (Teorema II.5, Lemma II.7): H-EARS raggiunge un tasso di convergenza $O(1/\sqrt{N})$ sotto approssimazione di funzione. Crucialmente, il Lemma II.7 quantifica che modelli di energia approssimati (con fino al 20% di errore) risultano in una perdita di prestazione inferiore al 5%, validando l'uso di modelli semplificati.
• Guida alla Stabilità (Proposizione II.8): La massimizzazione del potenziale energetico è interpretata come un'euristica di tipo Lyapunov, che guida le politiche verso comportamenti stabili e di dissipazione dell'energia.

3. Contributi Chiave

1. Modellazione Energetica Leggera: H-EARS cattura i componenti energetici dominanti a un costo $O(n)$, senza richiedere la derivazione completa della dinamica. Ciò ne permette l'implementazione da parte di ingegneri generici senza competenze in meccanica analitica.
2. Fondazione Teorica Unificata: Il documento fornisce prove formali per l'indipendenza funzionale, l'arricchimento del gradiente basato sull'energia, le garanzie di convergenza e i limiti di errore dell'approssimazione del potenziale.
3. Plausibilità Fisica in Condizioni Estreme: Incorporando la minimizzazione dell'energia come un prior strutturale, H-EARS vincola le politiche a comportamenti fisicamente coerenti che mantengono la stabilità attraverso le condizioni di addestramento, inclusi casi estremi come strade a bassa aderenza.

4. Risultati Sperimentali

Il framework è stato valutato su quattro benchmark di controllo continuo (Ant-v5, Hopper-v5, LunarLander-v3, Humanoid-v5) e quattro algoritmi baseline (SAC, TD3, PPO, DDPG), seguiti da simulazioni ad alta fedeltà di veicoli.

Benchmark Standard

• Convergenza e Stabilità: H-EARS ha costantemente migliorato la velocità di convergenza, la stabilità della politica e le prestazioni finali. Ad esempio, SAC+H-EARS su Ant-v5 ha ottenuto un guadagno di prestazioni del 32,5% e una convergenza del 28,2% più veloce con una riduzione della varianza del 27,6%.
• Compatibilità Algoritmica: Il metodo ha mostrato i maggiori benefici per i metodi off-policy stocastici (SAC, TD3). DDPG ha subito un degrado in Ant-v5 a causa del conflitto tra la sua esplorazione Ornstein-Uhlenbeck ad alta ampiezza e la regolarizzazione energetica, evidenziando un confine di applicabilità basato su principi precisi.
• Studi di Ablazione:
  • La rimozione del potenziale del compito ha causato cali significativi nelle prestazioni, confermando la necessità della guida del compito.
  • La rimozione del potenziale energetico ha portato all'instabilità in sistemi intrinsecamente instabili (Hopper-v5), validando il suo ruolo nella stabilità.
  • La rimozione della regolarizzazione dell'azione ha aumentato la varianza e non è riuscita a sopprimere le azioni oscillatorie, confermando la sua necessità per vincolare l'ampiezza dell'azione.
  • La decomposizione duale si è dimostrata superiore agli approcci a potenziale singolo, poiché la fusione dei potenziali portava a interferenze distruttive del gradiente.

Simulazione Veicolo (TruckSim)

Simulazioni ad alta fedeltà di un veicolo elettrico a trazione distribuita a quattro ruote in condizioni estreme (aderenza bassa $\mu \in [0.1, 1.0]$, pendenze composte) hanno validato l'applicabilità del framework in contesti critici per la sicurezza:

• Robustezza dell'Approssimazione: Modelli energetici semplificati con un errore di approssimazione del 30% hanno comunque superato il SAC vanilla nella stabilità laterale (riducendo il massimo sideslip del 20,4% e il tasso di imbardata del 16,4%), confermando la "degradazione aggraziata" prevista dal Lemma II.7.
• Stabilità: Le politiche H-EARS hanno mantenuto la convergenza monotona dell'angolo di sideslip e del tasso di imbardata, aderendo a principi di stabilità di tipo Lyapunov anche sotto gravi disturbi dove il SAC vanilla falliva.
• Integrazione: Il framework è stato integrato con successo con uno strato di Controllo Predittivo del Modello (MPC) di basso livello per imporre vincoli rigidi, dimostrando una via percorribile per l'implementazione industriale.

5. Significato e Rivendicazioni

Il documento sostiene che H-EARS offre un percorso pratico dalla ricerca accademica all'implementazione industriale, dimostrando che prior fisici minimi (termini energetici dominanti) possono migliorare significativamente il RL model-free senza richiedere:

• Derivazione di livello esperto della dinamica completa del sistema.
• Identificazione completa del sistema.
• Modifiche alle strutture algoritmiche core del RL.

La significatività risiede nel colmare il divario tra l'efficienza computazionale del RL model-free e la coerenza fisica dei metodi model-based. Fornendo una base teorica unificata che garantisce la convergenza, delimita gli errori di approssimazione e assicura la stabilità, H-EARS affronta le sfide critiche del costo di modellazione, della complessità computazionale e della generalizzazione della politica in domini sensibili alla sicurezza. Gli autori sottolineano che il framework è particolarmente efficace quando è disponibile una conoscenza fisica parziale e quando è richiesta l'efficienza di implementazione, completando anziché competere con i metodi che apprendono le dinamiche ignote da zero.