Technische Samenvatting: Hybrid Energy-Aware Reward Shaping (H-EARS)

1. Probleemstelling

Deep Reinforcement Learning (DRL) voor continue controle staat voor drie hardnekkige uitdagingen: hoge variantie tijdens de training, lage energie-efficiëntie en slechte generalisatie onder distributieverschuivingen. Puur datagestuurde, modelvrije algoritmen (bijv. SAC, TD3) moeten vaak fundamentele natuurkundige principes herontdekken via uitgebreid trial-and-error, wat leidt tot instabiele, energie-inefficiënte en fysiek onwaarschijnlijke beleidsregels (policies). Deze beleidsregels maken vaak gebruik van simulator-specifieke dynamica ("shortcuts") in plaats van het aanleren van generaliseerbare strategieën, wat resulteert in een ernstige prestatievermindering in real-world of out-of-distribution scenario's.

Bestaande benaderingen om deze kloof te overbruggen kampen met een trade-off:

• Fysica-gebaseerde methoden (bijv. Lagrangiaanse of Hamiltoniaanse neurale netwerken) dwingen fysieke consistentie af door onbekende dynamica uit data te leren. Deze brengen echter een hoge computationele complexiteit met zich mee ($O(n^2)$ tot $O(n^3)$) en vereisen de reconstructie van volledige systeemdynamica, wat voor complexe systemen vaak onhaalbaar is.
• Puur modelvrije methoden zijn computationeel efficiënt maar missen fysieke restricties, waardoor ze vaak falen wanneer de real-world dynamica afwijkt van de trainingscondities.
• Standaard Reward Shaping (Potential-Based Reward Shaping, PBRS) versnelt convergentie maar vertrouwt doorgaans op taakspecifieke heuristieken (bijv. afstand tot het doel) die een gebrek hebben aan fysieke interpreteerbaarheid en niet inherent energie-efficiëntie of stabiliteit afdwingen.

Het kernprobleem is het gebrek aan een lichtgewicht, theoretisch gefundeerd framework dat bekende fysieke structuren (specifiek energie) integreert in DRL om convergentie en stabiliteit te verbeteren zonder dat een volledige systeemidentificatie vereist is of prohibitieve computationele kosten worden gemaakt.

2. Methodologie: H-EARS

De paper stelt Hybrid Energy-Aware Reward Shaping (H-EARS) voor, een verenigde methodologie die dominante energietermen — die a priori als bekend worden beschouwd — direct als reward-potentialen codeert. De methode opereert met een $O(n)$ per-stap berekening, waarbij $n$ het aantal gegeneraliseerde coördinaten is.

Definitie van het Framework

H-EARS definieert een gevormde rewardfunctie $R_{H-EARS}$ door middel van een tweestaps-transformatie van de Markov Decision Process (MDP):

1. Actie-regularisatie: Een nieuwe MDP $M_\lambda$ wordt gedefinieerd met een aangepaste reward $R_\lambda(s, a, s') = R(s, a, s') - \lambda E(a)$. Hier is $E(a) = a^\top Q a$ de controle-energiefunctional, en $\lambda \geq 0$ is een regularisatiecoëfficiënt. Deze stap wijzigt doelbewust het optimalisatieobject om prestaties voor de taak te ruilen voor energie-efficiëntie.
2. Potential-Based Shaping: Een duale potentiaalfunctie $\Phi(s)$ wordt toegepast op $M_\lambda$. De uiteindelijke reward is:
   $$R_{H-EARS}(s, a, s') = R(s, a, s') + \gamma\Phi(s') - \Phi(s) - \lambda E(a)$$
   waarbij $\Phi(s) = \alpha_{task}\Phi_{task}(s) + \alpha_{energy}\Phi_{energy}(s)$.
   • $\Phi_{task}(s)$: Codeert taakgeoriënteerde sturing (bijv. nabijheid van het doel).
   • $\Phi_{energy}(s) = -E(q, \dot{q})$: Codeert de mechanische energiestructuur (kinetische + potentiële energie).
   • $E(a)$: Bestraft de grootte van de actie om oscillerend gedrag te onderdrukken.

Theoretische Fundamenten

De paper legt een volledig theoretisch kader vast:

• Functionele Onafhankelijkheid (Lemma II.1): De shaping-term (toestandsafhankelijk) en de regularisatieterm (actieafhankelijk) werken op disjuncte domeinen. Dit maakt het mogelijk om $\alpha_{task}$, $\alpha_{energy}$ en $\lambda$ onafhankelijk af te stemmen zonder de structuur ervan ongeldig te maken.
• Gradient Verrijking (Theorem II.3): Onder de voorwaarde dat de energie-Hessiaan $\frac{\partial^2 E}{\partial q^2} \succ 0$ geldt over de taakrelevante regio, biedt de energie-potentiaal informatieve gradiëntsignalen door de gehele toestandsruimte. Dit versnelt convergentie in omgevingen met een ijle reward (sparse reward) door te zorgen dat $\|\nabla_q E\| \gg \|\nabla_s R\|$.
• Noodzaak van Duale Potentials (Proposition II.4): Een enkele potentiaalfunctie kan niet tegelijkertijd aan taakgerichtheid en energiebewustzijn voldoen wanneer de doelstellingen conflicteren. De decompositie in $\Phi_{task}$ en $\Phi_{energy}$ is wiskundig noodzakelijk om de balans te bewaren tussen exploratie-efficiëntie en fysieke plausibiliteit.
• Convergentie en Foutgrenzen (Theorem II.3, Lemma II.7): H-EARS bereikt een $O(1/\sqrt{N})$ convergentiesnelheid onder functiebenadering. Cruciaal is dat Lemma II.7 kwantificeert dat benaderde energiemodellen (met tot 20% fout) resulteren in minder dan 5% prestatieverlies, wat het gebruik van vereenvoudigde modellen valideert.
• Stabiliteitssturing (Proposition II.8): Het maximaliseren van de energiepotentiaal wordt geïnterpreteerd als een door de Lyapunov-theorie geïnspireerde heuristiek, die beleidsregels naar energie-dissiperend, stabiel gedrag leidt.

3. Belangrijkste Bijdragen

1. Lichtgewicht Energiemodellering: H-EARS vangt dominante energiecomponenten op met een $O(n)$ kosten, zonder dat een volledige afleiding van de dynamica nodig is. Dit maakt implementatie mogelijk door algemene ingenieurs zonder expertise in analytische mechanica.
2. Verenigde Theoretische Fundering: De paper biedt formele bewijzen voor functionele onafhankelijkheid, energie-gebaseerde gradiëntverrijking, convergentiegaranties en foutgrenzen voor benaderde potentialen.
3. Fysieke Plausibiliteit onder Extreme Condities: Door energie-minimalisatie als een structurele prior in te bedden, beperkt H-EARS beleidsregels tot fysiek consistente gedragingen die stabiliteit behouden onder verschillende trainingscondities, inclusief extreme gevallen zoals wegen met lage adhesie.

4. Experimentele Resultaten

Het framework werd geëvalueerd over vier continue controlebenchmarks (Ant-v5, Hopper-v5, LunarLander-v3, Humanoid-v5) en vier baseline-algoritmen (SAC, TD3, PPO, DDPG), gevolgd door high-fidelity voertuigsimulaties.

Standaard Benchmarks

• Convergentie en Stabiliteit: H-EARS verbeterde consequent de convergentiesnelheid, de stabiliteit van de policy en de uiteindelijke prestaties. Bijvoorbeeld, SAC+H-EARS op Ant-v5 bereikte een prestatiewinst van 32,5% en een 28,2% snellere convergentie met een 27,6% reductie in variantie.
• Algoritme Compatibiliteit: De methode toonde de sterkste voordelen voor stochastische off-policy methoden (SAC, TD3). DDPG ervoer degradatie in Ant-v5 door een conflict tussen de hoog-amplitude Ornstein-Uhlenbeck exploratie en de energie-regularisatie, wat een fundamentele grens van toepasbaarheid benadrukt.
• Ablatie Studies:
  • Het verwijderen van de taak-potentiaal veroorzaakte significante prestatiedalingen, wat de noodzaak van taaksturing bevestigt.
  • Het verwijderen van de energie-potentiaal leidde tot instabiliteit in inherent instabiele systemen (Hopper-v5), wat de rol in stabiliteit valideert.
  • Het verwijderen van de actie-regularisatie verhoogde de variantie en slaagde er niet in om oscillerende acties te onderdrukken, wat de noodzaak voor het beperken van de actiegrootte bevestigt.
  • Duale decompositie bleek superieur aan single-potential benaderingen, aangezien het samenvoegen van potentialen leidde tot destructieve gradiëntinterferentie.

Voertuigsimulatie (TruckSim)

High-fidelity simulaties van een elektrisch voertuig met vierwielige aandrijving onder extreme condities (lage adhesie $\mu \in [0.1, 1.0]$, hellingen) valideerden de toepasbaarheid van het framework in veiligheidskritische domeinen:

• Robuustheid van Benadering: Vereenvoudigde energiemodellen met een benaderingsfout van 30% presteerden nog steeds beter dan vanilla SAC wat betreft laterale stabiliteit (reductie van maximale sideslip met 20,4% en yaw rate met 16,4%), wat de "graceful degradation" bevestigt die door Lemma II.7 werd voorspeld.
• Stabiliteit: H-EARS beleidsregels behielden een monotone convergentie van de sideslip-hoek en yaw rate, conform Lyapunov-achtige stabiliteitsprincipes, zelfs onder zware verstoringen waar vanilla SAC faalde.
• Integratie: Het framework kon succesvol worden geïntegreerd met een lower-level Model Predictive Control (MPC) laag om harde restricties af te dwingen, wat een levensvatbaar pad naar industriële implementatie demonstreert.

5. Betekenis en Claims

De paper claimt dat H-EARS een praktisch pad biedt van academisch onderzoek naar industriële implementatie door aan te tonen dat minimale fysica-priors (dominante energietermen) de prestaties van model-vrije RL aanzienlijk kunnen verbeteren zonder dat daarvoor nodig is:

• Expert-niveau afleiding van volledige systeemdynamica.
• Volledige systeemidentificatie.
• Wijzigingen aan de kernstructuren van de RL-algoritmen.

De betekenis ligt in het overbruggen van de kloof tussen de computationele efficiëntie van model-vrije RL en de fysieke consistentie van model-gebaseerde methoden. Door een verenigde theoretische fundering te bieden die convergentie garandeert, fouten in benadering begrenst en stabiliteit waarborgt, adresseert H-EARS de kritieke uitdagingen van modelleringskosten, computationele complexiteit en de generalisatie van beleidsregels in veiligheidgevoelige domeinen. De auteurs benadrukken dat het framework bijzonder effectief is wanneer partiële fysieke kennis beschikbaar is en implementatie-efficiëntie vereist is, waarbij het methoden die onbekende dynamica vanaf nul leren aanvult in plaats van ermee te concurreren.