Memory-Augmented Potential Field Theory: A Framework for Adaptive Control in Non-Convex Domains

Titel: Memory-Augmented Potential Field Theory: Een Kader voor Adaptieve Besturing in Niet-Convexe Domeinen

Auteurs: Dongzhe Zheng en Wenjie Mei
Publicatie: NeurIPS 2025 (voorgesteld)

---

1. Het Probleem

Stochastische optimale besturingsmethoden, zoals Model Predictive Path Integral (MPPI) control, zijn zeer effectief voor niet-lineaire systemen en onzekere omgevingen. Ze gebruiken echter vaak stochastische bemonstering om de waardefunctie te optimaliseren.

• De Kernuitdaging: In complex niet-convexe landschappen (waar de waardefunctie vele lokale optima, plateaus en saddle-points heeft) hebben deze methoden de neiging om vast te komen zitten in lokale optima.
• Gebrek aan Geheugen: Traditionele stochastische controllers werken puur op basis van de huidige toestand en hebben geen mechanisme om te leren van historische trajecten. Als een controller eenmaal in een "val" (lokaal minimum) terechtkomt, heeft hij geen geheugen om deze regio in de toekomst te vermijden of slim te ontsnappen.
• Inefficiëntie: Het simpelweg verhogen van de ruis (noise) om lokale minima te ontvluchten, leidt vaak tot inefficiënte bemonstering of besturingsinstabiliteit.

2. Methodologie: Memory-Augmented Potential Field Theory (MAPFT)

De auteurs introduceren een unificerend wiskundig kader dat "geheugen" integreert in stochastische optimale besturing via dynamische potentievelden.

A. Theoretisch Kader

Het kernidee is het uitbreiden van de standaard waardefunctie $V_{base}(x)$ met een geheugenafhankelijke term $V_{mem}(x, M)$:
$$V(x, M) = \alpha(x, M) \cdot V_{base}(x) + (1 - \alpha(x, M)) \cdot V_{mem}(x, M)$$

• Geheugen ($M$): Een verzameling van topologische kenmerken die tijdens de uitvoering worden gedetecteerd en opgeslagen. Elk kenmerk bevat: positie ($m_i$), invloedsstraal ($r_i$), sterkte ($\gamma_i$), type ($\kappa_i$) en een richtingsvector ($d_i$).
• Kenmerktypen:
  1. Lokale minima: Regio's waar de controller vastloopt.
  2. Laag-gradiënt regio's: Plateaus waar vooruitgang traag is.
  3. Hoog-kromming regio's: Gebieden met smalle doorgangen of saddle-points.
• Potentieveld Constructie: Het geheugen creëert een potentieveld dat fungeert als correctieterm. Bijvoorbeeld, voor lokale minima wordt een afstotend potentieveld gegenereerd dat de controller "wegduwt" uit de val, terwijl voor laag-gradiënt regio's een richtingsgevend veld wordt gebruikt om de controller naar een succesvolle ontsnappingsroute te leiden.
• Adaptieve Weegfactor: De parameter $\alpha(x, M)$ schakelt dynamisch tussen de basisdoelstelling en het geheugenveld, afhankelijk van de afstand tot gedetecteerde problemen.

B. Theoretische Eigenschappen

De auteurs bewijzen drie cruciale eigenschappen:

1. Ontsnappingseigenschap: Met voldoende sterke geheugenkenmerken kan het systeem met hoge waarschijnlijkheid in eindige tijd ontsnappen uit lokale minima.
2. Asymptotische Convergentie: Ondanks de vervorming van het landschap door het geheugen, blijft de convergentie naar het globale optimum gegarandeerd (onder standaard aannames).
3. Leerefficiëntie: De methode is asymptotisch efficiënter dan standaard MPPI, met name naarmate het aantal lokale minima ($K$) toeneemt, omdat het vermijdt om dezelfde vallen herhaaldelijk in te lopen.

C. Implementatie: MA-MPPI

Het kader wordt geïmplementeerd als Memory-Augmented MPPI (MA-MPPI):

• Topologische Detectie: Het systeem analyseert trajecten continu op stagnatie (variatie), gradiëntgrootte en kromming (Hessian-eigenwaarden) om nieuwe kenmerken te detecteren.
• Dynamische Aanpassing: Wanneer een val wordt gedetecteerd, wordt de "temperatuur" (bemonsteringsruis) lokaal verhoogd om de verkenning te stimuleren, terwijl het potentieveld de bemonstering richt naar veilige richtingen.
• Geheugenbeheer: Kenmerken worden samengevoegd (consolidatie) en verzwakt (decay) als ze niet langer relevant zijn, om het geheugen efficiënt te houden.

3. Belangrijkste Bijdragen

1. Unificatie van Geheugen en Besturing: Het is een van de eerste werken dat geheugmechanismen direct integreert in de theoretische basis van stochastische optimale besturing, in plaats van alleen in Reinforcement Learning (RL).
2. Topologisch Leren: Het systeem leert niet alleen "wat" er misging, maar "waar" en "waarom" (topologische structuur), en past de waardefunctie dynamisch aan om deze structuren te omzeilen.
3. Theoretische Garanties: Het biedt wiskundige bewijzen voor ontsnapping uit lokale minima en convergentie naar het globale optimum, wat vaak ontbreekt bij pure heuristische methoden.
4. Geen Offline Training: In tegenstelling tot veel RL-methoden (zoals PPO of SAC) vereist MA-MPPI geen uitgebreide offline training; het leert volledig online tijdens de interactie met de omgeving.

4. Resultaten en Experimenten

De auteurs hebben MA-MPPI getest op robotica-taken (OpenAI Gym/MuJoCo), een elektriciteitsnetwerk-stabiliteitsprobleem en UAV-obstakelontwijking.

• Robotica (Pendulum, BipedalWalker, HalfCheetah, Humanoid):

  • MA-MPPI presteerde significant beter dan standaard MPPI, iLQR, MPC en state-of-the-art RL-methoden (SAC, PPO, DDPG) binnen een vast budget van 2000 interactiestappen.
  • Voorbeeld: Op de complexe Humanoid-v4 taak overtrof MA-MPPI de beste RL-methode (SAC) met 27% in totale beloning.
  • Ontsnappingssucces: MA-MPPI slaagde er in 72,3% van de gevallen om uit vooraf gedefinieerde "val"-toestanden te ontsnappen, vergeleken met slechts 29,4% voor standaard MPPI.
  • Sample Efficiency: Het bereikte 80% van de asymptotische prestatie veel sneller (bijv. 568 stappen vs. 1875 voor SAC in Humanoid-v4).

• Complex Engineering Systemen:

  • Elektriciteitsnetwerk (IEEE 39-bus): MA-MPPI herstelde 51,7% sneller na storingen (zoals generatoruitval) dan standaard MPPI en verlaagde de schending van constraints met bijna 60%.
  • UAV Obstakelontwijking: Succesrate van 94,3% (vs. 72,8% voor MPPI) in nauwe doorgangen en U-vormige obstakels, met een ontsnappingssucces van 87,5%.

• Berekeningskosten: De overhead door het geheugenmechanisme is minimaal (12-18% extra rekentijd), wat aanzienlijk lager is dan de trainingstijd van RL-methoden.

5. Betekenis en Impact

• Oplossing voor "Local Optima": Dit werk biedt een elegante oplossing voor het fundamentele probleem van lokale optima in niet-convexe besturingsproblemen zonder de noodzaak van enorme datasets of offline training.
• Robuustheid in Onbekende Omgevingen: Omdat het systeem online leert en zich aanpast aan de topologie van de specifieke omgeving, is het ideaal voor toepassingen waar de omgeving dynamisch of onbekend is (bijv. reddingsrobotica, autonome voertuigen in chaotische omgevingen).
• Energie-efficiëntie: De gegenereerde trajecten zijn soepeler en minder oscillerend, wat leidt tot minder slijtage en energiebesparing voor fysieke robots.
• Complementair aan RL: Het kader is niet bedoeld om RL te vervangen, maar kan ermee worden gecombineerd. Het biedt een sterke, theoretisch onderbouwde basis voor online adaptatie die de beperkingen van pure RL-methoden (zoals sample inefficiency en het gebrek aan expliciete topologisch bewustzijn) kan aanvullen.

Conclusie:
De paper introduceert een doorbraak in adaptieve besturing door geheugenmechanismen wiskundig te integreren in potentievelden. Dit resulteert in controllers die niet alleen reageren op de huidige toestand, maar actief leren van hun verleden om complexe, niet-convexe landschappen te navigeren, wat leidt tot superieure prestaties in zowel simulatie als complexe engineering-toepassingen.