Learning-Based Robust Control: Unifying Exploration and Distributional Robustness for Reliable Robotics via Free Energy

Dit artikel introduceert een op het vrije-energieprincipe gebaseerd model voor robuuste robotbesturing dat omgeving-dynamica en beloningen gezamenlijk leert om epistemische onzekerheid te overwinnen, waardoor een nauwe sim-naar-real-kloof wordt bereikt en betrouwbare, aanpassingsvrije manipulatie in de echte wereld mogelijk wordt.

De kern

Stel je voor dat je een robot wilt leren om een taak uit te voeren, zoals een blokje van de ene naar de andere kant van een tafel te duwen. Je traint deze robot in een perfecte virtuele wereld (een simulatie). Maar als je de robot daarna in de echte wereld zet, gaat het vaak mis. De echte tafel is misschien een beetje houterig, de robotarm is net iets anders dan in de computer, of er staat een onbekend obstakel in de weg.

Dit is het probleem waar dit onderzoek naar kijkt: Hoe maak je een robot die niet alleen slim leert, maar ook "veilig" en "veerkrachtig" is, zelfs als de werkelijkheid anders is dan wat hij heeft geoefend?

De auteurs van dit paper hebben een oplossing bedacht die ze "Learning-Based Robust Control" noemen. Laten we dit uitleggen met een paar simpele analogieën.

1. Het Probleem: De "Perfecte" Student

Stel je een student voor (de robot) die voor een examen leert in een stil, voorspelbaar lokaal (de simulatie). Hij leert de antwoorden uit zijn hoofd. Maar als hij het examen in een luidruchtig café moet doen, met een andere leraar en een andere stoel, faalt hij. Hij is te star en kan niet omgaan met onverwachte veranderingen.

In de robotwereld noemen we dit de "Sim-to-Real gap". De robot is te afhankelijk van de perfecte regels van de simulatie en kan niet omgaan met de "ruis" van de echte wereld.

2. De Oplossing: De "Paranoïde" Reisgids

De auteurs combineren twee ideeën om dit op te lossen:

• Idee A: MaxDiff (De Avonturier)
  Dit is een methode die robots leert om heel veel te "proberen" en te verkennen. Het is alsof de robot een avonturier is die elke hoek van de kamer onderzoekt. Dit zorgt ervoor dat hij veel ervaring opdoet. Maar deze avonturier is soms te roekeloos; hij weet niet hoe gevaarlijk een situatie echt is.

• Idee B: DR-FREE (De Voorzichtige Verdediger)
  Dit is gebaseerd op een principe uit de hersenwetenschap (het "Free Energy Principle"). Stel je voor dat de robot een paranoïde reisgids is. Hij denkt altijd: "Wat als de weg dicht is? Wat als de brug instort? Wat als de wind harder waait dan verwacht?"
  In plaats van alleen de snelste route te kiezen, berekent hij de route die het beste werkt in het slechtst denkbare scenario. Hij is niet bang om een omweg te maken als dat betekent dat hij zeker weet dat hij aankomt.

3. De Magische Combinatie: De "Slimme Avonturier"

De grote doorbraak in dit paper is dat ze deze twee ideeën samenvoegen. Ze maken een robot die:

1. Verkenner is: Hij leert door veel te proberen (zoals de avonturier).
2. Veilig is: Hij houdt rekening met onzekerheid en berekent zijn acties alsof er een "boze duivel" probeert zijn plan te saboteren (zoals de paranoïde gids).

Ze noemen dit "Distributionally Robust Free Energy". Klinkt ingewikkeld, maar het betekent simpelweg: "Ik kies de actie die het beste werkt, zelfs als mijn kennis van de wereld een beetje fout is."

Hoe werkt het in de praktijk?

De auteurs hebben dit getest met een echte robotarm (een Franka-arm) die blokjes moet verplaatsen.

• De Oefening: Ze trainden de robot in een computerprogramma. De robot leerde hoe de arm beweegt en hoe zware blokjes zijn.
• De Test: Vervolgens zetten ze de robot in de echte wereld. De echte arm was net iets anders dan de computer-robot, en er stonden obstakels op de tafel.
• Het Resultaat:
  • Een standaard robot (die alleen in de simulatie had geleerd) botste vaak tegen de obstakels of viel om.
  • De robot met hun nieuwe methode wist precies wat hij moest doen. Als er een obstakel in de weg was, tilde hij zijn grijper hoog op om eroverheen te gaan. Als de weg vrij was, ging hij rechtstreeks naar het doel.
  • Het allerbelangrijkste: Ze hoefden de robot niet opnieuw te trainen voor de echte wereld. Hij deed het direct ("zero-shot deployment").

Waarom is dit belangrijk?

Vroeger moest je robots maandenlang laten oefenen in de echte wereld om ze veilig te maken. Of je moest ze extreem voorzichtig maken, waardoor ze traag werden.

Met deze nieuwe methode krijgt de robot een veiligheidsnet in zijn hoofd. Hij leert niet alleen wat hij moet doen, maar ook hoe hij moet omgaan met onzekerheid. Het is alsof je iemand niet alleen leert autorijden, maar hem ook leert hoe hij moet rijden als de remmen net iets minder goed werken of als er plotseling een kind op de weg springt.

Kortom: Ze hebben een manier gevonden om robots te maken die niet alleen slim zijn, maar ook verstandig en betrouwbaar in een chaotische, echte wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Learning-Based Robust Control: Unifying Exploration and Distributional Robustness for Reliable Robotics via Free Energy", vertaald en samengevat in het Nederlands.

Probleemstelling

Een van de grootste uitdagingen voor betrouwbare robotbesturing is het ontwikkelen van computationele modellen die niet alleen policies (beleid) kunnen leren, maar ook robustheid kunnen garanderen bij inzet in de echte wereld. Bestaande methoden, zoals leren vanuit simulaties, falen vaak wanneer er kleine afwijkingen optreden tussen de trainingsomgeving en de realiteit (bijv. door contactkrachten, ruis in sensoren/actuatoren, of niet-gemodeleerde dynamica zoals wrijving).

Bestaande benaderingen hebben specifieke tekortkomingen:

• MaxDiff RL (Maximum Diffusion): Leert effectieve policies zonder toegang tot het omgevingsmodel of de beloningsfunctie, maar biedt slechts impliciete robustheid die afhankelijk is van de entropie van de optimale policy. Er zijn geen expliciete garanties voor epistemische onzekerheid.
• DR-FREE (Distributionally Robust Free Energy): Biedt expliciete robustheidsgaranties tegen onzekerheid, maar vereist dat het agent toegang heeft tot een exact dynamisch model en een beloningsfunctie, wat in de praktijk vaak ontbreekt.

Er is dus een behoefte aan een model dat de sterke punten van beide combineert: leren zonder een vooraf bekend model, maar wel met a priori expliciete robustheidsgaranties.

Methodologie

De auteurs stellen een nieuw computationeel model voor dat de Maximum Diffusion (MaxDiff) RL-framework combineert met het Distributionally Robust Free Energy (DR-FREE) principe.

1. Kernconcept: DR-FREE met MaxDiff Prior
Het model minimaliseert de (variational) free energy, wat gelijkstaat aan het minimaliseren van de Kullback-Leibler (KL) divergentie tussen de werkelijke trajectverdeling en een referentieverdeling, gecombineerd met de verwachte kosten.

• Modificatie: In plaats van een statische referentie te gebruiken, kiezen de auteurs ervoor om de state-generatieve kern $q_k$ te definiëren als de maximaal diffusive kern $p_{max}$ uit MaxDiff.
• Mechanisme: $p_{max}$ wordt berekend door de entropie van de dynamica te maximaliseren binnen een "trust region" (bepaald door de KL-divergentie met het getrainde nominale model). Dit injecteert de verkenningseigenschappen van MaxDiff in het robustheidsraamwerk.

2. Omgaan met Onzekerheid (Ambiguity Sets)
Het model definieert een verzameling van mogelijke omgevingsmodellen (ambiguity set) rondom het getrainde model, begrensd door een KL-divergentie-straal $\eta$.

• De policy wordt geoptimaliseerd voor het worst-case scenario binnen deze set (een min-max probleem).
• Dit leidt tot een Gibbs-vormige policy:
  $$\pi^*(u | x) \propto q(u|x) \exp(-c(u) - \eta(x,u) - \tilde{c}(x,u))$$
  Hierbij straalt de "kosten van ambiguïteit" ($\eta + \tilde{c}$) af op acties met hoge onzekerheid, waardoor de robot conservatiever handelt in onzekere situaties.

3. Uitbreiding naar Kostenperturbaties
Een belangrijke technische uitbreiding is het meenemen van onzekerheid in de kostenfunctie (reward perturbations). Door de systeemtoestand te augmenteren met een lopende kostenvariabele, kunnen beperkte verstoringen in de kostenfunctie worden gemodelleerd als extra onzekerheid in de overgangskern. Dit behoudt de wiskundige tractabiliteit (een convex optimalisatieprobleem) en de Gibbs-vorm van de policy.

4. Implementatie
Het algoritme werkt in een cyclus:

1. Data verzamelen in een replay buffer.
2. Getrainde dynamica- en kostenmodellen updaten.
3. De maximaal diffusive kern $p_{max}$ berekenen.
4. Het min-max probleem oplossen (innerlijke maximalisatie voor onzekerheid, buitenste minimalisatie voor de policy).
5. De actie uitvoeren en de cyclus herhalen.

Belangrijkste Bijdragen

1. Unificatie: Het is het eerste model dat gelijktijdig policies leert voor continue controletaken zonder toegang tot het omgevingsmodel of de beloningsfunctie (zoals MaxDiff), maar wel expliciete, a priori robustheidsgaranties biedt (zoals DR-FREE).
2. Theoretische Garantie: Het biedt wiskundige bewijzen dat de policy robuust is tegen zowel dynamische misspecificaties als beperkte perturbaties in de kostenfunctie, binnen een KL-ambiguïteitsset.
3. Zero-Shot Sim-to-Real: Het stelt in staat om een policy te trainen in simulatie en deze direct ("zero-shot") in te zetten op echte hardware zonder verdere fine-tuning.
4. Efficiëntie: Door de innerlijke stap van het robustheidsprobleem te reduceren tot een scalaire convex optimalisatie, blijft het systeem geschikt voor real-time planning.

Resultaten

De methode is getest in drie scenario's en vergeleken met de MaxDiff-baseline:

1. HalfCheetah-v5 (MuJoCo Simulatie):

   • De voorgestelde methode (DR-FREE) liet een stabielere loopdynamiek zien met minder variatie in de training.
   • Bij evaluatie slaagde de nieuwe methode in 18 van de 20 pogingen om het doel te bereiken, terwijl MaxDiff slechts 6 keer slaagde.

2. Franka Obstacle Task (Simulatie):

   • De robot moest een blok verplaatsen rond een verticaal obstakel.
   • Dankzij de ambiguïteitskosten (die hoog zijn bij onzekerheid over contact) nam de robot voorzichtigere zijwaartse aanpassingen voor, wat leidde tot botsingsvrije paden.

3. Franka Research 3 (Echte Robot):

   • Zero-Shot Deploy: Een policy getraind op een gesimuleerde arm (met een ander model dan de echte robot) werd direct ingezet op de echte Franka Research 3 arm.
   • Resultaat: De robot slaagde erin om een pick-and-place taak op een rommelige tafel uit te voeren zonder enige aanpassing.
   • Adaptiviteit: Bij een obstakel op het pad plande de robot autonoom een strategie om het obstakel te omzeilen (door de grijper te tillen), terwijl hij bij een vrij pad de meest directe route koos.

Sensitiviteitsanalyse:
De parameter $\rho$ (die de grootte van de onzekerheidsset schaal) bleek cruciaal. Een te hoge $\rho$ leidde tot te conservatief gedrag (minder responsief op doelen), terwijl een te lage $\rho$ leidde tot botsingen. De standaardinstelling ($\rho=1$) bood de beste balans.

Betekenis en Conclusie

Dit werk is een doorbraak in het veld van robuuste robotbesturing. Het overbrugt de kloof tussen theoretische robustheidsgaranties en praktische leerbaarheid.

• Betrouwbaarheid: Het biedt een manier om robots te certificeren voor inzet in de veldomgeving door expliciete grenzen te stellen aan hoe slecht het model kan zijn voordat de policy faalt.
• Sim-to-Real: Het verkleint de "sim-to-real gap" aanzienlijk, waardoor robots sneller en veiliger kunnen worden ingezet zonder kostbare re-calibratie of fine-tuning in de echte wereld.
• Unificatie van Disciplines: Het paper verbindt succesvol concepten uit computationele neurowetenschap (Free Energy Principle), machine learning (MaxDiff/RL) en controletheorie (Robust MDPs) tot een werkend framework voor fysieke robots.