Differentiable Invariant Sets for Hybrid Limit Cycles with Application to Legged Robots

Dit artikel presenteert een differentieerbare methode om een voorwaarts-invariante set rondom een hybride limietcyclus te berekenen voor een bipedale robot, waarmee de robuustheid van het systeem wordt geverifieerd en een trackingcontroller wordt ontworpen die de grootte van deze set maximaliseert.

De kern

Stel je voor dat je een robot bouwt die op twee benen loopt, net als een mens. Dit is een heel lastig klusje. De robot moet constant balanceren, zijn benen zwaaien en telkens als hij met zijn voet de grond raakt, moet hij een kleine "schok" opvangen en zijn balans direct aanpassen. In de wereld van de robotica noemen we dit een hybride systeem: het heeft een vloeiende beweging (lopen) en plotselinge sprongen (de voet raakt de grond).

De grote vraag voor de ingenieurs is: Hoeveel ruimte hebben we om de robot te laten wankelen voordat hij valt?

Als de robot een beetje uit zijn evenwicht wordt geduwd (bijvoorbeeld door een duw of een oneffen grond), kan hij zichzelf herstellen. Maar als hij te ver wordt weggeduwd, valt hij. De "veilige zone" waarin hij zichzelf kan herstellen, noemen we in dit paper een invariant set (een onveranderlijke veilige zone).

Hier is wat de auteurs van dit paper hebben gedaan, vertaald naar simpele taal:

1. Het Probleem: De "Veilige Zone" berekenen is moeilijk

Vroeger was het heel moeilijk om deze veilige zone te berekenen voor zulke complexe robots. De oude methoden waren als het proberen om een heel groot, ingewikkeld labyrint te tekenen met een potlood dat maar heel langzaam werkt. Voor simpele robots werkte het, maar voor echte, complexe robots (zoals die met knieën en spieren) duurde het dagen of weken, of het was gewoon te ingewikkeld om te doen.

2. De Oplossing: Een "Zwevende Veiligheidsbel"

De auteurs hebben een nieuwe manier bedacht om deze veilige zone te vinden. In plaats van een labyrint te tekenen, gebruiken ze een zwevende veiligheidsbel (in het paper een "normotope" of ellipsoïde genoemd).

Stel je voor dat je de robot in een grote, flexibele, doorzichtige ballon stopt.

• De robot loopt in het midden van de ballon.
• De wanden van de ballon zijn de grenzen van de veiligheid.
• Als de robot tegen de wand van de ballon duwt, moet hij er nog steeds in kunnen blijven zonder te breken.

De kern van hun methode is het voorspellen van hoe deze ballon zich gedraagt terwijl de robot loopt en springt. Ze gebruiken een slim wiskundig trucje (genaamd "parametrische embedding") om te berekenen hoe de ballon vervormt, rekt en krimpt tijdens de loopcyclus.

3. De Drie Stappen van hun Methode

Hun aanpak werkt in drie simpele fasen:

1. De Voorspelling (De Bel laat zien): Ze laten zien hoe de ballon zich gedraagt terwijl de robot loopt (de continue beweging). Ze gebruiken een computerprogramma dat heel snel rekent (met behulp van AI-technieken die ook in zelflerende systemen worden gebruikt) om te zien hoe groot de ballon moet zijn om de robot veilig te houden.
2. De Klap (De Grond raken): Als de robot met zijn voet de grond raakt, gebeurt er iets plotseling (een reset). De ballon wordt dan "geknepen" of veranderd. De auteurs kijken precies naar het moment van impact en berekenen of de ballon na die klap nog steeds binnen de veilige grenzen past.
3. De Check (Is het veilig?): Als de ballon na één volledige stap (lopen + klap) nog steeds binnen de oorspronkelijke veilige zone past, dan is het bewezen: de robot kan oneindig blijven lopen, zelfs als hij een beetje wankelt.

4. Het Geniale Trucje: De "Slimme Bal"

Het meest bijzondere aan dit paper is dat hun methode leerzaam is.
Stel je voor dat je de robot een beetje helpt om te lopen (een controller). De auteurs kunnen hun berekening gebruiken om te zeggen: "Als we de robot op deze manier helpen, wordt de veilige ballon 4 keer zo groot!"

Ze gebruiken dit om een optimale controller te ontwerpen. Het is alsof ze een robottrainer zijn die probeert de beste manier te vinden om de robot te helpen, zodat hij niet alleen niet valt, maar ook heel veel ruimte heeft om te struikelen zonder te vallen.

5. Waarom is dit belangrijk?

• Snelheid: Waar andere methoden uren of dagen nodig hadden, doet dit systeem het in seconden.
• Veiligheid: Het geeft een wiskundig bewijs dat de robot veilig is, niet alleen een gok.
• Toekomst: Het maakt het mogelijk om veel complexere robots (zoals mensachtige robots die over obstakels lopen) veilig te maken, omdat de berekeningen snel genoeg zijn om in real-time gebruikt te worden.

Kortom:
De auteurs hebben een manier bedacht om een "onzichtbare veiligheidsbel" om een lopende robot te tekenen. Ze kunnen precies berekenen hoe groot die bel moet zijn en hoe de robot moet bewegen om die bel zo groot mogelijk te maken. Hierdoor kunnen we robots bouwen die niet alleen lopen, maar ook heel goed kunnen omgaan met struikelen en oneffen terrein, zonder dat we bang hoeven te zijn dat ze vallen.

Technische samenvatting

Probleemstelling

Het analyseren van de robuustheid van niet-lineaire dynamische systemen vereist vaak het identificeren van invariante sets (zoals gebieden van attractie, RoA) rondom een limietcyclus. Voor hybride systemen (systemen met zowel continue dynamiek als discrete schakelingen, zoals botsingen bij looprobots) is dit echter bijzonder uitdagend. Bestaande methoden, zoals Sum-of-Squares (SoS) programmering of Hamilton-Jacobi (HJ) reachability-analyse, lijden onder de "vloek van de dimensionaliteit". Ze zijn computationeel zeer intensief en schalen slecht naar systemen met meer dan tien toestandsvariabelen, wat hen ongeschikt maakt voor complexe, real-world modellen zoals benenrobots.

De kernuitdaging is het snel en nauwkeurig berekenen van een voorwaarts invariante set rondom een nominale trajectorie in een hybride systeem, waarbij rekening moet worden gehouden met discontinuïteiten (reset-maps) en het behoud van de invariance-eigenschap over de schakeloppervlakken (guards) heen.

Methodologie

De auteurs stellen een nieuwe aanpak voor die voortbouwt op parametrische reachability-analyse en intervalanalyse, geïmplementeerd in de bibliotheek immrax (gebaseerd op JAX). De methode bestaat uit drie hoofdstappen om een voorwaarts invariante set te verifiëren en te optimaliseren:

1. Parametrische Overbenadering (Continuous Flow):
   In plaats van exacte oplossingen te zoeken, wordt de bereikbare set rondom een nominale continue stroom overbenaderd met behulp van normotopen (in dit geval ellipsoïden). Dit wordt gedaan via een lineaire differentiaalopsluiting (Linear Differential Inclusion - LDI). Een parametrisch inbeddingssysteem (embedding system) wordt gesimuleerd dat de nominale stroom, een vormmatrix ($\alpha$) en een offset ($y$) bijwerkt. Dit garandeert dat alle trajecten binnen de initiële set binnen de berekende "buis" (tube) blijven tijdens de continue fase.

2. Catalogus van Intersecties met het Guard-oppervlak:
   Wanneer de berekende buis het schakeloppervlak (guard surface, waar botsingen plaatsvinden) raakt, wordt de intersectie berekend. Voor $\ell_2$-normotopen (ellipsoïden) en lineaire guard-oppervlakken, kan deze intersectie exact worden weergegeven als een $(n-1)$-dimensionale ellipsoïde in een geprojecteerde basis.

3. Toepassing van de Reset Map en Invariance-verificatie:
   De geïntersecteerde set wordt door de reset map (de discrete sprong na een botsing) gevoerd. De auteurs leiden een theoretische voorwaarde af (Theorema 1 en 2): als de bereikbare set na één volledige cyclus (continue flow + reset) een strikte deelverzameling is van de initiële set, dan is de set voorwaarts invariant.

   • Specifiek wordt een "gain" ($\gamma$) berekend die de uitbreiding van de set na de reset kwantificeert. Als $\gamma \leq 1$, is invariance bewezen.

Differentieerbaarheid en Optimalisatie:
Een cruciaal aspect van deze methode is dat de hele berekeningsketen (van simulatie tot het berekenen van $\gamma$) differentieerbaar is dankzij JAX. Dit stelt de auteurs in staat om een twee-niveau optimalisatie (bi-level optimization) uit te voeren:

• Ze optimaliseren de regelaar (tracking controller) en de initiële vorm van de set om de grootte van de invariante set te maximaliseren.
• Dit wordt gedaan via gradiëntafstijging, waarbij de gradiënt van de invariance-conditie direct wordt berekend.

Belangrijkste Bijdragen

1. Theoretische Uitbreiding: De auteurs breiden de theorie van parametrische reachability uit naar hybride systemen en leiden strikte voorwaarden af waaronder een parametrisch bereikbare set voorwaarts invariant is voor een hybride periodieke baan.
2. Efficiënte Verificatieprocedure: Ze introduceren een procedure gebaseerd op intervalanalyse om de voorwaartse invariance van een gegeven set efficiënt te verifiëren, inclusief de behandeling van niet-lineaire reset-maps via lineaire opsluitingen.
3. Toepassing op Regelontwerp: Ze demonstreren de methode op een vereenvoudigd planair bipedale wandelaar-model. Ze tonen aan hoe de differentieerbaarheid van het framework kan worden gebruikt om een tracking-controller te ontwerpen die de grootte van de invariante set significant vergroot.

Resultaten

De methode werd getest op een planair bipedale wandelaar (een model geïnspireerd op de compass-gait walker, maar met een telescopisch been).

• Validatie: Een Monte Carlo-simulatie met 100 trajecten bevestigde dat alle trajecten binnen de berekende invariante buis bleven, zelfs na 15 schakelingen.
• Controller Ontwerp: Door gebruik te maken van de differentieerbare framework en een tweelagen-optimalisatie, werd een tracking-controller ontworpen die de grootte van de invariante set met een factor 4,25 vergrootte in vergelijking met een systeem zonder continue tracking-regeling.
• Computationele Efficiëntie: Het berekenen van de bereikbare set voor dit 4-dimensionale systeem duurde slechts 19,56 seconden (waarvan 4,55s voor JIT-compilatie).
  • Ter vergelijking: SoS-programmering (Manchester, 2011) nam 17,7 minuten voor een vergelijkbaar probleem.
  • Hamilton-Jacobi benaderingen (Choi et al., 2022) namen ongeveer 36 uur.
    Dit toont aan dat de methode aanzienlijk sneller is en beter schaalbaar is.

Betekenis en Toekomstperspectief

Dit werk biedt een schaalbaar alternatief voor traditionele methoden om de robuustheid van hybride systemen (zoals looprobots) te analyseren. De belangrijkste doorbraak is de combinatie van snelheid (door intervalanalyse en JAX) en differentieerbaarheid. Dit maakt het mogelijk om reachability-analyse direct te integreren in het ontwerpproces van regelaars, in plaats van het alleen als een post-hoc validatiestap te gebruiken.

Hoewel de huidige methode beperkingen heeft (zoals de vereiste dat het guard-oppervlak lineair moet zijn in de gekozen coördinaten en de inherente conservatisme van intervalbenaderingen), opent het de weg naar het analyseren van veel complexere, hoog-dimensionale systemen in de toekomst. De auteurs plannen om de methode uit te breiden naar complexere modellen en conservatisme te verminderen door verfijnde inbeddingssystemen.