⚡ electrical engineering

Amortising Trajectory Optimisation for Residual MPC via Implicit Contact Differentiation

Dit artikel introduceert een efficiënte, op de Implicit Function Theorem gebaseerde differentiële simulatiemethode voor contactrijke trajectoptimalisatie die het geheugengebruik drastisch vermindert vergeleken met unrolled automatic differentiation, en combineert deze met optimizer distillation om het succespercentage van residual MPC bij complexe robotische taken aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Daniel Layeghi, Thomas Corbères, Calum Arnott, Aditya Kamireddypalli, Hashim Al-Obaidi, Steve Tonneau, Michael Mistry

Gepubliceerd 2026-07-29

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel Layeghi, Thomas Corbères, Calum Arnott, Aditya Kamireddypalli, Hashim Al-Obaidi, Steve Tonneau, Michael Mistry

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren lopen, jongleren of voetbal te spelen. Hiervoor heeft de robot een "brein" nodig dat de toekomst in zijn hoofd kan simuleren, waarbij het miljoenen verschillende bewegingen uitprobeert om te zien welke het beste werkt. Dit wordt trajectoptimalisatie genoemd. Het lastige deel is contact. Wanneer de voet van een robot de grond raakt, een bal tegen een muur stuitert of een hand een kopje vastpakt, wordt de fysica rommelig en onvoorspelbaar. Het is alsof je probeert te voorspellen hoe een stapel Jenga-blokken precies zal vallen wanneer je er één uittrekt; kleine veranderingen in kracht leiden tot enorme veranderingen in de uitkomst.

Om deze voorspellingen te doen, gebruiken wetenschappers differentieerbare simulatie. Denk aan dit als een superkrachtige videogame-engine die niet alleen het volgende frame laat zien, maar ook precies vertelt hoe de game zou veranderen als je de besturing een klein beetje zou verschuiven. Deze "gevoeligheid voor verschuivingen" stelt de robot in staat om direct van zijn fouten te leren. Er is echter een addertje onder het gras: het berekenen van deze verschuivingen voor taken met veel contact is ongelooflijk kostbaar. Het is alsof je een film probeert op te nemen in slow motion, maar elke keer dat de camera inzoomt op een botsing, de filmrol langer wordt en uiteindelijk je harde schijf vult voordat je de scène zelfs maar hebt voltooid. Dit artikel pakt dit geheugenprobleem aan en laat zien hoe robots complexe contactvaardigheden veel sneller en betrouwbaarder kunnen leren.

Het Probleem: Het "Geheugenmonster" in Robotbreinen

Stel je voor dat je probeert een doolhof op te lossen. De standaardmanier om een robot te leren een doolhof op te lossen, is door hem door het doolhof te laten lopen, tegen een muur te laten botsen, en vervolgens de tape terug te spoelen om precies te zien waar het misging. In de wereld van robotfysica wordt dit "terugspoelen van de tape" unrolled automatic differentiation genoemd.

Het probleem ontstaat wanneer de robot een muur raakt (of een vloer, of een ander object). Om de fysica van die botsing te begrijpen, moet de computer de berekening van die botsing vele malen uitvoeren, zoals een detective die aanwijzingen steeds opnieuw controleert en controleert tot het antwoord perfect is. Als de computer de aanwijzingen 10 keer moet controleren om het goed te krijgen, moet de "terugspoel-tape" het geheugen van al die 10 controles opslaan. Als je wilt dat het antwoord nóg perfecter is, moet je misschien wel 100 controles uitvoeren. Plotseling wordt de geheugentape 100 keer zo lang.

Dit creëert een vreselijke afweging. Als je wilt dat de robot nauwkeurig is (de aanwijzingen 100 keer controleren), kun je slechts een paar robots tegelijk draaien omdat je computer zonder geheugen komt te zitten. Als je duizenden robots tegelijk wilt draaien om sneller te leren, moet je de controles inkorten (misschien slechts 5 keer), wat betekent dat de robot leert van een slordig, onnauwkeurig antwoord. Het is alsof je een dans probeert te leren door alleen de eerste vijf seconden van de video te bekijken; je krijgt misschien de passen mee, maar je mist de cruciale draai aan het einde.

De Oplossing: De "Magische Snapshot"

De auteurs van dit artikel, werkend met de MuJoCo-fysicasimulator (een populaire tool voor robotonderzoek), hebben een slimme manier gevonden om het geheugenmonster te omzeilen. In plaats van de volledige tape van de 100 controles van de detective terug te spoelen, gebruikten ze een wiskundige truc genaamd de Implicit Function Theorem (IFT).

Denk hierover op deze manier: Stel je een detective voor die een mysterie heeft opgelost. In plaats van je de 100 pagina's met aantekeningen te laten zien die hij maakte om daar te komen, overhandigt hij je simpelweg het definitieve dossier van de opgeloste zaak en een "magische snapshot" van de oplossing. Deze snapshot vertelt je precies hoe de oplossing zou veranderen als je één minuscuul detail aanpast, zonder dat je de rommelige aantekeningen hoeft te zien.

In technische termen introduceert het artikel een methode die de stationarity residual differentieert (een chique manier om te zeggen: "het punt waar de wiskunde zegt dat we klaar zijn") in plaats van de stappen die naar dat punt toe zijn genomen.

De Oude Manier (Unrolled AD): Slaat elke stap van de solver op. Als je van 1 stap naar 10 stappen gaat, stijgt je geheugengebruik met een factor 10,6.
De Nieuwe Manier (IFT): Slaat een bijna constante hoeveelheid geheugen op. Zelfs als je de inspanning van de solver verhoogt van 1 stap naar 10 stappen, verandert het geheugengebruik met minder dan 4%.

Dit is een game-changer. Het betekent dat de computer een superprecieze oplossing kan eisen (de aanwijzingen 100 keer controleren) zonder dat het geheugen volloopt. Sterker nog, toen het artikel dit testte met 256 actieve contacten (zoals een robot met veel vingers die een tafel aanraken), gebruikte de nieuwe methode 20 keer minder geheugen dan de oude manier. Met 16 contacten en een complex robotmodel gebruikte het 6 keer minder geheugen.

Het Resultaat: Robots Leren "Wijsheid te Destilleren"

Met deze nieuwe, geheugenefficiënte tool stopten de auteurs niet bij het sneller maken van de wiskunde; ze gebruikten het om robots beter te leren. Ze creëerden een systeem dat ze Optimiser Distillation noemen.

Stel je een meesterkok (de "leraar") voor die uren besteedt aan het perfectioneren van een complex recept. Deze chef is traag maar ongelooflijk nauwkeurig. Dan heb je een sous-chef (de "student" of policy) die snel is, maar begeleiding nodig heeft.

De Leraar: De computer voert een volledige, langdurige optimalisatie uit (zoals de meesterkok die het hele menu plant) om de perfecte reeks bewegingen te vinden. Dit gebeurt in batches, dankzij de nieuwe geheugenbesparende truc.
De Student: De robot leert van deze perfecte sequenties en creëert een "policy" (een reeks instincten) die het algemene plan kent.
De Hybride: Wanneer de robot daadwerkelijk de taak uitvoert, volgt hij niet blindelings de policy. Hij gebruikt de policy voor het grote plaatje (het langetermijnplan), maar voegt een snelle, lokale "residual" correctie toe (een kortetermijn-optimalisator) om plotselinge schokken of slips op te vangen.

Het artikel testte dit op drie verschillende robots:

Finger: Een kleine arm die een tol laat draaien.
age* Franka: Een grote arm die een doos duwt.
Unitree: Een viervoetige hondachtige robot die rent.

De resultaten waren indrukwekkend. Wanneer de planning-horizon (hoe ver de robot vooruit kijkt) kort was (slechts 6 stappen), faalde de standaardmethode (iLQR) vaak. Maar met de nieuwe "gedestilleerde" policy die de robot begeleidde, steeg het succespercentage spectaculair:

Over alle drie de taken (Finger, Franka en Unitree): Het succes nam met 28 tot 98 procentpunten toe vergeleken met standaard iLQR.

Voor de Franka-robot die een doos duwt, slaagde de standaard kortzichtige robot nauwelijks, terwijl de nieuwe hybride robot met minder "lookahead" slaagde, wat bewees dat de policy de langetermijnstrategie leverde terwijl de lokale optimalisator de lastige contactmomenten afhandelde.

Waarom Dit Belangrijk Is

Dit artikel stelt niet alleen een theoretisch idee voor; het biedt een werkende, open-source tool die de regels van het spel verandert. Door te bewijzen dat je hoog-precieze contact-derivaten kunt krijgen zonder de enorme geheugenkosten, hebben de auteurs een belangrijke flessenhals in robotleren weggenomen. Ze hebben laten zien dat je niet hoeft te kiezen tussen "snel maar slordig" en "traag maar precies". Je kunt beide hebben.

De auteurs zijn zelfverzekerd over deze bevindingen, aangezien ze deze hebben gevalideerd tegen standaard numerieke methoden (finite differences) en hebben aangetoond dat hun nieuwe methode de nauwkeurigheid van de oude methoden evenaart terwijl het een fractie van de middelen gebruikt. Ze hebben hun code zelfs openbaar gemaakt, in een uitnodiging aan anderen om snellere, intelligentere en behendigere robots te bouwen die de rommelige, echte fysica van contact kunnen hanteren zonder vast te lopen in een geheugenloop.

Technische Samenvatting: Amortisatie van Trajectoptimalisatie voor Residuele MPC via Impliciete Contactdifferentiatie

Probleemstelling

Differentiabele simulatie is essentieel voor contactrijke trajectoptimalisatie en leren, omdat het de lokale gevoeligheid van taakuitkomsten ten opzichte van controles blootlegt. De schaalbaarheid van deze pijplijn wordt echter gehinderd door de computationele kosten van iteratieve contact-solvers. Bestaande benaderingen kampen met een fundamentele afruil tussen convergentie en parallellisme:

Eindige Differenties (Finite Differences - FD): Duur en gevoelig voor de stapgrootte.
Uitgerolde Automatische Differentiatie (Unrolled Automatic Differentiation - AD): Differentieert de volledige solver-trace. Hoewel accuraat, slaat dit een groeiende computationele trace op voor elke solver-iteratie. Het aanscherpen van de contactoplossing (meer iteraties) verbruikt aanzienlijk meer geheugen, wat de verwerkingscapaciteit van parallelle trajecten beperkt.
KKT-gevoeligheidsafleidingen: Vereisen complexe, solver-specifieke handmatige afleidingen.

De kernuitdaging is dat standaard reverse-mode AD de uitgevoerde solver-trace differentieert in plaats van de geconvergeerde oplossing. Dit creëert een geheugenbottleneck waarbij een grotere inspanning van de solver (om de nauwkeurigheid te verbeteren) de batchcapaciteit direct vermindert, wat efficiënte optimalisatie over de volledige horizon verhindert.

Methodologie

De auteurs stellen een raamwerk voor dat de forward solver ontkoppelt van de backward afgeleide met behulp van de Implicit Function Theorem (IFT).

1. Impliciete Differentiatie via IFT

In plaats van de solver-iteraties uit te rollen, differentieert deze methode de stationariteitsresidue van het geregulariseerde, gladde contactprobleem bij de tolerantie-geconvergeerde oplossing.

Formulering: Het contactprobleem in MuJoCo (MJX) wordt geformuleerd als een geregulariseerd convex optimalisatieprobleem. De oplossing $a^\star$ wordt gedefinieerd als de wortel van de stationariteitsresidue $F(a, \theta) = 0$ , waarbij $\theta$ de systeemparameters vertegenwoordigt (toestand, controles, wrijving, etc.).
Afleiding: Door de IFT toe te passen op de residue $F$ , wordt de afgeleide van de oplossing ten opzichte van de parameters afgeleid als:
$\frac{da^\star}{d\theta} = -F_a^{-1} F_\theta$
waarbij $F_a$ de Jacobiaan van de residue is ten opzichte van de versnelling.
Implementatie: De methode gebruikt jax.lax.custom_root om deze backward pass te implementeren. Dit vereist slechts één getransponeerde lineaire solve en één vector-Jacobiaan product. Cruciaal is dat het de tussenliggende toestanden van de $K$ solver-iteraties die gebruikt worden in de forward pass niet opslaat.
Reikwijdte: De afgeleide is lokaal binnen vaste gladde contactregio's en kan veranderen bij overgangen tussen contactsets of wrijvingsmodi, maar binnen een vast regime levert het exacte gradiënten van de geconvergeerde oplossing.

2. Optimiser Distillatie voor Residuele MPC

Om de schaalbaarheid van de impliciete afgeleide te benutten, introduceren de auteurs een optimiser distillatie pijplijn voor Model Predictive Control (MPC):

Teacher: Een gebatchte, full-horizon iLQR (Iterative Linear Quadratic Regulator) gebruikt de impliciet differentieerbare MJX-dynamica om hoogwaardige, contactrijke trajecten te genereren.
Student Policy: Een neuraal netwerk beleid (policy) wordt getraind om de acties van de full-horizon iLQR-teacher na te bootsen.
Deployment (Hybride Controller): Tijdens runtime gebruikt het systeem een Residuele MPC aanpak:
- Het gedestilleerde beleid levert de long-horizon nominale actie ( $\bar{u}_t$ ).
- Een short-horizon residuele iLQR berekent een lokale correctie ( $r_t$ ) en feedback-gains op basis van het differentieerbare contactmodel.
- De uiteindelijke controle is $u_t = \text{sg}[\pi_\theta(o_t)] + r_t$ , waarbij $\text{sg}$ een stop-gradient operatie is, wat voorkomt dat het beleid tijdens deployment wordt bijgewerkt door de short-horizon optimizer.

Belangrijkste Bijdragen

AD-Assisted Implicit Backward Pass: De auteurs introduceren een backward pass voor de stationariteitsresidue van de MJX-geregulariseerde contact-solve. Deze aanpak laat de forward solver onveranderd, vermijdt handmatig samengestelde KKT-systemen en verwijdert de solver-iteratie-afhankelijke geheugenopslag die vereist is voor unrolled AD.
Validatie en Schaalbaarheid: De methode wordt gevalideerd tegen centrale eindige differenties en unrolled AD. Resultaten tonen aan dat IFT de nauwkeurigheid van unrolled AD evenaart bij een hoog aantal iteraties, terwijl het de tijdelijke geheugenconsumptie aanzienlijk overtreft.
- Geheugenschaalbaarheid: IFT-geheugen blijft bijna constant naarmate de solver-iteraties toenemen (verandering van <4% van 1 naar 10 iteraties), terwijl unrolled AD met 10,6× groeit.
- Contact/Dimensie Schaalbaarheid: IFT gebruikt 20× minder geheugen bij 256 actieve contacten en 6× minder bij 16 contacten met 96 Degrees of Freedom (DoF) vergeleken met unrolled AD.
Policy-Guided Residual MPC: Het artikel demonstreert een distillatiepijplijn waarbij full-horizon geoptimaliseerde acties worden gedestilleerd in een beleid. Dit beleid stuurt een short-horizon residuele iLQR aan, wat succesvolle uitvoering mogelijk maakt op complexe taken waar standaard short-horizon iLQR faalt.

Experimentele Resultaten

Het raamwerk werd geëvalueerd op drie contactrijke taken: Finger (het draaien van een spinner), Franka (het duwen van een doos) en Unitree (quadruped acceleratie).

Trajectoptimalisatie: In gebatchte full-horizon optimalisatie bereikte iLQR met de impliciete afgeleide lagere gemiddelde running costs en nauwere percentielbereiken vergeleken met first-order methoden (Adam) over alle taken.
Distillatie Prestaties:
- De hybride controller (Policy + Short-Horizon Residual iLQR) presteerde aanzienlijk beter dan standaard short-horizon iLQR.
- Bij een planning-horizon van 6 stappen verbeterde de hybride aanpak de succesratio met 28 tot 98 procentpunten ten opzichte van standaard iLQR over de drie taken.
- Franka: Standaard short-horizon iLQR behaalde bijna nul succes, terwijl de hybride controller met aanzienlijk minder lookahead slaagde. Het beleid leverde de long-horizon duwstrategie, terwijl iLQR de lokale contactcorrecties afhandelde.
- Finger & Unitree: Het beleid stelde het systeem in staat om te slagen met kortere lookaheads dan vereist door pure iLQR. In bepaalde regimes (bijv. Finger) presteerde een policy-only controller beter dan zeer korte residuele horizons, omdat de residuele optimizer een reeds correct beleid kon verstoren.

Betekenis en Claims

Het artikel claimt dat de residuele impliciete differentiatie de tolerantie-geconvergeerde MJX contact-afgeleiden praktisch maakt op accelerator-schaal. Door de geheugenbottleneck gerelateerd aan solver-iteraties te verwijderen, maakt de methode het mogelijk om:

Strakkere Convergentie: Solvers kunnen worden uitgevoerd naar hogere precisie zonder de batch-parallellisme op te offeren.
Full-Horizon Supervisie: De mogelijkheid om gebatchte full-horizon iLQR als een online teacher te draaien, wat voorheen onmogelijk was vanwege geheugenbeperkingen.
Effectieve Amortisatie: De resulterende hybride controller bereikt aanzienlijk hogere succesratio's dan standaard iLQR bij korte planning-horizons, waardoor dure taakspecifieke berekeningen effectief worden geamortiseerd over initiële condities en doelen.

De auteurs stellen de implementatie open source beschikbaar, wat een modulair patroon biedt voor differentieerbare contactsimulatie die de forward solver scheidt van de afgeleide zonder dat solver-specifieke analytische afleidingen nodig zijn.