🤖 machine learning

A context-adaptive policy framework for robust and reactive robotic manipulation via uncertainty-aware imitation learning

Dit artikel stelt een context-adaptief beleidskader voor dat taak-geparameterde imitatie-leren integreert met onzekerheid-bewuste Mixture of Experts om robuuste en reactieve robotische manipulatiestrategieën te genereren die in staat zijn zich aan te passen aan veranderende omgevingscondities.

Oorspronkelijke auteurs: Tim R. Winter, Leonard Klüpfel, Ashok M. Sundaram, Werner Friedl, Maximo A. Roa, Freek Stulp, João Silvério

Gepubliceerd 2026-07-29

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tim R. Winter, Leonard Klüpfel, Ashok M. Sundaram, Werner Friedl, Maximo A. Roa, Freek Stulp, João Silvério

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om een delicate soufflé te bakken of een natte handdoek op te vouwen. Je kunt het niet simpelweg een rigide reeks instructies geven zoals "beweeg arm naar links, dan naar beneden", want de wereld is rommelig. Als de handdoek wegglijdt, of de soufflé wankelt, zal een robot die een strikt script volgt falen of dingen kapotmaken. Dit is de kern van robotische manipulatie: machines laten bewegen op een vloeiende en veilige manier in een wereld die voortdurend verandert. Jarenlang hebben wetenschappers geprobeerd dit op te lossen met behulp van Imitation Learning (imitatie-leren), een methode waarbij robots leren door naar mensen te kijken, net zoals een kind leert fietsen door een ouder te kopiëren. Echter, de meeste van deze robots zijn als studenten die alleen het exacte pad dat ze zagen uit het hoofd leren; als je ze een klein beetje uit koers duwt, raken ze in paniek en crashen ze. Ze missen het "gezond verstand" om te beseffen: "Hé, ik ben in een vreemde positie; ik moet waarschijnlijk extra voorzichtig zijn."

De grote vraag in dit vakgebied is: Hoe leren we een robot om zowel reactief (in staat om direct van gedachten te veranderen wanneer de wereld verandert) als robuust (in staat om fouten op te vangen zonder te crashen) te zijn, vooral wanneer de taak te maken heeft met lastige zaken zoals zacht voedsel of variërende krachten? Dit artikel pakt dat probleem aan door een nieuw soort "brein" voor robots te bous. In plaats van te vertrouwen op een enkele, rigide set regels, stelt de auteur een systeem voor dat werkt als een team van experts, waarbij elke expert een beetje weet van de situatie, en zij stemmen over wat de volgende stap is. Cruciaal is dat dit team weet wanneer het in de war is en om hulp kan vragen, waardoor de robot veilig blijft, zelfs wanneer hij iets tegenkomt dat hij nog nooit eerder heeft gezien.

Het "Team van Experts" van de Robot

Maak kennis met het nieuwe robotbrein voorgesteld door Tim Winter en zijn team bij het Duitse Aerospace Center (DLR). Denk aan een robot die probeert een stuk vis uit een tray te pakken. Als de vis glad is, of als de hand van de robot het onder een vreemde hoek vasthoudt, verandert de taak onmiddellijk. Ouderwetse robots zouden gewoon blijven proberen te bewegen op exact dezelfde manier als ze geleerd zijn, zelfs als dat tot een botsing leidt. Dit nieuwe framework gebruikt echter een slimme truc genaamd een Mixture of Experts (MoE).

Stel je voor dat je een auto rijdt in dichte mist. Je hebt drie verschillende "bijrijders" in je hoofd:

De Imitator: Deze bijrijder heeft je op een zonnige dag perfect zien rijden en zegt: "Doe precies wat ik je zag doen!"
De Veiligheidsnet: Deze bijrijder is een zenuwpees. Hij kijkt op de kaart en zegt: "Wacht, we zijn ver verwijderd van de weg die we kennen! Laten we terugsturen naar het vertrouwde pad zodat we niet verdwalen."
De Doelbereiker: Deze bijrijder is gefocust op de finishlijn. Hij zegt: "We zijn dicht bij de bestemming; laten we de auto voorzichtig naar een soepele stop leiden, precies daar."

In het verleden hadden robots meestal alleen de eerste bijrijder (De Imitator). Als de robot verdwaalde, bleef de Imitator maar gokken, wat vaak leidde tot wilde, gevaarlijke bewegingen. Dit artikel introduceert een systeem waarbij deze drie bijrijders samenwerken. Ze roepen niet alleen over elkaar heen; ze mengen hun advies op basis van hoe zelfverzekerd ze zijn.

Hoe de "Zelfverzekerdheidsmeter" werkt

Het geheime ingrediënt hier is Onzekerheidsbewustzijn. De robot gebruikt een wiskundig instrument genaamd Gaussian Process Regression (GPR) om te fungeren als een "zelfverzekerdheidsmeter". Denk aan dit als een hittekaart van de kennis van de robot.

Hot spots (Lage onzekerheid): Gebieden waar de robot veel demonstraties heeft gezien. Hier is de "Imitator" zeer zelfverzekerd en neemt de leiding.
Cold spots (Hoge onzekerheid): Gebieden waar de robot nog nooit is geweest. Hier is de "Imitator" in de war. Het systeem detecteert deze verwarring en draagt het stuur automatisch over aan de "Veiligheidsnet", die de robot voorzichtig terugstuurt naar de veilige, vertrouwde paden die hij kent.

Dit is een enorme verschuiving. In plaats van alleen een pad te onthouden, begrijpt de robot waar hij zich bevindt in zijn kennis. Als hij een stap in het onbekende zet, raakt hij niet in paniek; hij weet instinctief dat hij voorzichtig moet zijn en terug moet keren naar bekend terrein.

De "Context"-twist: Luisteren naar de wereld

Wat dit framework echt bijzonder maakt, is dat het luistert naar de context. De meeste robots kijken alleen naar hun eigen lichaam (waar hun arm zich bevindt). Maar deze robot kijkt ook naar de wereld om zich heen.

Kracht: Als je een kwetsbaar ei vastpakt, voelt de robot de druk. Als het ei zacht is, weet de robot dat hij zachter moet zijn.
Vorm: Als de robot een lang, slap stuk vis vasthoudt, weet hij dat de vis anders kan bungelen dan een stijf blok.
Fase: Is de robot net begonnen met grijpen, of is hij bijna klaar met plaatsen?

De auteurs testten dit door een echte robotarm (een 7-DoF KUKA LWR) drie lastige taken te leren:

Force-Conditioned Grasping: Een bal oppakken waarbij de robot zijn grip moest aanpassen op basis van hoe hard hij kneep.
Deformable Food: Een zacht visfilet op een tray leggen. Afhankelijk van hoe de vis werd vastgehouden (hangend aan de linker- of rechterkant), moest de robot zijn aanpak veranderen.
Object-Centric Grasping: Verschillende objecten (zoals een mosterdflesje of een crackerdoos) oppakken van een bewegende lopende band.

De Resultaten: Slimmer, Veiliger en Sneller

De resultaten waren indrukwekkend. Toen de onderzoekers hun nieuwe "Team van Experts" testten tegenover oudere methoden, was het verschil als dag en nacht.

Oude methoden: Wanneer de robot vanuit een iets andere positie begon dan tijdens de training, faalden de oude "Imitator-alleen" robots bijna 100% van de tijd. Ze weken af van het pad, botsten tegen dingen op, of draaiden maar eindeloos rondjes. In één test met een bewegende lopende band veroorzaakten de oude methoden 39 botsingen en slaagden ze er niet in de taak te voltooien.
Het Nieuwe Framework: Het nieuwe systeem behaalde een succespercentage van 100% in gesimuleerde handschrifttests en bijna 100% in real-world grijptaken. Cruciaal was dat er nul botsingen waren in de experimenten met kracht-grijpen en vervormbaar voedsel.

Het artikel laat zien dat door het toevoegen van de "Veiligheidsnet" en "Doelbereiker" bijrijders, de robot ongelooflijk veerkrachtig wordt. Zelfs als de robot uit koers wordt geduwd of het object onverwacht beweegt, detecteert het systeem de onzekerheid, wisselt van strategie en stuurt de robot terug naar een veilig, succesvol pad.

Waarom dit ertoe doet

Dit gaat niet alleen over robots die betere letters kunnen schrijven (hoewel ze dat ook deden, met 100% succes op de LASA-handschriftdataset). Het gaat over het maken van robots die daadwerkelijk kunnen werken in onze rommelige, onvoorspelbare huizen en fabrieken. Of het nu een robotchef is die een gladde tomaat hanteert of een fabrieksarm die onderdelen assembleert op een snel bewegende band: het vermogen om zich aan te passen aan veranderende omstandigheden zonder te crashen is de heilige graal van de robotica.

De auteurs suggereren dat deze aanpak robots in staat stelt om te leren van zeer weinig voorbeelden (slechts een handvol demonstraties), terwijl ze nog steeds veilig genoeg zijn om in de echte wereld te opereren. Ze geven toe dat het systeem nog niet perfect is; als de robot te ver van wat hij kent afwijkt, kan hij nog steeds moeite hebben, en hij heeft hulp nodig bij het vermijden van obstakels in complexe omgevingen. Maar voor nu hebben ze een robotbrein gebouwd dat weet wanneer het zelfverzekerd is en wanneer het voorzichtig moet zijn, waardoor een rigide machine verandert in een reactieve, aanpasbare partner.

Technische Samenvatting: Context-Adaptief Beleidsframework voor Robuuste en Reactieve Robotische Manipulatie

Probleemstelling

Het genereren van robuuste en reactieve manipulatiestrategieën die kunnen adapteren aan veranderende contextinformatie blijft een significante uitdaging in de robotica. Hoewel Learning from Demonstration (LfD) een effectieve oplossing is geworden voor het genereren van reactieve beleid (policies), met name via Dynamical Systems (DS)-gebaseerde benaderingen, kampen de meest geavanceerde methoden vaak met een trade-off. De meeste DS-gebaseerde benaderingen richten zich op het aanpakken van beperkingen in robuustheid, maar verwaarlozen de modulatie van beleid als reactie op de omgevingscontext. Hierdoor zijn ze vaak inflexibel wat betreft parametrisatie door taakafhankelijke variabelen (bijv. contactkrachten, objectvormbeschrijvingen) en hebben ze moeite met Out-of-Distribution (OOD) generalisatie, wat leidt tot onvoorspelbaar gedrag of trajectafwijkingen wanneer ze worden geconfronteerd met verstoringen of ongeziene beginsituaties.

Methodologie

De auteurs stellen een context-adaptief beleidsframework voor dat taak-geparameteriseerde, robuuste en reactieve manipulatie combineert met behulp van een Mixture of Experts (MoE) formulering. Het framework werkt binnen een tweelagige regelkring: een binnenste lus handelt de lage-niveau robotdynamica af, terwijl een buitenste lus een context-adaptief beleid aanroept om gewenste end-effector snelheden te genereren.

De kern van de aanpak is een MoE die drie verschillende, door Gaussische verdelingen gekenmerde expert-beleidjes synthetiseert, gewogen door dynamisch berekende mengcoëfficiënten:

LfD Policy (Data-gedreven Expert):
- Basis: Gaussian Process Regression (GPR) wordt gebruikt om een beleid te leren dat geconditioneerd is op de robottoestand (positie en oriëntatie) en laag-dimensionale, taafafhankelijke parameters ( $\mathbf{c}$ ).
- Functie: Imiteert gedemonstreerde bewegingen.
- Beperking: Puur data-gedreven beleid vertoont vaak valse attractoren en faalt in het generaliseren buiten de trainingsdistributie.
Stabilizing Policy (Onzekerheid-bewuste Expert):
- Mechanisme: Maakt gebruik van de gesloten vorm van de epistemische onzekerheid (predictieve variantie) die door GPR wordt geleverd.
- Functie: Stuurt de robot naar regio's met een lage epistemische onzekerheid (d.w.z. nabij gedemonstreerde trajecten) door acties te genereren langs de gradiënt van de predictieve variantie.
- Innovatie: In tegenstelling tot eerder werk incorporeert deze policy expliciet oriëntatie in de toestandsruimte en gebruikt een gecombineerde kernel voor positie en oriëntatie om de robot simultaan in zowel translatie als rotatie te sturen.
Goal Attractor Policy (Convergentie Expert):
- Mechanisme: Een kernel-gebaseerd beleid dat de gedemonstreerde doelpose identificeert met de hoogste kernel-activatie relatief aan de huidige toestand.
- Functie: Stuurt de robot naar het doel door de gradiënt van de kernel-activatie te volgen, wat empirische convergentie naar de doeltoestand garandeert, iets wat GPR alleen niet garandeert.

Mengcoëfficiënten:
Het framework maakt gebruik van toestand-afhankelijke mengcoëfficiënten ( $\pi$ ) in plaats van constante gewichten:

$\pi_{gap}$ (Goal Attractor): Neemt toe naarmate de robot de doelpose nadert.
$\pi_{sp}$ (Stabilizing): Neemt toe bij predictieve onzekerheid (afstand van de data), maar wordt verminderd nabij het doel om de attractor te prioriteren.
$\pi_{lfd}$ (LfD): Activeert vloeiend nabij demonstraties waar de onzekerheid laag is en het doel ver weg is.

De uiteindelijke controleactie is de gewogen som van de gemiddelden van deze drie experts.

Belangrijkste Bijdragen

Het artikel identificeert drie primaire bijdragen:

Expliciete Integratie van Taakparameters: In tegen tegenstelling tot eerdere werken die alleen de robottoestand overwegen, incorporeert dit framework expliciet generieke laag-dimensionale taafafhankelijke parameters (bijv. contactkrachten, objectvormbeschrijvingen, fasevariabelen) in het geleerde beleid, wat adaptatie aan omgevingsveranderingen mogelijk maakt.
Onzekerheid-bewuste MoE Formulering: Het probleem wordt geformuleerd als een MoE met variërende, onzekerheid-bewuste mengcoëfficiënten. Dit contrasteert met eerdere benaderingen die constante coëfficiënten veronderstellen, waardoor het systeem dynamisch kan prioriteren tussen veiligheid (stabiliserende policy) of convergentie (goal attractor) op basis van de huidige toestand-onzekerheid en nabijheid van het doel.
Verbeterde Stabilizing en Convergentie Policies: De auteurs breiden bestaande stabiliserende policies uit door oriëntatie als onderdeel van de toestand op te nemen en introduceren een nieuwe kernel-gebaseerde goal attractor policy. Experimentele resultaten tonen aan dat beide uitbreidingen noodzakelijk zijn om de robuustheid te vergroten en convergentie te waarborgen.

Experimentele Resultaten

Het framework werd geëvalueerd op de LASA handwriting dataset en drie real-world scenario's met behulp van een 7-DoF KUKA LWR robot:

LASA Handwriting Dataset:
- Het voorgestelde framework bereikte een succespercentage van 100% bij het reproduceren van trajecten vanuit willekeurige beginsituaties, waarbij het de standalone GPR, Diffusion Policies en SEDS (Stable Elastic Dynamical Systems) overtrof in termen van convergentiesnelheid en trajectgetrouwheid.
- Het demonstreerde superieure OOD-robuustheid vergeleken met baselines, die vaak faalden of afdriften.
Force-Conditioned Grasping:
- De robot slaagde erin een bol vast te pakken en te transporteren terwijl hij reageerde op variërende contactkrachten.
- Het systeem demonstreerde reactiviteit door een object dat handmatig was laten vallen, opnieuw te grijpen en de traject aan te passen op basis van de veranderende krachtparameters.
- Resultaat: 100% succespercentage met 0 botsingen, terwijl het verwijderen van ofwel de stabiliserende of de goal attractor policy leidde tot significante fouten of botsingen.
Manipulatie van Deformeerbare Voedselproducten:
- De robot adapteerde de legstrategieën voor een visfilet op basis van de grijpconfiguratie (vastgesteld via bounding box overlap).
- Resultaat: 95% succespercentage met 0 botsingen, waarbij het succesvol de om met de vorm van het object in de grijper omging.
Object-Centric Grasping (Systeemextensie):
- Het framework werd uitgebreid om drie verschillende YCB-objecten te grijpen van een statische en bewegende lopende band.
- Het systeem handelde variaties in objectpose, robot startpose en snelheid van de lopende band (tot 0,03 m/s) af.
- Resultaat: Hoge succespercentages (tot 100%) onder dynamische condities, wat het vermogen aantoont om beleid te wisselen op basis van de taakfasen (grijpen, leggen, rusten).

Ablatiestudies:

Het verwijderen van de oriëntatiecomponent uit de stabiliserende policy zorgde ervoor dat de robot faalde in het herstellen van out-of-distribution oriëntaties.
Het verwijderen van ofwel de stabilizing of de goal attractor policy resulteerde ofwel in afdrift van de demonstraties of in het niet kunnen convergeren naar het doel.

Betekenis en Claims

De auteurs claimen dat dit werk een gat in de literatuur opvult door een verenigde aanpak te bieden die real-time adaptatie, OOD-robuustheid en modulatie door willekeurige externe parameters combineert.

Robuustheid: Het framework behoudt robuuste prestaties, zelfs wanneer het wordt geconfronteerd met verstoringen, verschillende beginsituaties of distributieverschuivingen, waarbij hoge succespercentages met nul botsingen worden behaald in real-world taken.
Data-efficiëntie: Door gebruik te maken van GPR en de MoE-structuur, vereist de aanpak minder demonstraties dan diffusion-gebaseerde methoden, terwijl het vergelijkbare of superieure prestaties levert in low-data regimes.
Reactiviteit: De DS-gebaseerde formulering stelt de robot in staat om in real-time te reageren op veranderende contextinformatie (bijv. veranderingen in kracht, vervorming van objecten) zonder herplanning.
Modulariteit: De modulaire MoE-structuur maakt het mogelijk om policies ad-hoc toe te voegen of te verwijderen, wat de verklaarbaarheid en interpreteerbaarheid bevordert.

Het artikel concludeert dat hoewel de methode specifelijk is ontworpen voor laag-dimensionale, kleine-data scenario's, het een praktische en effectieve oplossing biedt voor reactieve objectmanipulatie, inclusief zachte en vervormbare objecten, zonder dat complexe feedforward planning nodig is. Toekomstig werk wordt gesuggereerd om alternatieve LfD-representaties (bijv. diffusion policies) te verkennen die hogere-dimensionale inputs kunnen verwerken terwijl ze gebruikmaken van het voorgestelde framework voor robuustheid.