💻 computer science

Decompose and Reorganize: Planning with Primitives and Visuomotor Policies Learned from Demonstrations

Het artikel stelt DR-LfD voor, een framework dat visuomotorische policies integreert met task and motion planning (TAMP) door demonstraties te deconstrueren in atomaire vaardigheden, waardoor robuuste, data-efficiënte robotmanipulatie over lange tijdlijnen mogelijk wordt die de broosheid van traditionele planning en de generalisatiebeperkingen van pure imitation learning overwint.

Oorspronkelijke auteurs: Yizhou Chen, Hang Xu, Dongjie Yu, Yupu Lu, Tengye Xu, Zeqing Zhang, Wei Zhang, Yi Ren, Ben M. Chen, Jia Pan

Gepubliceerd 2026-07-29

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yizhou Chen, Hang Xu, Dongjie Yu, Yupu Lu, Tengye Xu, Zeqing Zhang, Wei Zhang, Yi Ren, Ben M. Chen, Jia Pan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een complexe tovertruc uit te voeren, zoals jongleren terwijl hij over een koord loopt. Lange tijd hebben wetenschappers geprobeerd robots op twee hoofdwegen te onderwijzen. De eerste manier is als het geven van een strikt, stap-voor-stap recept aan de robot. Dit is geweldig voor logica, maar als de robot een lepel laat vallen of de tafel een klein beetje verschuift, breekt het recept en bevriest de robot. De tweede manier is als het laten zien van een video aan de robot waarin een mens de truc uitvoert, in de hoop dat de robot leert door te kijken. Dit is geweldig voor het kopiëren van bewegingen, maar als de robot de lepel op een net iets andere plek ziet staan dan in de video, raakt de robot in de war en faalt hij. De grote vraag in de robotica is: hoe krijgen we het beste van beide werelden? Hoe maken we een robot die slim genoeg is om vooruit te plannen, maar flexibel genoeg om om te gaan met de rommeligheid van de echte wereld, zonder dat hij miljoenen video's hoeft te bekijken om elke mogelijkheid te leren?

Dit artikel introduceert een nieuw systeem genaamd DR-LfD (Decomposed and Reorganized Skills Learned from Demonstrations) dat probeert dit puzzelstukje op te lossen. Denk aan een meesterkok die niet alleen één groot recept voor een zevengangenmenu uit het hoofd leert. In plaats daarvan breekt de kok de maaltijd af in kleine, perfecte "vaardigheden" zoals het snijden van een ui, het aanbraden van een biefstuk of het kloppen van eieren. De kok oefent elke van deze kleine vaardigheden een paar keer totdat ze perfect zijn. Wanneer een klant vervolgens een nieuwe, vreemde gerecht bestelt, raakt de kok niet in paniek. Hij kijkt simpelweg naar de bestelling, kiest de juiste, vooraf geoefende vaardigheden uit zijn mentale lijst en rangschikt ze in een nieuwe volgorde om de nieuwe maaltijd te bereiden.

Het artikel suggereert dat door lange, complexe taken af te breken in deze kleine, herbruikbare "vaardigheden", een robot veel sneller kan leren en veel beter met nieuwe situaties kan omgaan. In plaats van dat de robot elke mogelijke combinatie van een taak met 20 stappen moet leren (wat eeuwig zou duren), hoeft de robot de 20 individuele stappen slechts één keer te leren. Vervolgens bepaalt een slimme "planner" (het brein van de kok) hoe hij die stappen samenvoegt voor elke nieuwe opdracht.

Hier is hoe DR-LfD werkt, gebruikmakend van de analogie van een robot die een complex computerspel leert spelen:

1. Het spel opdelen in niveaus (Decompositie)
Wanneer een mens de robot laat zien hoe hij een taak uitvoert (zoals het inpakken van een schroevendraaier of het aan iemand een beker overhandigen), legt het systeem niet zoma van een hele lange video vast. Het gebruikt een speciale "contactdetector" om te kijken wanneer de hand van de robot een object aanraakt of loslaat. Het snijdt de video in kleine stukjes op basis van deze aanrakingen.

De "Eenvoudige Bewegingen": Voor gemakkelijke delen, zoals het oppakken van een beker of het neerzetten ervan, leert de robot een "primitive". Dit is als een geprogrammeerd spiergeheugen dat precies weet hoe de arm moet bewegen om een object te grijpen, ongeacht waar het op de tafel staat.
De "Moeilijke Bewegingen": Voor lastige delen, zoals het afnemen van een beker of het doorgeven van een object tussen twee handen, leert de robot een "visuomotorisch beleid". Dit is als een reflex die de camera in de gaten houdt en de handen in realtime aanpast om het object stabiel te houden.
De "Brugbewegingen": Voor het bewegen door de lege ruimte gebruikt de robot simpelweg standaard wiskunde om een pad te plannen.

2. De Slimme Planner (Reorganisatie)
Zodra de robot een "gereedschapskist" met deze vaardigheden heeft, voert hij ze niet zomaar blindelings na elkaar uit. Hij gebruikt een Task and Motion Planner (TAMP). Denk aan deze planner als een GPS voor het brein van de robot.

Als de robot een beker aan een persoon moet overhandigen, controleert de planner: "Is de beker bereikbaar? Zit de hand van de persoon op de juiste plek? Staat er een stoel in de weg?"
Als de beker te ver weg is, zegt de planner niet simpelweg "falen". De planner zegt: "Oké, laten we eerst de stoel verplaatsen, dan de beker oppakken, en hem dan overhandigen."
Als de robot probeert een beker te pakken en mist omdat de beker is verschoven, merkt de planner dit op, stopt de actie en berekent een nieuw pad. Het is als een GPS die je een nieuwe route geeft wanneer er verkeer is.

3. Het Systeem Testen
De auteurs testten dit systeem zowel in computer-simulaties als met echte robots (met behulp van een tweearmige robot genaamd ALOHA). Ze gaven de robot een kleine hoeveelheid trainingsdata — slechts 20 demonstraties voor elke vaardigheid.

De Resultaten: Toen ze de robot testten met objecten op nieuwe, vreemde plaatsen (plekken die hij nog nooit eerder had gezien), faalden de oude methoden (zoals het simpelweg kijken naar video's) vaak. Maar DR-LfD bleef succesvol. Bijvoorbeeld, in een "peg-in-hole" taak, terwijl andere methoden ongeveer de helft van de tijd faalden wanneer het gat was verplaatst, slaagde DR-LfD 100% van de tijd in standaardtests en 88% in zeer moeilijke, willekeurige tests.
Omgaan met Obstakels: In één test plaatsten ze een paal in de weg die de arm van de robot blokkeerde. De robot realiseerde zich dat hij het doel niet kon bereiken, dus vertelde de planner dat hij eerst de paal moest verplaatsen en daarna het doel moest bereiken. Hij slaagde erin het obstakel te verwijderen en de taak te voltooien.
Lange Taken: Ze lieten de robot zelfs lange, meerstaps-taken uitvoeren, zoals het overhandigen van drie verschillende rollen tape aan een mandje, of het inpakken van een schroevendraaier terwijl hij een beker afneemt. In deze specifieke experimenten slaagde de robot erin om 19 tot 21 verschillende stappen aan elkaar te koppelen, een prestatie waarbij robots normaal gesproken in de war raken en falen. Echter, het artikel merkt op dat dit succes binnen de computationele grenzen van de planner valt en specifiek is voor de geteste taken.

Wat het Papier Zegt Dat het (Nog) Niet Kan
De auteurs merken voorzichtig op dat dit geen magie is. Het systeem heeft nog steeds mensen nodig om de doelen te specificeren of voorkeuren op te geven; het kan niet autonoom "ontdekken wat er moet gebeuren" zonder die input. Ook omdat de robot afhankelijk is van 3D-dieptecamera's om objecten te zien, kan de robot in de war raken als de camera vuil is of als de verlichting slecht is. Het artikel vermeldt ook dat als de taak te complex wordt met te veel objecten, het plannen langer duurt om na te denken, net zoals een mens overweldigd kan raken door te veel keuzes.

De Kernboodschap
Het artikel suggereert dat door robots te leren om kleine, herbruikbare vaardigheden te leren en vervolgens een slimme planner te gebruiken om deze te combineren en te herschikken, we robots kunnen bouwen die veel flexibeler zijn en veel minder trainingsdata vereisen dan voorheen. Het is een stap naar robots die een rommelige kamer kunnen binnenlopen, kunnen uitzoeken wat er moet gebeuren (zodra een mens hen het doel vertelt) en het kunnen doen zonder dat ze voor elk denkbaar scenario een miljoen oefervideo's nodig hebben.

Technische Samenvatting: DR-LfD (Decomposed and Reorganized Skills Learned from Demonstrations)

1. Probleemstelling

Lange-horizon robotmanipulatie vereist frameworks die simultaan hoogwaardige redenering (het sequensen van vaardigheden) en fijnmazige uitvoering (contact-rijke operaties) kunnen uitvoeren. Bestaande benaderingen kampen met een fundamentele afruil:

Task and Motion Planning (TAMP): Blinkt uit in symbolische redenering en het voldoen aan restricties, maar leunt vaak op handmatig ontworpen modellen en precieze perceptie, wat het kwetsbaar maakt in contact-rijke, ongestructureerde omgevingen.
Imitation Learning (IL): Effectief in het repliceren van complexe visuomotorische gedragingen vanuit data, maar lijdt onder slechte ruimtelijke generalisatie en een onvermogen om multi-stage transities aan te pakken. End-to-end policies moeten de combinatorische logica van wanneer en hoe vaardigheden te wisselen impliciet leren, wat exponentieel grote datasets vereist om te generaliseren naar ongeziene opstellingen of lange sequenties.

De kernuitdaging is de combinatorische complexiteit van lange-horizon taken. Het leren van een policy voor een sequentie van $M$ vaardigheden uit $N$ beschikbare primitieven vereist doorgaans datascaling die exponentieel groeit met $M$ . Bovendien hebben huidige hybride systemen vaak moeite met het definiëren van robuuste criteria voor het wisselen van vaardigheden en het afhandelen van fysieke restricties (bereikbaarheid, botsing) bij het integreren van geleerde policies.

2. Methodologie: DR-LfD Framework

DR-LfD stelt een systematisch framework voor dat menselijke demonstraties decomponeert in atomaire vaardigheden en deze reorganiseert via een TAMP-gestuurd beslissingssysteem. Het framework werkt in twee fasen: Offline Skill Acquisition en Online Plan Composition.

A. Skill Decompositie en Abstractie

Het systeem verwerkt demonstratiedata om atomaire vaardigheden te extraheren op basis van contactrelaties:

VLM-Assisted Grounding: Een Vision-Language Model (VLM, specifiek Qwen-VL-Max) analyseert video-demonstraties om objecten in de taak, hun eigenschappen (bijv. container, oppervlak) en een sequentie van discrete vaardigheden te identificeren. Het koppelt randoperaties (gripper-object of object-object interacties) aan specifieke vaardigheden.
Contact-Aware Partitioning: Demonstraties worden gesegmenteerd in onderscheidende fasen (initiatie, contact-rijk, terminatie) door veranderingen in contactstaten te detecteren (bijv. afstandsdrempels tussen grippers en objecten).
Grafische Representatie: Elke vaardigheid wordt geabstraheerd naar een precondition graph ( $G_{pre}$ ) en een effect graph ( $G_{eff}$ ). Deze grafen representeren de contact-signatures (bijv. "gripper houdt object vast", "object op tafel") met behulp van een scene-graph structuur, waarbij stochastische intermediaire gedragingen worden geabstraheerd.

B. Skill Learning en Categorisering

Vaardigheden worden gecategoriseerd en geleerd met verschillende representaties om dataefficiëntie en generalisatie te maximaliseren:

Object-Centric Primitives (Lage Complexiteit): Voor eenvoudige vaardigheden (bijv. pakken, plaatsen, laten vallen) leert het systeem open-loop trajecten met een SO(3)-equivariant diffusion model. Dit netwerk neemt point clouds en taalbeschrijvingen als input om end-effector trajecten, vingergewrichtshoeken en contactstaten te voorspellen. De equivariantie zorgt voor robuuste ruimtelijke generalisatie naar nieuwe objectplaatsingen zonder massale data-augmentatie te vereisen.
Visuomotor Policies (Contact-Rijk): Voor complexe, contact-rijke vaardigheden (bijv. vegen, overhandigen) leert het systeem een closed-loop visuomotorische policy (bijv. met behulp van Diffusion Policy). Cruciaal is een KeyPose Predictor (een diffusion-gebaseerde MLP) die getraind is om de initiële en terminale proprioceptieve staten (keyposes) te voorspellen die nodig zijn om deze policies te initiëren en te beëindigen. Dit zorgt ervoor dat de policy start in een in-distributie staat.
Geplande Trajecten: Vaardigheden zonder contact (bijv. transit) worden afgehandeld door klassieke motion planners.

C. Integratie met TAMP (Stream Functions)

Geleerde vaardigheden worden gecodeerd als stream functions die compatibel zijn met het PDDLStream framework:

Stream Functions: Deze fungeren als conditionele generatoren die symbolische preconditions mappen naar continue variabelen (poses, trajecten) of binaire veiligheidscontroles.
Automated Schema Construction: Een algoritme vertaalt automatisch de contact-grafen ( $G_{pre}, G_{eff}$ ) en randoperaties naar PDDL-predicaten en associeert ze met de juiste stream functions (bijv. LearnedAttach, LearnedUniKeyPose).
Constraint Enforcement: Het framework implementeert specifieke test-streams voor fysieke restricties:
- Bereikbaarheid: Een vooraf berekende kaart controleert of een object bereikbaar is door een specifieke armconfiguratie.
- Policy Veiligheid: Een Minimum Distance Field (MDF) wordt geconstrueerd uit demonstratie-trajecten om "veilige zones" te definiëren. De planner verifieert of onverwachte obstakels deze veiligheidsrestricties niet schenden voordat een policy wordt uitgevoerd.

D. Online Executie en Adaptatie

De online fase maakt gebruik van een perceive-plan-act-verify loop:

Global Skeleton: Een grove TAMP-solver genereert een hoogwaardige vaardigheidssequentie (skeleton) op basis van de huidige staat en het doel.
Local Replanning: Voor elke vaardigheid in de skeleton verfrist het systeem de staat via perceptie, lost het een lokaal TAMP-probleem op om gedetailleerde bewegingen (of keyposes voor policies) te genereren, en voert het commando uit.
Verificatie: Een contactdetector monitort de uitvoering. Als een vaardigheid faalt (bijv. gemiste grasp) of de staat afwijkt, triggert het systeem lokale herplanning voor hetzelfde subdoel in plaats van de gehele taak te laten falen.

3. Belangrijkste Bijdragen

TAMP-Gated Decomposition: Een nieuw systeem dat atomaire vaardigheden uit demonstraties abstraheert en deze reorganiseert via TAMP om combinatorische doelen te bereiken, waardoor de datalast verschuift van exponentiële sequentielengte naar het aantal verschillende vaardigheidstypen.
Equivariant Primitives: Het gebruik van equivariant diffusion modellen om object-centrische primitieven te leren, wat robuuste ruimtelijke generalisatie mogelijk maakt vanuit minimale data (bijv. 20 demonstraties per vaardigheid).
TAMP-Compatible Policy Modeling: Een systematische methode voor het modelleren van de initiatie, terminatie en restricties van geleerde visuomotorische policies (via KeyPose predictors en MDF veiligheidschecks) in een vorm die compatibel is met sampling-gebaseerde TAMP.
Uitgebreide Validatie: Demonstratie van het vermogen van het framework om lange-horizon taken met ongeziene opstellingen en fysieke restricties aan te pakken in zowel simulatie als real-world dual-arm (ALOHA) hardware.

4. Experimentele Resultaten

De auteurs evalueerden DR-LfD over gesimuleerde en real-world benchmarks, waarbij ze het vergeleken met state-of-the-art imitation learning (IL) methoden (ACT, DP, $\pi_0.5$ ) en TAMP-baselines.

Ruimtelijke Generalisatie (OOD): In de "Peg-in-Hole" taak behaalde DR-LfD 100% succes in in-distributie (ID) en 88% in sterk out-of-distribution (XYH-OOD) settings, waarmee het baselines (bijv. DP behaalde 12% in XYH-OOD) aanzienlijk versloeg.
Real-World Dual-Arm Taken: Bij taken zoals Object Handoff, Screwdriver Packing en Cup-sleeve Insertion presteerde DR-LfD consistent beter dan DP en kwam het overeen met of overtrof het de pre-trained $\pi_0.5$ model, met name in OOD en "Leaky" (complexe verplaatsing) scenario's.
Restrictie Afhandeling: In "Unreachable" en "Unsafe" scenario's slaagde DR-LfD erin te herplannen om obstakels te verplaatsen of objecten te herpositioneren om bereikbaarheids- en botsingsrestricties te voldoen, waarbij het respectievelijk 55% en 70% succespercentages behaalde, terwijl baselines volledig faalden.
Lange-Horizon Compositie: Het systeem componeerde succesvol vaardigheden in 19-21 stapsige plannen (bijv. "Three-Tapes" en "Cup-Sponge-Screwdriver" taken) met een klein repertoire aan geleerde vaardigheden.
Dataefficiëntie: Op de DexMimicGen dataset presteerde DR-LfD getraind op 100 demonstraties beter dan Diffusion Policy getraind op 1.000 demonstraties, wat de efficiëntie van de decompositie-aanpak benadrukt.

5. Betekenis en Claims

Het artikel claimt dat DR-LfD de fundamentele beperking van end-to-end learning aanpakt door skill execution te ontkoppelen van skill sequencing. Door geleerde vaardigheden te behandelen als modulaire, TAMP-compatibele componenten, biedt het framework:

Vermindert Datavereisten: Het vermijdt de noodzaak voor exponentiële datasets door vaardigheden in isolatie te leren en te combineren.
Verhoogt Betrouwbaarheid: Het integreert fysieke restricties (bereikbaarheid, botsing) direct in de planning loop, waardoor het systeem kan herstellen van fouten en ongeziene objectplaatsingen kan afhandelen.
Overbrugt de Kloof: Het integreert effectief de flexibiliteit van visuomotorische policies met de redeneerkracht van symbolische planning, wat het geschikt maakt voor complexe, contact-rijke lange-horizon manipulatietaken in real-world settings.

De auteurs erkennen beperkingen die inherent zijn aan TAMP (exponentiële complexiteit met toenemend aantal objecten) en equivariant learning (afhankelijkheid van dieptesensoren), en suggereren toekomstig werk in geautomatiseerde doelspecificatie en depth-free equivariant learning. Ze stellen echter dat het huidige framework een robuust, dataefficiënt pad biedt voor de inzet van behendige robots in ongestructureerde omgevingen.