💻 computer science

Behavior Prompting Policy: Demonstrations as Prompts for Manipulation

Dit artikel introduceert Behavior Prompting Policy (BPP), een in-context visuomotorische architectuur die robots in staat stelt om nieuwe manipulatietaken te leren van een enkele menselijke demonstratie tijdens de inferentiefase, ondersteund door een diverse trainingsdataset verzameld via de iPhUMI-interface en gevalideerd door middel van nieuwe evaluatiebenchmarks.

Oorspronkelijke auteurs: Austin Patel, Ben Pekarek, Joel Enrique Castro Hernandez, Shuran Song

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Austin Patel, Ben Pekarek, Joel Enrique Castro Hernandez, Shuran Song

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot een nieuwe truc wilt leren, zoals het vouwen van een specifiek type overhemd of het tekenen van een bepaalde vorm. Normaal gesproken is dit als het aan een hond leren van een nieuw commando: je moet er urenlang training aan besteden vanaf nul, keer op keer, totdat hij het goed doet. Als je hem later een ander trucje wilt leren, moet je vaak het hele trainingsproces opnieuw beginnen.

Dit artikel introduceert een nieuwe manier om robots te leren: "Behavior Prompting" (Gedrags-prompting). Denk hierbij minder aan formele training en meer aan het aan een vriend laten zien van een korte video op je telefoon en zeggen: "Doe het zo."

Hier is een overzicht van hoe het werkt, met behulp van eenvoudige analogieën:

1. Het kernidee: De "Videoreceptuur"

In plaats van de robot een tekstuele instructie te geven ("Vouw het overhemd") of een eindfoto te geven van hoe het overhemd eruit moet zien, geef je de robot één enkele video-demonstratie van een mens die de taak uitvoert.

De analogie: Stel je voor dat je probeert een taart te bakken.
- De oude manier: Je krijgt een schriftelijk recept (taal) of een foto van de afgebakken taart (doelbeeld). Je moet de stappen zelf raden.
- Behavior Prompting: Je krijgt een video van iemand die precies die taart bakt. Je kunt precies zien hoe diegene het ei brak, hoeveel er geroerd werd en met welke snelheid er werd bewogen. De robot bekijkt dit "videorecept" (de gedrags-prompt) en probeert de bewegingen na te bootsen, niet alleen het resultaat.

2. De hersenen: De "Slimme Vertaler" (BPP)

Het artikel introduceert een nieuwe robot-hersenen genaamd Behavior Prompting Policy (BPP).

Hoe het werkt: Wanneer de robot gevraagd wordt een taak uit te voeren, kijkt hij naar twee dingen tegelijkertijd:
1. Wat hij op dit moment ziet (de huidige kamer, het overhemd op de tafel).
2. Het "videorecept" (de menselijke demonstratie).
De magie: De robot onthoudt de video niet simpelweg uit het hoofd. Hij fungeert als een slimme vertaler. Hij kijkt naar de video en zegt: "Oké, in de video houdt de persoon het overhemd hier vast. In mijn huidige gezichtsveld is het overhemd daar. Dus ik moet mijn hand bewegen om die positie te evenaren." Hij vergelijkt de video constant met de werkelijkheid om de volgende zet te bepalen.

3. De training: Variatie is de sleutel

De onderzoekers ontdekten dat om dit te laten werken, de robot tijdens zijn initiële training een grote hoeveelheid verschillende soorten taken moet zien, maar dat hij niet veel voorbeelden van elke specifieke taak nodig heeft.

De analogie: Denk aan een chef-kok die leert koken.
- Als je hen traint op 1.000 voorbeelden van alleen maar spaghetti maken, zullen ze geweldig zijn in spaghetti maken, maar verschrikkelijk in het maken van een salade.
- Als je hen trant op 1 voorbeeld van 1.000 verschillende gerechten (soep, salade, biefstuk, taart), leren ze de algemene "vaardigheid van het koken".
- Het papier vond dat het de robot een "menu" van veel verschillende taken geven (zelfs met slechts een paar voorbeelden van elk) hem veel beter maakt in het aanleren van nieuwe dingen tijdens het werk.

4. Het hulpmiddel: De "Magische Afstandsbediening" (iPhUMI)

Om al deze verschillende voorbeelden te verzamelen, heeft het team een speciaal handzaam apparaat gebouwd genaamd iPhUMI.

Wat het is: Het is een grijper met een iPhone eraan bevestigd.
Hoe het helpt: Een mens kan dit apparaat gewoon oppakken en er fysiek mee rondbewegen om de robot te laten zien wat hij moet doen. Omdat er een iPhone aan zit, weet het apparaat direct waar het zich in de kamer bevindt (er is geen urenlange tijd nodig om eerst de kamer in kaart te brengen).
Het voordeel: Tijdens de testfase (wanneer de robot daadwerkelijk aan het werk is), kan een mens dit apparaat oppakken, een taak één keer uitvoeren om het aan de robot te laten zien, en de robot weet onmiddellijk hoe hij het moet doen. Het is als een "afstandsbediening" om direct nieuwe vaardigheden aan te leren.

5. De resultaten: Wat hebben ze getest?

Het team heeft dit getest op twee zaken:

Tekenen: Ze vroegen de robot om vormen te tekenen. Zelfs als de robot die specifieke vorm nog nooit had gezien, kon de robot de beweging kopiëren om het op een ander bord op een andere plek te tekenen, mits een mens het eenmaal op een tablet had getekend (de prompt).
Taken op tafel: Ze testten taken zoals het oppakken van kommen en het verplaatsen ervan. Ze ontdekten dat als de robot een video werd getoond van een mens die een kom verplaatst, de robot wist hoe hij een andere kom naar een andere plek moest verplaatsen, zelfs als hij die specifieke combinatie nog nooit eerder had gezien.

Samenvatting

Het artikel beweert dat Behavior Prompting robots in staat stelt om nieuwe vaardigheden direct aan te leren door naar een enkele menselijke demonstratie te kijken, zonder dat er dure hertraining nodig is.

Het geheime ingrediënt: Het werkt het beste wanneer de robot eerder een grote variëteit aan taken heeft gezien.
Het voordeel: Het is sneller en flexibeler dan tekstuele instructies of alleen het tonen van het uiteindelijke doel. Het overbrugt de kloof tussen "wat te doen" en "hoe te doen" door de werkelijke bewegingen van de mens als gids te gebruiken.

Belangrijke opmerking: Het artikel richt zich op deze specifieke mogelijkheden (tekenen en taken op tafel). Het beweert niet dat deze technologie klaar is voor complexe medische operaties of industriële assemblage, noch beweert het dat de robot elke mogelijke taak kan leren met slechts één blik; het werkt het best binnen de soorten taken waarvoor hij breed getraind is.

Technische Samenvatting: Behavior Prompting Policy (BPP)

Probleemstelling

Het aanleren van nieuwe vaardigheden aan robots vereist traditioneel uitputtende hertraining of fijnafstemming voor elke specifieke taak, wat inefficiënt is en snelle implementatie beperkt. Hoewel grote taalmodellen succes hebben getoond in in-context learning (aanpassen aan nieuwe taken via few-shot voorbeelden tijdens de testtijd), heeft robotica achtergebleven in het bereiken van vergelijkbare capaciteiten voor manipulatie. Bestaande benaderingen vertrouwen vaak op taalbeschrijvingen of doelafbeeldingen, die onvolledige informatie kunnen bieden over de specifieke ruimtelijke en temporele uitvoering die voor een taak vereist is. Bovendien vertrouwen veel few-shot leermethoden in robotica op meta-learning met gradiëntupdates of expliciete ruimtelijke transformaties, wat mogelijk niet goed schaalt naar hoog-diverse taakdistributies.

De auteurs stellen Behavior Prompting voor, een paradigma waarbij een robot een nieuwe taak uitvoert tijdens de inferentietijd op basis van een enkele menselijke demonstratie (de "behavior prompt"). Deze prompt bestaat uit observaties, proprioceptie en acties in de sensorimotorische ruimte van de robot, waarmee tegelijkertijd de taak wordt gedefinieerd en een concreet voorbeeld wordt gegeven van hoe deze uit te voeren.

Methodologie

1. Behavior Prompting Policy (BPP)

De kern van de algoritmische bijdrage is de Behavior Prompting Policy (BPP), een in-context visuomotorische architectuur ontworpen om een behavior prompt en de huidige observatie te vertalen naar robotacties. De architectuur bestaat uit drie hoofdonderdelen:

Prompt Chunking & Embedding: De behavior prompt (een sequentie van observaties, proprioceptie en acties) wordt temporeel gedownsampled (meestal naar 1Hz) voor efficiëntie. De sequentie wordt verdeeld in "chunks", waarbij elke chunk één tijdstap van observatie ( $o$ ) en proprioceptie ( $q$ ) bevat, samen met de sequentie van acties ( $a$ ) die naar de volgende chunk leidt. Een Attention Pooling mechanisme voegt $\{o, q, a\}$ samen tot een enkele chunk-embedding ( $p_i$ ).
Prompt Encoder: Dit is een transformer-decoder die relevante informatie extraheert uit de prompt-sequentie ( $P = [p_0, \dots, p_n]$ , geconditioneerd op de huidige observatie. De huidige observatie wordt getokeniseerd en verwerkt via cross-attention met de prompt chunk-embeddings. Dit stelt het model in staat om temporele correspondenties en ruimtelische verschillen tussen de prompt-demonstratie en de huidige omgeving te identificeren.
Action Decoder: De geëxtraheerde prompt-informatie, geconcateneerd met de huidige observatie en een diffusie-tijdstap, wordt ingevoerd in een Diffusiemodel (specifiek een CNN-gebaseerde architectuur met FiLM-conditionering). De decoder voert iteratieve denoising uit om closed-loop acties te genereren.

Trainingsstrategie: BPP wordt getraind met standaard behavior cloning op multi-task imitatieleer-datasets. Voor elke trainingsstap wordt een enkele demonstratie gesampled als de prompt, en een batch van receding horizon observaties en toekomstige acties wordt gesampled uit andere demonstraties van dezelfde taak. Cruciaal is dat er geen expliciete ruimtelijke of temporele correspondentie wordt afgedwongen tussen de prompt en de trainingsbatch; het model leert end-to-end om de prompt te benutten.

2. iPhUMI Interface

Om de datavereisten voor behavior prompting aan te pakken, introduceren de auteurs iPhUMI, een handheld manipulatie-interface. Aangepast van de UMI-gripper, vervangt het een GoPro door een iPhone 15 Pro. Belangrijkste kenmerken zijn:

Instant Lokalisatie: Maakt gebruik van on-device ARKit voor real-time SLAM, waardoor de noodzaak voor tijdrovende omgeving-mapping vervalt.
Draadloze Prompting: Hiermee kan een menselijke operator behavior prompts draadloos naar een werkstation verzenden, wat directe conditionering van de policy bij nieuwe taken tijdens de testtijd mogelijk maakt.

Evaluatie en Benchmarks

De auteurs introduceren twee nieuwe benchmarks om test-time adaptatie te evalueren, waarbij de focus ligt op hoge taakdiversiteit in plaats van enkelvoudige taakcomplexiteit:

DrawAnything: Een tekenomgeving (gesimuleerd en in de echte wereld) die continue, fijnmazige actie-adaptatie vereist.
- Sim: Getraind op 2.000 procedureel gegenereerde taken; getest op 50 ongeziene menselijke tekeningen.
- Real: Gebruikt een ARX robotarm met een iPhone polscamera. Getraind op 1.000 taken; getest op 10 ongeziene taken.
LIBERO-Gen: Een uitbreiding van de LIBERO manipulatie benchmark met aanzienlijk meer taken.
- Combination: Breidt 10 taken uit naar 174, waarbij het vermogen wordt getest om te kiezen tussen twee identieke kommen en deze in een van de negen locaties te plaatsen.
- Chain: Breidt 10 taken uit naar 321, waarbij sequentiële twee-staps interacties worden getest (bijv. lade openen, en dan een object plaatsen).

Belangrijkste Resultaten

Superieure Adaptatie: Op ongeziene teken-taken (DrawAnything-Sim) bereikte BPP een foutreductie van 80,7% vergeleken met een Goal-Image baseline en een reductie van 33,3% vergeleken met ICRT (een eerder behavior prompt model).
Robuustheid tegen Complexiteit: In de LIBERO-Gen benchmarks presteerde BPP beter dan de baselines (Goal-Image, Taal, en ICRT) en wedijverde met $\pi_0.5$ (een foundation VLA-model met 100K LoRA fine-tuning stappen), ondanks het feit dat BPP geen foundation pretraining heeft gehad.
Attention Mechanisme: Visualisatie van de prompt encoder attention (Fig. 5) laat zien dat BPP de taakprogressie effectief volgt. Voor continue taken (tekenen) volgt de attention de prompt nauwgezet; voor discrete taken (LIBERO) volgt de attention "mijlpalen" (bijv. het volgende object om mee te interageren).
Datavereisten: Systematische ablatiestudies toonden aan dat taakdiversiteit de primaire drijfveer is voor prompting-capaciteit. Het verzamelen van minder demonstraties per taak over een groter aantal verschillende taken levert betere test-time adaptatie op dan veel demonstraties voor slechts enkele taken.

Betekenis en Claims

Het artikel claimt dat behavior prompting een flexibele en schaalbare manier biedt om robots nieuwe vaardigheden aan te leren zonder dure fijnafstemming. Door een enkele menselijke demonstratie als prompt te gebruiken, kunnen gebruikers taken specificeren of nieuwe robotcapaciteiten "on the fly" definiëren.

De auteurs benadrukken dat:

Sensorimotorische prompts expressiever zijn dan taal of doelafbeeldingen voor taken die specifieke lage-niveau gedragingen of ruimtelijke-temporele strategieën vereisen.
Taakdiversiteit in de trainingsdata cruciaal is voor het mogelijk maken van zero-shot adaptatie naar ongeziene taken.
iPhUMI dient als een praktische interface voor zowel het verzamelen van diverse trainingsdata als het specificeren van behavior prompts tijdens de testtijd, wat de kloof tussen menselijke intentie en robotuitvoering overbrugt.

Het werk positioneert behavior prompting als een stap richting het in staat stellen van robots om pretraining-kennis aan te passen aan nieuwe omgevingen (bijv. een specifiek huis) via een enkele demonstratie, waardoor het adaptatieprobleem wordt vereenvoudigd door rijke informatie te bieden over de doelomgeving en de gewenste manipulatiestrategie.