💻 computer science

Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video

Dit artikel presenteert een methode voor robotvaardigheidsleren uit egocentrische menselijke video's waarbij menselijke voorkeuren worden gemodelleerd door het voorspellen van visuele beweging, wat resulteert in een beloningsfunctie die het robotgedrag optimaliseert zonder de beperkingen van eerdere benaderingen die op tijdsafstand zijn gebaseerd.

Oorspronkelijke auteurs: Mrinal Verghese, Christopher G. Atkeson

Gepubliceerd 2026-02-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mrinal Verghese, Christopher G. Atkeson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kunst van Robotleren: Hoe een Robot Kijkt naar Menselijke Bewegingen (en niet alleen naar de eindstreep)

Stel je voor dat je een robot wilt leren om een magnetron te openen of een handdoek op te vouwen. Normaal gesproken moet je de robot duizenden keren zelf de handeling laten uitvoeren (via een joystick of door de robot te besturen), wat extreem tijdrovend en duur is.

De auteurs van dit paper, Mrinal Verghese en Christopher Atkeson van Carnegie Mellon University, hebben een slimme oplossing bedacht. Ze laten de robot leren door naar YouTube-achtige video's van mensen te kijken, maar dan op een heel specifieke manier.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Kijk-En-Naboots"-Valstrik

Vroeger probeerden robots video's van mensen te analyseren door te kijken naar hoe lang het duurt tot het doel is bereikt.

De analogie: Stel je voor dat je een leerling vraagt om een taart te bakken. De oude methode zei: "Elke seconde die je nog niet klaar bent, is een straf. Hoe dichter je bij het einde bent, hoe beter."
Het probleem: Mensen zijn niet perfect. Soms twijfelen ze, kijken ze om zich heen, of doen ze even een pauze. Als de robot kijkt naar de tijd, denkt hij: "Oh, die persoon stopte even, dus dat was een slechte zet!" Hierdoor leert de robot verkeerde dingen. Bovendien is een menselijke hand heel anders dan een robotarm; wat voor een mens werkt, werkt niet altijd voor een robot.

2. De Oplossing: De "Bewegings-voorspeller"

In plaats van te kijken naar de tijd, kijken deze onderzoekers naar hoe objecten bewegen.

De analogie: Stel je voor dat je een danspartner hebt. De oude methode vroeg: "Hoeveel minuten zijn we al aan het dansen?" De nieuwe methode vraagt: "Kijk naar de voeten van mijn partner. Als zij haar linkervoet naar voren zet, wat gebeurt er dan met mijn eigen voeten?"
Hoe het werkt:
1. De computer kijkt naar video's van mensen die een taak doen (bijv. een magnetron openen).
2. Het plakt virtuele stipjes op de objecten (bijv. op de deur van de magnetron).
3. Het leert een model dat voorspelt: "Als de deur nu een beetje naar rechts beweegt, hoe ziet de volgende beweging eruit?"
4. Als de robot nu zelf probeert de deur te openen, kijkt het systeem: "Beweegt de deur op dezelfde manier als in de voorspelling?"
5. Beloning: Als de beweging overeenkomt met wat er in de video zou moeten gebeuren, krijgt de robot een puntje. Als de robot de deur wel vastpakt maar de deur beweegt niet (want hij pakt de verkeerde kant), krijgt hij geen puntje.

3. De "Rest" van de Leerling (Residual RL)

De robot begint al met een basisvaardigheid (een "basisbeleid") die is getraind op slechts 10 voorbeelden. Dit is als een leerling die al weet hoe je een potlood vasthoudt, maar nog niet weet hoe je een mooi schilderij maakt.

De analogie: De robot heeft een "vaste basis" (de basisbeleid). De nieuwe methode leert de robot alleen kleine correcties aan te brengen op die basis.
Het is alsof je een beginnende schaker hebt die de regels kent. In plaats van hem alles opnieuw te leren, zeg je: "Je zet je paard goed, maar je moet het net iets meer naar links zetten." De robot leert deze kleine aanpassingen heel snel door te oefenen in de echte wereld.

4. Het Resultaat: Sneller en Slimmer

De onderzoekers testten dit op echte robots met taken zoals:

Een magnetron openen.
Een doek vouwen.
Een aanrecht afvegen.

Wat deden ze?
Ze gaven de robot slechts 10 voorbeelden en liet hem een uur oefenen in de echte wereld.

Wat gebeurde er?

De robot met hun nieuwe methode (MPR) werd veel beter (soms met 30% meer succes) dan voordat hij begon.
Robots die gebruikmaakten van de oude methode (VIP, die kijkt naar tijd) faalden vaak. Ze leerden bijvoorbeeld dat het "eruit zien" alsof je de taak doet genoeg was, zelfs als de taak niet echt gelukt was. Ze werden "verward" door de menselijke twijfel in de video's.

Samenvattend

Stel je voor dat je een robot wilt leren koken.

De oude manier: "Kijk naar de klok. Als het eten niet klaar is na 10 minuten, is dat slecht." (Dit werkt niet als de kok even stopt om te praten).
De nieuwe manier: "Kijk naar de pan. Als de kok de pan schudt, moet de pan ook schudden. Als de pan stil blijft terwijl de kok schudt, doe je het verkeerd."

Door te focussen op de beweging van de objecten in plaats van de tijd, begrijpt de robot wat er écht moet gebeuren. Hierdoor kan hij in slechts één uur van een beginner een meester worden, gewoon door naar video's van mensen te kijken.

Probleemstelling

Het paper adresseert de uitdaging om robotvaardigheden te leren met een minimaal aantal demonstraties op de robot zelf, door informatie over te dragen vanuit grote datasets van menselijke video's (eigen perspectief/egocentrisch). Bestaande methoden voor reward learning (beloningsleren) uit video's maken vaak gebruik van de temporele afstand tot een doeltoestand (bijv. het laatste frame van een video) als maatstaf voor de waarde van een toestand.

De auteurs identificeren drie kritieke beperkingen van deze bestaande aanpak:

Aannames en Bias: Methoden die uitgaan van een vaste kost per frame, worden negatief beïnvloed door aarzelingen, onderbrekingen of niet-tijdoptimal gedrag in menselijke video's. Dit leidt tot een bias in de waarde-schatting voor alle staten vóór de onderbreking.
Distributieverandering (Domain Shift): Er is een grote kloof tussen menselijke video's (verschillende lichamen, omgevingen) en robotdata. Het overdragen van een waarde-functie die op menselijke video's is getraind, naar robotdata is moeilijk en kan leiden tot onvoorspelbare bias.
Onderscheid tussen succes en mislukking: Methoden die puur op tijd baseren, hebben moeite om mislukte pogingen te onderscheiden van succesvolle pogingen als de robot de bewegingen uitvoert maar het doel niet bereikt.

Methodologie

De auteurs stellen een nieuwe methode voor, genaamd Motion Prediction Reward (MPR), die menselijke voorkeuren modelleert door de korte-termijn beweging van objectpunten te voorspellen, in plaats van lange-termijn waarde te schatten.

1. Reward Learning via Bewegingsvoorspelling

In plaats van te vragen "hoe dicht is deze toestand bij het doel?", vraagt het model: "hoe bewegen de relevante objectpunten in de volgende stap?".

Data Preprocessing: Uit egocentrische menselijke video's worden maskers van taak-relevante objecten getrokken en een raster van punten over het beeld getraceerd.
Motion Prediction Transformer ( $F_\theta$ ): Een model (gebaseerd op een aangepaste DiT-architectuur met DinoV2 visuele tokens) wordt getraind om de locatie van een set punten in het volgende frame ( $P_{t+1}$ ) te voorspellen op basis van de huidige observatie ( $o_t$ ), de huidige puntlocaties ( $P_t$ ) en een genormaliseerde tijdsindicator ( $t/T$ ).
Reward Berekening: Voor een robot-episode wordt de voorspelde beweging van de punten ( $\Delta P^{pred}$ $Δ P^{p r e d}$ ) vergeleken met de daadwerkelijk waargenomen beweging ( $\Delta P^{track}$ $Δ P^{t r a c k}$ ) in de video van de robot. De reward ( $r_t$ $r_{t}$ ) is de gemiddelde cosinus-similariteit tussen deze bewegingsvectoren.
- Als de robot de objecten laat bewegen zoals de mens dat zou doen, is de reward hoog.
- Als de robot de beweging niet nabootst (of het object niet beweegt), is de reward laag of nul.
- Dit zorgt ervoor dat de robot wordt beloond voor het bereiken van het resultaat (objectbeweging) en niet alleen voor het nabootsen van menselijke handbewegingen.

2. Residual Reinforcement Learning (RL)

Om het beleid te optimaliseren, gebruiken de auteurs een Residual RL-framework:

Base Policy ( $\pi_{base}$ ): Eerst wordt een gedrag-kloon (behavior cloning) beleid getraind op een klein offline dataset van slechts 10 robot-demonstraties.
Residual Policy ( $\pi_{RL}$ ): Een Reinforcement Learning agent (gebaseerd op een aangepaste Soft Actor Critic of SAC) leert een correctie-laag bovenop de base policy.
Stabilisatie: Om instabiliteit te voorkomen (waarbij de RL-agent te ver afwijkt van de trainingsdata), wordt de base policy "bevroren". De critic-netwerken worden voorgetraind op de offline data en er wordt gebruikgemaakt van technieken zoals het nemen van het minimum over meerdere critics en LayerNorm om overschatting van waarden te voorkomen.
Actie: De uiteindelijke actie is $\pi(s) = \pi_{base}(s) + \alpha \cdot \pi_{RL}(s)$ .

Belangrijkste Bijdragen

Nieuwe Reward-Paradigma: De introductie van een reward-functie gebaseerd op de voorspelling van visuele objectbeweging, wat robuuster is tegen bias door aarzelingen en beter overdraagbaar is tussen domeinen (mens naar robot).
Samenwerking van Imitatie en RL: Een effectieve pipeline die imitatielearning (voor een stabiele start) combineert met sample-efficiënte RL voor online verfijning op echte hardware.
Empirisch Bewijs: Het aantonen dat deze methode superieur is aan state-of-the-art methoden (zoals VIP - Value Implicit Pretraining) in zowel simulatie als op echte robots, met name in het vermijden van lokale minima en het onderscheiden van mislukte pogingen.

Resultaten

De methode werd getest op drie taken: "Open Microwave", "Fold Cloth" (doek vouwen) en "Wipe Counter" (tafel afvegen).

Simulatie: In de Franka Kitchen simulatie presteerde MPR vergelijkbaar met handgemaakte dense rewards en overtrof het duidelijk de VIP-baseline, vooral bij de "Open Microwave" taak waar VIP faalde door bias in de reward-signalen.
Hardware (Echte Robot):
- Met slechts 10 demonstraties en ongeveer 1 uur aan trainingstijd (100 episodes) verbeterde de robot zijn succesrate aanzienlijk.
- Open Microwave: Succesrate steeg van 45% (base policy) naar 76,7%.
- Fold Cloth: Succesrate steeg van 45% naar 73,3%.
- Vergelijking met VIP: De VIP-baseline faalde vaak op de echte robot; in de "Fold Cloth" taak daalde de succesrate zelfs tot 8,3% (onder de base policy), omdat VIP mislukte pogingen (waarbij de robot het doek niet vastpakte maar wel naar de eindpositie ging) onterecht beloonde. MPR gaf hier geen reward voor, waardoor de robot leerde de juiste volgorde van handelingen te volgen.
- Sample Efficiency: MPR leerde effectiever met minder data dan VIP, wat cruciaal is voor real-world training.

Betekenis en Conclusie

Dit werk biedt een veelbelovende nieuwe richting voor robotleren vanuit menselijke video's. Door de focus te leggen op korte-termijn voorkeuren (hoe objecten bewegen) in plaats van lange-termijn waarde-schattingen, omzeilt de methode de problemen van distributieverandering en bias in menselijke video's.

De resultaten tonen aan dat robots hun eigen prestaties kunnen verbeteren op echte hardware met zeer beperkte data, zolang er een robuust reward-signaal beschikbaar is dat de fysieke uitkomst van een handeling meet in plaats van alleen de tijd tot het doel. Dit vormt een stap in de richting van een "dense reward foundation model" voor robotica, wat de noodzaak van dure en tijdrovende robot-demonstraties drastisch kan verminderen.