💻 computer science

Phantom: Training Robots Without Robots Using Only Human Videos

Het artikel presenteert "Phantom", een schaalbaar kader dat zero-shot training van algemene manipulatie-robots mogelijk maakt uitsluitend met menselijke videodemonstraties door deze om te zetten in robot-compatibele data via handpositie-schatting en visuele domein-afstemming, waardoor hoge slagingspercentages worden bereikt op diverse taken zonder dat er robotdata of fijnafstemming nodig is.

Oorspronkelijke auteurs: Marion Lepert, Jiaying Fang, Jeannette Bohg

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marion Lepert, Jiaying Fang, Jeannette Bohg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren huishoudelijke taken te doen, zoals een vloer vegen of een knoop maken. Meestal moet je om een robot te leren, fysiek zijn arm vasthouden en duizenden keren door de bewegingen leiden. Dit is alsof je een kind fietsen leert door het urenlang elke dag door de wijk te duwen. Het is traag, duur en moeilijk uit te voeren voor elke mogelijke taak.

Het artikel "Phantom" stelt een slimme afkorting voor: Waarom niet gewoon kijken hoe mensen de klusjes doen en doen alsof de robot de mens is?

Hier is hoe ze dit deden, met eenvoudige analogieën:

1. De "Magische Foto-editor" (Data-bewerking)

De onderzoekers beseften dat, hoewel we miljoenen video's hebben van mensen die dingen doen op internet, robots deze niet zomaar kunnen "kijken". Een robot ziet de wereld anders dan een mens; het heeft metalen armen en grijpers, geen vlees en vingers. Als je een robot traint op een video van een mens, raakt de robot in de war omdat de "leraar" er totaal anders uitziet dan de "leerling".

Om dit op te lossen, bouwden de auteurs een digitale "magische foto-editor". Hier is het proces:

Stap 1: De Gum. Ze nemen een video van een mens die naar een object reikt. Met behulp van AI "wissen" ze digitaal de arm en hand van de mens, en vullen ze de achtergrond in zodat het eruitziet alsof de arm er nooit was.
Stap 2: De Marionettenspeler. Ze gebruiken een computerprogramma om precies te bepalen waar de hand van de mens bewoog.
Stap 3: De Wissel. Ze nemen een 3D-model van een robotarm en "plakken" dit in de video, waarbij ze de arm op exact dezelfde manier bewegen als de hand van de mens.

Het resultaat is een video die eruitziet alsof een robot de taak uitvoert, maar die eigenlijk met een mens is opgenomen. Ze noemen dit een "Phantom"-demonstratie.

2. De "Geest in de Machine" (Zero-Shot Implementatie)

Het meest verrassende deel van hun ontdekking is dat ze de robot geen enkel echt filmpje hoefden te tonen van zichzelf die de taak uitvoerde. Ze trainden de robot alleen op deze bewerkte "Phantom"-video's.

Stel je dit voor: Als je wilt leren tennis spelen, kijk je meestal naar een pro. Maar als je een robot bent met een andere lichaamsvorm, kan het kijken naar een mens verwarrend zijn. Deze methode is alsof je een video van een menselijke tennisser neemt, diens lichaam digitaal vervangt door het lichaam van een robot, en vervolgens de robot leert spelen door naar die bewerkte video te kijken.

Toen ze dit testten op echte robots (specifiek een Franka- en een Kinova-robot), konden de robots taken uitvoeren zonder enige voorafgaande oefening of fijnafstelling. Het was alsof de robot de kamer binnenliep, de taak zag en direct wist wat te doen, terwijl het alleen de bewerkte menselijke video's had "bestudeerd".

3. Wat kon de robot doen?

De onderzoekers testten dit op een verscheidenheid aan lastige taken, waarmee ze bewezen dat de methode werkt, zelfs als dingen rommelig of flexibel zijn:

Vegen: Een bezem bewegen om afval in een stofpan te duwen (wat het verplaatsen van veel losse stukken afval inhoudt die onvoorspelbaar rondspringen).
Knoopjes maken: Een touw in een specifieke zeilknoop knopen (wat erg moeilijk is omdat touwen slap zijn van vorm veranderen).
Stapelen: Voorzichtig koppen stapelen die iets verschillende maten hebben.
Roteren: Een doos omdraaien zonder hem zomaar om te duwen.

In veel van deze tests slaagden de robots tot 92% van de tijd, zelfs in ruimtes die ze nog nooit hadden gezien.

4. Waarom dit belangrijk is (volgens het artikel)

Het artikel betoogt dat deze aanpak de grootste bottleneck in robotica verwijdert: de behoefte aan dure robotdata.

Oude manier: Je hebt een robot, een lab en een mens nodig die urenlang teleoperatie (besturing) uitvoert om data te verzamelen.
Nieuwe manier (Phantom): Je hebt alleen een camera en een mens nodig. Je kunt iedereen, overal, een taak laten uitvoeren en filmen. De computer doet de rest van het werk om die menselijke bewegingen om te zetten in robotinstructies.

De auteurs benadrukken dat dit werkt voor "gesloten-lus" uitvoering, wat betekent dat de robot kan reageren op veranderingen in real-time (zoals als het afval onverwachts beweegt), en niet alleen een vooraf opgenomen script volgt.

Wat het artikel niet beweert

Het is belangrijk om te blijven bij wat het artikel daadwerkelijk zegt:

Ze claimden niet dat dit werkt voor elk type robot of elke mogelijke taak. Ze richtten zich op taken waarbij een mens een "pinch-greep" kan gebruiken (dingen vasthouden met duim en vinger), wat overeenkomt met de grijpers op de robots die ze gebruikten.
Ze claimden niet dat dit perfect is. Als de hand van de mens in de video verborgen is (occludeerd), kan de computer de positie van de hand verkeerd raden, wat de robot kan verwarren.
Ze claimden niet dat dit de behoefte aan robots volledig vervangt; ze hebben nog steeds een robot nodig om het werk fysiek te doen. Ze hebben alleen de behoefte om data op te nemen van de robot verwijderd.

Kortom, het artikel presenteert een "Phantom"-methode waarbij we robots kunnen trainen met alleen video's van mensen, door het menselijke lichaam digitaal te vervangen door een robotlichaam in de beelden, waardoor robots complexe vaardigheden kunnen leren zonder ooit fysiek op een robot te hoeven worden gedemonstreerd.

Technische Samenvatting: Phantom: Robots Trainen zonder Robots met Alleen Menselijke Video's

Probleemstelling

De vooruitgang in general-purpose robotica wordt momenteel geblokkeerd door schaarste aan data. Waar er wel grote datasets bestaan voor visie- en taalmodellen, blijven robotdatasets meerdere orden van grootte kleiner vanwege het trage, kostbare en moeilijke proces van het verzamelen van geteleopereerde demonstraties met fysieke hardware. Bovendien is het simpelweg verhogen van het datavolume onvoldoende; diversiteit in omgevingen is cruciaal voor generalisatie, maar het verzamelen van diverse data met robots is een formidable uitdaging.

Bestaande benaderingen om menselijke video's te benutten voor robotleren staan voor twee primaire hindernissen:

Gebrek aan Actielabels: Menselijke video's bevatten geen expliciete robotactietrajecten.
Embodiment-Gap: Het visuele uiterlijk van menselijke armen en handen verschilt aanzienlijk van robotarmen en grijpers, waardoor op visie gebaseerde beleidsregels die op menselijke data zijn getraind, falen bij implementatie op robots.

Eerdere methoden die probeerden deze kloof te overbruggen, maakten doorgaans gebruik van co-training met robotdata of versterkingslering, wat de schaalbaarheid beperkt. Andere benaderingen die gebruikmaken van objectgerichte tracking, kampen met problemen bij vervormbare objecten, korrelige materialen of scenario's met meerdere objecten.

Methodologie: Het Phantom-kader

De auteurs stellen Phantom voor, een schaalbaar kader dat manipulatiebeleid traint met alleen menselijke videodemonstraties, waarbij nul robotdata nodig is. De kerninnovatie is een data-bewerkingspijplijn die menselijke demonstraties omzet in robot-compatibele waarneming-actieparen.

1. Actie-extractie uit Menselijke Video's

Omdat menselijke video's geen expliciete actielabels bevatten, extrahert de methode robotacties door menselijke handposities te schatten:

Positieschatting: Het systeem gebruikt HaMeR om 21 handkeypoints en een dichte handmesh met 778 hoekpunten te voorspellen uit elk videoframe.
3D-Verfijning: Om de ambiguïteit van monculaire diepteschatting aan te pakken, segmenteert het systeem de hand met SAM2 en haalt het een gedeeltelijke puntwolk uit de RGB-D-diepteafbeelding. Een Iterative Closest Point (ICP)-registratie brengt de HaMeR-mesh in lijn met de puntwolk om de 3D-positie te verfijnen.
Omvloeiing: Om onrealistische vingerconfiguraties tijdens verduistering te voorkomen (wat vaak voorkomt bij grijpen), beperkt het systeem de duim- en wijsvingergewrichten tot één vrijheidsgraad binnen anatomisch haalbare bereiken.
Actiegeneratie: De verfijnde keypoints definiëren de pose van de robot-end-effector:
- Positie ( $p_t$ ): Middenpunt tussen de toppen van de duim en wijsvinger.
- Oriëntatie ( $R_t$ ): Afgeleid van een vlak dat past bij de vingertypepoints en een hoofd-asvector.
- Grijpbreedte ( $g_t$ ): Afstand tussen de vingertoppen, waarbij een drempel wordt toegepast op het onderste 20e percentiel om volledige sluiting te garanderen.

2. Visuele Domeinoverbrugging via Data-bewerking

Om de visuele domeinverschuiving tussen menselijke en robot-embodiments te elimineren, passen de auteurs data-bewerkingstechnieken (geïnspireerd door Rovi-Aug) toe op de mens-naar-robot setting:

Trainingsfase:
1. Segmentatie: De menselijke arm wordt gesegmenteerd met SAM2.
2. Inpainting: De gesegmenteerde arm wordt uit de afbeelding verwijderd met E2FGVI (een video-inpaintingmodel) om de achtergrond te herstellen.
3. Rendering & Overlay: Een virtueel model van de doelrobot wordt gerenderd in de geschatte pose ( $p_t, R_t, g_t$ ) en overgelegd op de ingepaintte afbeelding. Dieptedata wordt gebruikt om realistische verduisteringen door omgevingsobjecten te waarborgen.
Inferentiefase:
- Om consistentie te waarborgen tussen training (gerenderde robot) en testen (echte robot) distributies, wordt een virtuele robotarm tijdens het testen overgelegd op de waarnemingsafbeelding van de echte robot.

3. Beleidstraining

De verrijkte dataset, bestaande uit bewerkte afbeeldingen en geëxtraheerde acties, wordt gebruikt om een gesloten-lus imitatieleerbeleid te trainen (specifiek een Diffusion Policy). Dit beleid wordt vervolgens zero-shot ingezet op een echte robot zonder enige fine-tuning of extra robotdatacollectie.

Belangrijkste Bijdragen

Training zonder Robotdata: Het artikel toont aan dat effectieve robotmanipulatiebeleid uitsluitend kan worden getraind vanuit menselijke videodemonstraties, waardoor de behoefte aan dure geteleopereerde robotdata wordt weggenomen.
Data-bewerking voor Cross-Embodiment: Het werk past succesvol data-bewerkingstrategieën (inpainting en virtuele overlay) toe, van robot-naar-robot-overdracht naar de uitdagendere mens-naar-robot setting.
Veelzijdigheid: De methode behandelt een divers scala aan taken, waaronder:
- Manipulatie van stijve objecten (pikken en plaatsen, stapelen).
- Manipulatie van vervormbare objecten (een touwknoop maken).
- Manipulatie van meerdere objecten (vegen van meerdere stukken afval).
Generalisatie: De aanpak ondersteunt zero-shot implementatie in nieuwe omgevingen en op verschillende robot-embodiments (Franka en Kinova) zonder hertraining.

Experimentele Resultaten

De auteurs evalueerden Phantom over zes taken op Franka- en Kinova-robots:

Prestaties binnen Distributie: In een enkele scène bereikte de Hand Inpaint-strategie successpercentages tot 92% (Boek Pikken/Plaatsen) en 88% (Touw Knoop). Het presteerde aanzienlijk beter dan baselines zoals "Red Line" (EgoMimic-stijl) en "Vanilla" (geen bewerking), die 0% succes behaalden.
Generalisatie buiten Distributie (OOD): Bij testen in onbekende omgevingen (bijvoorbeeld buiten op gazons, binnen in lounges met bewegende achtergronden), behield de methode hoge successpercentages (bijvoorbeeld 84% in een binnenlounge). De prestaties daalden licht (20%) op onbekende oppervlakken, toegeschreven aan beperkte diversiteit in trainingsoppervlakken.
Ablatiestudies:
- Kwaliteit van Inpainting: Hoogwaardige inpainting (E2FGVI) leverde de beste resultaten op (84%), maar laagwaardige inpainting (OpenCV) behaalde nog steeds 76%, wat suggereert dat het model robuust is voor artefacten. "Mask Only" (geen inpainting) daalde naar 60%, wat het belang van achtergrondherstel benadrukt.
- Vergelijking met Hand Mask: Een alternatieve "Hand Mask"-strategie (de arm zwart maskeren) presteerde vergelijkbaar, maar was 73% trager bij inferentie vanwege de noodzaak van een diffusionmodel om maskers te genereren tijdens het testen.
Robot versus Menselijke Data: In een vergelijking in een enkele scène benaderden beleid dat was getraind op 300 menselijke demonstraties (84% succes) de prestaties van die getraind op 100 robotdemonstraties (88% succes), wat suggereert dat de schaalbaarheid van menselijke datacollectie kleine precisieverliezen in positieschatting kan compenseren.

Betekenis en Claims

Het artikel beweert dat Phantom het pad naar schaalbaar robotleren verbreedt door aan te tonen dat alleen menselijke video's, wanneer ze worden onderworpen aan zorgvuldige data-bewerking en positieschatting, voldoende zijn om general-purpose robotbeleid te trainen.

Schaalbaarheid: Door de afhankelijkheid van fysieke robotdatacollectie te verwijderen, verlaagt de methode de drempel voor het creëren van grote, diverse datasets. Iedereen met een RGB-D-camera kan overal trainingsdata verzamelen.
Asymptotische Setting: Het werk adresseert een toekomstig regime waarin menselijke data meerdere orden van grootte meer voorkomt dan robotdata. Het toont aan dat beleid effectief kan worden getraind, zelfs wanneer robotdata schaars of niet-bestaand is.
Beperkingen: De auteurs erkennen nederig beperkingen, waaronder de afhankelijkheid van de nauwkeurigheid van huidige handpositieschatters (die worstelen met ernstige verduisteringen), de aanname dat de robot dezelfde strategie kan volgen als de mens (bijvoorbeeld knijpgrepen), en de focus op quasi-statische taken waar latentie-mismatches minder kritiek zijn.

Concluderend stelt Phantom vast dat cross-embodiment-leren op basis van data-bewerking een levensvatbare en schaalbare strategie is voor het overdragen van vaardigheden van mensen naar robots, waardoor het potentieel van de enorme, onbenutte bron van menselijke videodemonstraties wordt ontsloten.