💻 computer science

Masquerade: Learning from In-the-wild Human Videos using Data-Editing

Masquerade adresseert robotdatatekorten door het bewerken van menselijke video's uit de echte wereld om robotdemonstraties te synthetiseren via arm-inpainting en robot-overlay, waardoor een co-trainingstrategie mogelijk wordt die bestaande methoden op lange-horizon bimanuele taken aanzienlijk overtreft.

Oorspronkelijke auteurs: Marion Lepert, Jiaying Fang, Jeannette Bohg

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marion Lepert, Jiaying Fang, Jeannette Bohg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren een complexe maaltijd te bereiden, zoals potten stapelen of een aardappel schillen. Het probleem is dat je geen duizenden video's hebt van robots die deze taken uitvoeren. Het opnemen van robotdata is traag, duur en vereist speciale apparatuur.

Echter, het internet is overstroomd met miljoenen video's van mensen die koken. Het probleem met het gebruik van deze video's is dat mensen er heel anders uitzien en zich heel anders bewegen dan robots. Als je een robot gewoon een video toont van een menselijke hand die een lepel grijpt, raakt de robot in de war omdat het geen menselijke hand heeft; het heeft een metalen grijper. Dit wordt de "lichaamsluik" (embodiment gap) genoemd.

Masquerade is een slimme truc om deze kloof te overbruggen. Hier is hoe het werkt, opgesplitst in eenvoudige stappen:

1. Het "Digitale Masker" (Data-bewerking)

Stel je de onderzoekers voor als digitale editors die een "masquerade-masker" dragen. Ze nemen ruwe video's van mensen die koken en voeren ze door een speciale pijplijn:

Stap A: Ze gebruiken AI om precies te vinden waar de handen van de mens zich in elk frame bevinden.
Stap B: Ze gebruiken "inpainting" (zoals een magische gum) om de armen en het lichaam van de mens te overschilderen en ze uit de video te verwijderen.
Stap C: Ze plakken digitaal een gesimuleerde robotarm op exact dezelfde plek waar de menselijke arm eerder zat.

Het resultaat is een video die er uitziet alsof een robot aan het koken is, ook al was het oorspronkelijk een mens. Ze hebben 675.000 frames van menselijke video's omgezet in "gerobotiseerde" demonstraties.

2. De "Leerling" (Pre-training)

Nu hebben ze een enorme bibliotheek met deze nep-robotvideo's. Ze gebruiken dit om de "hersenen" van de robot (een visuele encoder) te trainen.

De Les: De hersenen van de robot leren om naar een scène te kijken en te voorspellen waar de grijper van de robot als volgende naartoe zal bewegen, gewoon door deze bewerkte video's te bekijken.
De Analogie: Het is alsof een student duizend verhalenboeken leest over hoe een chef beweegt, zelfs als de student nog nooit een mes heeft vastgehouden. Ze leren het concept van de beweging.

3. De "Mentor" (Co-training)

De robot moet nog steeds de specifieke, echte fysica van zijn eigen lichaam leren. De onderzoekers verzamelen dus een klein beetje echte data: slechts 50 video's van een echte robot die de taak uitvoert in één specifieke keuken.

De Twist: In plaats van alleen te trainen op deze 50 echte video's, trainen ze op de 50 echte video's tegelijkertijd met de duizenden bewerkte menselijke video's.
Waarom? Als ze alleen op de 50 echte video's zouden trainen, zou de robot te stijf zijn en falen in nieuwe keukens. Als ze alleen op de menselijke video's zouden trainen, zou de robot zijn eigen metalen grijper niet begrijpen. Door beide samen te doen, leert de robot de algemene "flow" van koken van de mensen en het specifieke "gevoel" van zijn eigen lichaam uit de 50 echte voorbeelden.

Het Resultaat: Een Meesterkok in Elke Keuken

De onderzoekers testten dit op drie moeilijke taken (potten stapelen, aardappels schillen, chilipepers vegen) in gloednieuwe keukens die de robot nog nooit eerder had gezien.

De Wedstrijd: Ze vergeleken hun methode met andere top-AI-modellen die ofwel leerden van ruwe menselijke video's (zonder bewerking) ofwel leerden van standaard beelddatasets.
De Overwinning: De Masquerade-robot was 5 tot 6 keer succesvoller dan de anderen.
De Belangrijkste Bevinding: De "magie" zat niet alleen in het hebben van meer data; het zat in de bewerking. Toen ze probeerden de menselijke video's te gebruiken zonder de menselijke armen te vervangen door robotarmen, crashte de prestatie. De robot moest zichzelf (of een versie van zichzelf) in de video zien om effectief te leren.

Samenvatting

Masquerade is alsof je een robot een "droom" geeft waarin het zichzelf ziet uitvoeren van miljoenen taken die het eigenlijk nooit heeft gedaan. Door menselijke video's digitaal te bewerken zodat ze eruitzien als robotvideo's, en dit vervolgens te mengen met een klein beetje echte praktijk, leert de robot om te generaliseren. Het kan een volledig nieuwe keuken binnenlopen en succesvol koken, ook al werd het alleen getraind op 50 echte voorbeelden.

Wat het artikel NIET beweert:

Het beweert niet dat de robot perfect is; de bewerking is niet altijd 100% accuraat (bijvoorbeeld: als een hand verborgen is achter een pot, kan de robot er raar uitzien).
Het beweert niet dat dit werkt voor elk type robot (ze gebruikten een specifieke setup met twee armen).
Het beweert niet dat dit het probleem oplost van robots die zich verplaatsen (de robot in het experiment had een vaste camera en basis).

De kernboodschap is simpel: Kijk niet alleen naar mensen; bewerk de video zodat het robot laat zien hoe het eruit zou zien als het hetzelfde deed, en je krijgt veel betere resultaten.

Technische Samenvatting: Masquerade

Probleemstelling

Onderzoek naar robotmanipulatie staat voor een kritieke bottleneck: schaarste aan data. In tegenstelling tot natuurlijke taalverwerking (NLP) en computer vision (CV), die gebruikmaken van enorme, diverse datasets om doorbraken te realiseren, zijn datasets voor robotica een orde van grootte kleiner en minder divers. Het verzamelen van demonstraties van robots in de echte wereld is traag en duur. Hoewel "in-the-wild" menselijke video's een enorme, direct beschikbare bron van manipulatiegegevens bieden, is het benutten ervan voor het leren van robotbeleid moeilijk vanwege twee hoofdfactoren:

Visuele Embodiment-Kloof: Mensen en robots zien er anders uit en bewegen anders; menselijke handen corresponderen niet direct met robotgrijpers.
Gebrek aan Actielabels: Ruwe menselijke video's missen de precieze actielabels die nodig zijn voor supervised policy learning.

Eerdere werken hebben geprobeerd deze kloof te overbruggen door visuele encoders voor te trainen op menselijke video's of beloningsfuncties te leren, maar ze falen vaak om de visuele embodiment-kloof expliciet aan te pakken, en vertrouwen in plaats daarvan op het model om correspondenties impliciet te leren. Dit artikel stelt dat het expliciet dichten van deze kloof, zelfs imperfect, aanzienlijk meer signaal uit menselijke video's kan vrijmaken.

Methodologie: Masquerade

Masquerade is een pipeline die menselijke egocentrische video's uit de echte wereld bewerkt om "gerobotiseerde" demonstraties te creëren, die vervolgens worden gebruikt om een robotbeleid voor te trainen en gezamenlijk te trainen. Het proces bestaat uit drie hoofdfasen:

1. Data-bewerking en "Robotisering"

De pipeline converteert ruwe menselijke video's (specifiek uit het Epic Kitchens-dataset) naar synthetische robotdemonstraties door:

Posschatting: Het gebruik van HaMeR om 21 anatomische sleutelpunten per hand te schatten vanuit monoculaire videoframes.
Retargeting: Het mappen van deze 2D-handposities naar 3D-robot end-effector posities (positie, oriëntatie en grijperbreedte).
Inpainting: Het segmenteren en verwijderen van menselijke armen uit de videoframes met Detectron2 en SAM2, gevolgd door inpainting van de achtergrond met E2FGVI.
Overlay: Het renderen van een gesimuleerde bimanuele robot in dezelfde pose als de geschatte end-effector-trajectorie en het compositeren daarvan in het originele frame.
Filtering: Het verwerpen van frames met overmatige camerabeweging of ongeldige sleutelpuntextracties om stabiliteit te garanderen voor robots met een vaste basis.

Dit resulteert in een dataset van 675.000 bewerkte frames waarbij de video lijkt te tonen dat een robot de taak uitvoert.

2. Vooropleiding van de Visuele Encoder

Een Vision Transformer (ViT-Base) wordt voorgetraind op de bewerkte menselijke video's.

Doel: De encoder wordt getraind om toekomstige 2D-robotsleutelpunten (end-effector posities) te voorspellen over een horizon $H$ .
Conditionering: De encoder wordt geconditioneerd op natuurlijke taalbeschrijvingen van de videoclips met behulp van FiLM-lagen.
Verlies: Een 2D-sleutelpunt-regressieverlies ( $L_{2D}$ ) wordt geminimaliseerd. Cruciaal zijn de 2D-sleutelpunten afgeleid door de gesmoothde 3D-end-effector posities te projecteren op het beeldvlak, gecorrigeerd voor egocentrische camerabeweging via homografie.

3. Gezamenlijke training met echte robotdata

De voorgetrainde visuele encoder wordt fijn afgestemd in combinatie met een op diffusie gebaseerde policy-head, gebruikmakend van een kleine set echte robotdemonstraties (50 per taak).

Strategie: Het model wordt gezamenlijk getraind op een mix van bewerkte menselijke video's (met behulp van het auxiliaire 2D-verlies $L_{2D}$ ) en echte robotdata (met behulp van een imitatieverlies $L_{policy}$ ).
Redenering: Het behouden van het voortrainingsdoel tijdens de fijne afstelling is cruciaal. Het voorkomt dat de encoder de rijke representaties vergeet die zijn geleerd uit het enorme menselijke videodataset, waardoor robuustheid tegen out-of-distribution (OOD) sceneshifts wordt behouden.
Synthetische consistentie: Om de visuele kloof tussen de trainingsdomeinen te minimaliseren, worden de echte robotdemonstraties ook verwerkt door de echte robotarmen in te vullen en hetzelfde virtuele robotmodel te overlayen, zodat het model altijd de "gerobotiseerde" verschijning ziet.

Belangrijkste Bijdragen

Expliciete Embodiment-overbrugging: Het artikel toont aan dat het expliciet dichten van de visuele embodiment-kloof via eenvoudige 2D-inpainting en robot-overlays de overdraagbaarheid van representaties van menselijke video's naar robots aanzienlijk verbetert.
Gezamenlijke trainingspipeline: De auteurs tonen aan dat het gezamenlijk trainen van de visuele encoder met echte robotdata (in plaats van alleen fijn af te stemmen) onmisbaar is om de kennis behaald uit menselijke video's te behouden en OOD-robuustheid te bereiken.
Schaalbaarheid: De methode schaalt logaritmisch met de hoeveelheid bewerkte menselijke videodata, wat suggereert dat grotere datasets verdere prestatiewinsten zullen opleveren.
Zero-shot Generalisatie: De aanpak maakt zero-shot-deployering in onbekende omgevingen mogelijk zonder dat er extra robotdata moet worden verzameld voor die specifieke scènes.

Experimentele Resultaten

De methode werd geëvalueerd op drie lange-horizon, bimanuele keukenopdrachten (Stack Pots, Scrape Potato, Sweep Chilis) over drie verschillende out-of-distribution scènes per taak.

Prestaties: Masquerade presteerde beter dan alle baselines (ImageNet, DINOv2 en HRP) met een gemiddelde van 5–6× in slagingspercentages. Specifiek bereikte het een slagingspercentage van 74% ten opzichte van baselines die varieerden van 12% tot 20%.
Ablatiestudies:
- Geen Overlay: Het verwijderen van de robot-overlay en het trainen op ruwe menselijke video's veroorzaakte een steile daling in prestaties, wat de noodzaak van visuele uitlijning bevestigt.
- Geen Gezamenlijke training: Vooropleiding gevolgd door pure fijne afstelling (zonder gezamenlijke training op menselijke data) leidde tot een dramatische daling in prestaties, wat aangeeft dat gezamenlijke training essentieel is om de voorgetrainde representaties te behouden.
Data-schaalbaarheid: De slagingspercentages namen monotoon toe met het fractie bewerkte menselijke videodata dat werd gebruikt (van 2% bij 0% data tot 68% bij 100% data).
OOD-robuustheid: In tegenstelling tot baselines die te kampen hadden met grote prestatiedalingen bij het bewegen van in-distribution naar OOD-scènes, handhaafde Masquerade vergelijkbare prestatieniveaus, wat superieure robuustheid tegen sceneshifts aantoont.

Betekenis en Claims

Het artikel claimt dat Masquerade aantoont dat het expliciet aanpakken van de visuele embodiment-kloof – zelfs via imperfecte 2D-overlays – een enorme, onderbenutte bron van data uit in-the-wild menselijke video's vrijmaakt. Door data-bewerking te combineren met een gezamenlijke trainingsstrategie, stelt de methode robots in staat om robuuste manipulatiebeleid te leren uit enorme menselijke videodatasets met slechts een handvol echte robotdemonstraties.

De auteurs benadrukken dat deze aanpak geen complexe 3D-reconstructie of dieptedata vereist, waardoor het een praktische en schaalbare oplossing is voor het verbeteren van robotbeleid. Ze concluderen dat deze pipeline een veelbelovend pad biedt naar "web-scale" robotleren, waarbij de beperkingen van robotdatacollectie worden overwonnen door gebruik te maken van de overvloed aan menselijke videodata.

Erkende Beperkingen:
Het artikel merkt op dat de methode afhankelijk is van hand-pose-schatters die moeite hebben met snelle beweging of zware occlusie, wat data-filtering noodzakelijk maakt. Het gebrek aan dieptedata beperkt de realisme van occlusiebehandeling in de overlays. Bovendien is de retargeting van behendige menselijke handen naar parallelle kaakgrijpers imperfect. Toekomstig werk zou betere pose-schatters, diepteredenering en expressievere retargeting voor behendige grijpers kunnen omvatten.