💻 computer science

EgoInfinity: A Web-Scale 4D Hand-Object Interaction Data Engine for Any-View Robot Retargeting and Video-to-Action Robot Learning

EgoInfinity is een modulaire, web-schaalbare 4D-dataengine die willekeurige internetvideo's transformeert naar metrische hand-objectinteractie-representaties en uitvoerbare robottrajecten, wat schaalbaar, mens-in-de-lus-vrij robotleren en retargeting mogelijk maakt over diverse morfologieën en gezichtspunten.

Oorspronkelijke auteurs: Gaotian Wang, Kejia Ren, Andrew Morgan, Yiting Chen, Howard H. Qian, Podshara Chanrungmaneekul, Kaiyu Hang

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gaotian Wang, Kejia Ren, Andrew Morgan, Yiting Chen, Howard H. Qian, Podshara Chanrungmaneekul, Kaiyu Hang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met YouTube-video's waarin mensen alledaagse taken uitvoeren—het openen van dozen, het schenken van soep, het snijden van fruit of het afnemen van een tafel. Op dit moment kunnen robots deze video's niet echt "leren" omdat de beelden slechts platte plaatjes zijn (2D). De robot weet niet hoe zwaar een doos is, hoe ver de soep verwijderd is, of hoe precies de vingers van een mens een handvat aanraakten. Het is alsof je probeert te leren hoe je een auto bestuurt door alleen een zwart-witfilm te bekijken; je ziet de beweging, maar je kunt het stuur of de weg niet voelen.

EgoInfinity is een nieuwe "magische motor" die die platte, rommelige internetvideo's omzet in een 3D, natuurkundig bruikbare instructiehandleiding voor robots. Zo werkt het, stap voor stap uitgelegd:

1. De "Detective"-fase (De aanwijzingen vinden)

Eerst scant de motor miljoenen videoclips (specifiek uit een enorme dataset genaamd Action100M). Het werkt als een detective die op zoek is naar de goede stukjes. Het negeert saaie delen en focust alleen op de momenten waarop handen daadwerkelijk iets doen.

De metafoor: Denk aan een filmmonteur die snel door 100 uur aan ruwe beelden scant om de 5 minuten te vinden waarin de acteur daadwerkelijk spreekt, waarbij alle stilte wordt genegeerd.

2. De "3D-Vertaler" (Beelden omzetten in geometrie)

Zodra de motor een goede clip heeft gevonden, begint hij de 2D-video te vertalen naar 3D-data. Het gebruikt slimme AI-tools om te raden:

De Vorm: Hoe ziet het object er in 3D uit? (Is het een ronde appel of een platte doos?)
De Positie: Waar bevindt het object zich in de ruimte?
De Handen: Hoe bewegen de menselijke vingers?
De Schaal: Hoe groot is alles? (Is die mok 5 centimeter hoog of 50 centimeter?)

De paper noemt dit "metrische kalibratie".

De metafoor: Stel je voor dat je naar een foto kijkt van iemand die een koffiemok vasthoudt. Een normaal persoon zou de grootte kunnen gokken. EgoInfinity is als een supernauwkeurige 3D-scanner die direct weet dat de mok precies 10 centimeter hoog is en de hand 30 centimeter verwijderd is, waardoor de platte foto wordt omgezet in een virtueel 3D-model waar je omheen kunt lopen.

3. De "Reality Check" (De fouten herstellen)

AI kan soms in de war raken. Als een hand een object bedekt, kan de AI het spoor van het object verliezen. EgoInfinity heeft een speciale stap genaamd "Interaction-Aware Refinement". Het kijkt naar de relatie tussen de hand en het object.

De Logica: Als de hand een object vasthoudt, moet het object mee bewegen met de hand. Als de hand stilstaat, mag het object niet zomaar wegzweven.
De metafoor: Het is als een dansinstructeur die een video bekijkt. Als de video een glitch heeft en de partner van de danser plotseling in de lucht zweeft, zegt de instructeur: "Nee, dat klopt niet. Als ze elkaars handen vasthouden, moeten ze samen bewegen." De motor herstelt deze glitches om de natuurkunde realistisch te maken.

4. De "Universele Adapter" (Verschillende robots onderwijzen)

Dit is het meest vernuftige deel. De motor kopieert niet exact de lichaamsbewegingen van de mens. Mensen hebben lange armen en twee handen; robots kunnen korte armen, wielen of grijpers hebben die totaal niet op handen lijken.

De Oplossing: EgoInfinity begrijpt het doel van de beweging (bijv. "pak de mok op") en vertaalt dat doel vervolgens naar de eigen taal van de robot. Het vraagt: "Hoe kan deze specifieke robot hetzelfde resultaat bereiken?"
De metafoor: Stel je voor dat je een hond leert om een bal te halen. Je zegt de hond niet: "Ren als een mens." Je zegt tegen de hond: "Ga de bal halen," en de hond zoekt zelf uit hoe hij zijn poten en benen moet gebruiken om dat te doen. EgoInfinity doet dit voor robots: het neemt de menselijke "haal de bal"-actie en vertelt een robotarm hoe hij via zijn eigen gewrichten kan "halen".

Wat hebben ze daadwerkelijk gebouwd?

De auteurs hebben niet alleen een theorie geschreven; ze hebben een werkend systeem gebouwd en getest:

Een Web Engine: Ze hebben een tool gemaakt die deze video's automatisch kan verwerken zonder dat mensen elk frame handmatig hoeven te labelen.
Een Dataset: Ze hebben 106 video's uit de Action100M-collectie verwerkt, wat resulteerde in een bibliotheek van 3D hand-en-object-data.
Echte Robottests: Ze hebben er succesvol echte robots (zoals een Unitree G1 robot en een dual-arm Franka robot) in geslaagd om taken uit te voeren zoals snijden, schenken en afnemen, enkel door deze verwerkte video's te bekijken. Ze hebben ook een robothand getraind om verschillende objecten (appels, bananen, soepblikken) vast te pakken met behulp van de data als gids.

Wat zijn de beperkingen?

De paper is eerlijk over wat het nog niet kan:

Camera-beweging: Het werkt het beste wanneer de camera grotendeels stilstaat (zoals op een statief). Het heeft moeite als de camera wild schudt of wordt vastgehouden door een bewegende hand.
Tastzin: Het kan niets voelen. Het weet waar de hand is, maar het weet niet hoe hard de robot knijpt of of een object glad is.
Perfecte Precisie: Het is erg goed in algemene taken, maar het is misschien niet nauwkeurig genoeg voor delicate chirurgie of taken die een exacte plaatsing van de vingertoppen vereisen.

Kortom: EgoInfinity is een brug. Het neemt de rommelige, ongestructureerde wereld van menselijke YouTube-video's en zet deze om in schone, 3D, natuurkundig accurate instructies die robots daadwerkelijk kunnen lezen en volgen, waardoor ze nieuwe vaardigheden kunnen leren zonder dure sensoren of menselijke leraren die elke beweging moeten opnemen.

Technische Samenvatting: EgoInfinity

1. Probleemstelling

Het trainen van generalistische robots vereist manipulatiedata die zowel schaalbaar als divers is. Hoewel in laboratoria verzamelde en via wearables opgenomen egocentrische datasets (bijv. Ego4D, OakInk2) hoogwaardig toezicht bieden, zijn ze beperkt door schaal, verzamlingskosten en taakdiversiteit. Internetvideo's bieden een enorme, ongestructureerde bron van menselijke manipulatiekennis (bijv. Action100M bevat 14,6 jaar aan filmmateriaal), maar ze zijn niet direct uitvoerbaar voor robots. Bestaande methoden hebben moeite om willekeurige RGB-beelden om te zetten in uitvoerbare robottrainingsdata omdat deze video's geen metrische 3D-geometrie, 6-DoF objecttoestanden, contactinformatie of robotspecifieke actieruimtes bevatten. Het simpelweg vertalen van 2D-acties naar de robotruimte leidt vaak tot slecht gegronde of fysiek onhaalbare gedragingen. De kernuitdaging is het automatisch verwerken van web-schaal video's uit de echte wereld naar gestructureerde, metrische 4D hand-object interactie (HOI) representaties zonder menselijke tussenkomst bij de annotatie.

2. Methodologie

EgoInfinity is een volledig geautomatiseerde, modulaire 4D-manipulatiedata-engine die ontworpen is om ruwe RGB-video's om te zetten in agent-onafhankelijke, metrische hand-en-object representaties. Het systeem werkt via een meerfasige pipeline:

3.1 Modulaire Pipeline Architectuur

De engine maakt gebruik van een twee-pass strategie voor schaalbaarheid:

Pass 1 (Filtering): Een lichtgewicht temporele scan identificeert segmenten met de aanwezigheid van handen door middel van handbewegingsstatistieken en camerabewegingskenmerken om niet-manipulatie inhoud te filteren.
Pass 2 (Reconstructie): De volledige reconstructie-stack wordt alleen toegepast op actieve segmenten. De pipeline is ontworpen om component-vervangbaar te zijn, waardoor upgrades mogelijk zijn naarmate fundamentele modellen verbeteren.

3.2 Metrisch gekalibreerde Hand–Object Tracking

Een centraal ontwerpprincipe is cross-module kalibratie om ervoor te zorgen dat alle componenten een uniforme metrische schaal en cameraraam delen, in plaats van te vertrouwen op ruwe, niet-uitgelijnde modeloutputs.

Uniforme Metrische Geometrie: Het systeem gebruikt MOGE-2 voor brandpuntsafstand van de camera en globale metrische schaal, FLOW3R voor dichte dieptekaarten, en GEOCALIB voor de schatting van de zwaartekrachtvector. Dit tilt beeldruimte-voorspellingen naar een gedeelde 3D-ruimte.
Hand Tracking: WILOR schat de MANO-handparameters (houding en vorm) om handmeshes en 3D-sleutelpunten te genereren. Een invulling-module stabiliseert ontbrekende of instabiele schattingen.
Object Discovery & Tracking: Objecten worden automatisch ontdekt met behulp van video-beschrijvingen als semantische prompts voor SAM-3 detectie, gepropageerd via SAM-2, en verhoogd met diepte. SAM-3D reconstrueert objectmeshes wanneer er voldoende visueel bewijs is. FOUNDATIONPOSE++ volgt de 6-DoF objectpose-trajectorie binnen hetzelfde metrische frame als de handen.

3.3 Interactie-bewuste Verfijning

Om temporele instabiliteit en drift in pure visuele tracking aan te pakken, verfijnt het systeem objecttrajecten op basis van gedetecteerde interactiestatussen:

Statusclassificatie: Frames worden geclassificeerd als statisch, vastgegrepen of bewegend met behulp van optische flow (MEMFOF) en hand-sleutelpunten.
Verfijningslogica:
- Vastgegrepen: Het object is star verbonden met het handframe met een palm-gealigneerde canonieke transformatie.
- Statisch: Het object is vergrendeld aan zijn robuuste puntenwolk-zwaartepunt.
- Bewegend: Het object behoudt zijn initiële voorstel.
Controles: Onwaarschijnlijke schalen en foutieve achtergronddetecties worden onderdrukt.

3.4 Cross-Embodiment Robot Beweging Retargeting

De engine bevat een functionele retargeter om de herstelde 3D-handbewegingen om te zetten in uitvoerbare gewrichtstrajecten voor diverse robotmorphologieën (bijv. Unitree G1, Robonaut2, Dual-Franka).

Root Frame Schatting: In plaats van een volledige menselijke lichaamshouding te vereisen, schat een SE(3)-equivariante neuraal netwerk ( $\Phi$ ) een haalbaar robotspecifiek root frame (bijv. torso) op basis van handtrajecten en optionele zwaartekracht.
Flow-Matching: Het netwerk gebruikt flow-matching conditionele generatie om de distributie van plausibele root frames te modelleren, waarbij gevallen worden afgehandeld waarin verschillende lichaamshoudingen dezelfde handbeweging opleveren (cruciaal voor gedeeltelijke lichaamsobservaties).
Training: Het netwerk wordt volledig getraind in de MuJoCo-simulatie met behulp van procedureel gegenereerde gepaarde data, uitgebreid met trackingruis, occlusie en zwaartekrachtruis om robuustheid tegen in-the-wild reconstructiefouten te garanderen.
Executie: Kandidaat-root frames worden geselecteerd op basis van IK-convergentie, gewrichtslimieten en manipuleerbaarheid. Het uiteindelijke traject wordt verfijnd via IK en post-optimalisatie (smoothing).

3. Belangrijkste Bijdragen

EgoInfinity Engine: Een volledig geautomatiseerde, modulaire 4D-manipulatiedata-engine die web-schaal internetvideo's verwerkt naar metrische hand-object representaties zonder wearables, dieptesensoren, CAD-modellen of handmatige objectannotaties.
Interactie-bewuste Verfijning: Een nieuwe aanpak die cross-module metrische kalibratie combineert met interactie-statusverfijning om drift te verminderen en fysieke plausibiliteit te verbeteren vergeleken met pure visuele reconstructie.
Functionele Cross-Embodiment Retargeting: Een methode die een robotspecifieke root-transformatie schat om relevante taakbewegingen te behouden binnen de doelrobot-beperkingen, wat video-naar-actie transfer mogelijk maakt voor willekeurige gezichtspunten en gedeeltelijke menselijke observaties.

4. Resultaten en Validatie

De auteurs valideren EgoInfinity over vier dimensies:

Data Toegang & Statistieken: Een browsergebaseerde server maakt het zoeken en visualiseren van de gecureerde Action100M subset (106 clips, 277 objecten) mogelijk. Statistieken tonen een gebalanceerde mix van objectcategorieën (containers, gereedschap, voedsel) en interactiestatussen (88% van de clips betreft manipulatie).
Retargeting Prestaties: Getest op Unitree G1, Robonaut2 en Dual-Franka FR3. Het systeem behaalde IK-succespercentages tussen 70,6% en 82,1%, met gemiddelde positiefouten variërend van 2,86 cm tot 10,27 cm, afhankelijk van de kinematische complexiteit van de robot.
Real-Robot Executie:
- Policy Learning: De geëxtraheerde handbewegingen dienden als priors voor het trainen van een grijppolicy op een echte LEAP dexterous hand, wat succesvol generaliseerde naar diverse objecten (appels, bananen, soepblikken).
- Directe Retargeting: Bewegingen werden direct geretarget naar een echte dual-arm Franka FR3 setup, wat de functionele uitvoering demonstreerde van snij-, schenk- en poetsvaardigheden.

5. Betekenis en Claims

Het artikel beweert dat EgoInfinity een schaalbare brug vormt van internetvideo's naar uitvoerbaar robotgedrag, waarmee het knelpunt van datascarciteit voor open-world robotica wordt aangepakt. Door prioriteit te geven aan metrische 3D-geometrie en interactie-bewuste verfijning boven 2D pseudo-acties, verbetert het systeem de fysieke gronding van data geëxtraheerd uit menselijke video's. Het modulaire ontwerp zorgt ervoor dat de engine continu kan profiteren van vooruitgang in perceptie- en reconstructiemodellen. De auteurs positioneren EgoInfinity niet als een statische dataset, maar als een universele engine die in staat is om gestructureerde, voor robots bruikbare 4D-data te genereren uit willekeurige web-schaal bronnen, ter ondersteuning van toekomstig werk in robotica, multimodale grounding en mens-robot interactie (HRI).

Beperkingen: Het systeem gaat momenteel uit van video's met een ongeveer statische camera (exclusief body-mounted beelden) en garandeert geen fijnmazige contact-niveau nauwkeurigheid (bijv. exacte vingertipplaatsing of krachtconsistentie) of biedt tactiele observaties. De retargeter is robotspecifiek en richt zich op functionele bewegingsoverdracht in plaats van precieze kinematische imitatie.