WHOLE: World-Grounded Hand-Object Lifted from Egocentric Videos

Deze paper introduceert WHOLE, een methode die hand- en objectbewegingen holistisch reconstrueert in de wereldruimte vanuit egocentrische video's door gebruik te maken van een generatieve prior voor interacties, wat aanzienlijk betere resultaten oplevert dan bestaande methoden die deze elementen afzonderlijk behandelen.

De kern

Stel je voor dat je een bril draagt die alles opneemt wat je ziet, alsof je de wereld door je eigen ogen bekijkt. Dit noemen we een "egocentrische video". Het probleem is dat je handen en de voorwerpen die je vasthoudt vaak in de weg zitten, elkaar verstoppen, of even uit beeld verdwijnen. Voor een computer is het heel lastig om te begrijpen wat er precies gebeurt: Houdt die persoon nu de bliksem vast? Of is de bliksem net op de tafel gelegd?

Deze paper introduceert WHOLE, een slimme nieuwe manier voor computers om dit soort video's te begrijpen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Losse Puzzelelementen"

Tot nu toe probeerden computers vaak twee dingen apart op te lossen:

• "Waar zijn de handen?"
• "Waar is het voorwerp?"

Maar dit werkt niet goed als je een blikje vastpakt. Als de computer alleen naar de handen kijkt, weet hij niet dat ze een blikje vasthouden. Kijkt hij alleen naar het blikje, dan weet hij niet wie het vasthoudt. Het resultaat is vaak raar: zwevende voorwerpen of handen die door objecten heen gaan, alsof ze spoken zijn.

2. De Oplossing: WHOLE als een "Regisseur met een Geheugen"

WHOLE doet iets anders. Het behandelt handen en voorwerpen niet als losse stukjes, maar als een geheel team.

Stel je voor dat WHOLE een regisseur is die een film draait. Deze regisseur heeft een geheugen (een "generatieve prior") van duizenden films waarin mensen dingen vastpakken, dragen en neerzetten. Hij weet hoe het voelt om een zware doos te tillen of een lichte blik te openen. Hij weet dat als je een hand op een doos legt, de doos mee moet bewegen.

3. Hoe het Werkt: De "Gids" en de "Schets"

WHOLE werkt in twee stappen, alsof het een tekening maakt en die dan verfijnt:

• Stap 1: De Ruwe Schets (De Regisseur)
  De computer kijkt eerst naar de video en maakt een ruwe schets van waar de handen ongeveer zijn. Dit is niet perfect, het kan wat wazig zijn. Maar de "regisseur" (het AI-model) gebruikt zijn geheugen om te voorspellen: "Oké, de handen zijn hier, en omdat ze een doos vasthouden, moet de doos hier zijn en niet zweven."

• Stap 2: De Gids (De Correctie)
  Nu komt de slimme truc. WHOLE gebruikt de daadwerkelijke video als een gids.

  • Het kijkt naar de video: "Zie je die vlek? Dat is de hand. En zie je die vlek? Dat is het voorwerp."
  • Het gebruikt zelfs een AI-assistent (een Vision-Language Model, of VLM) die als een slimme observator fungeert. Deze assistent kijkt naar de video en zegt: "Hé, op dit moment raken de vingers het voorwerp aan!" of "Nee, op dit moment laat hij het los."
  • WHOLE gebruikt deze informatie om de ruwe schets te corrigeren. Het zorgt ervoor dat de handen en het voorwerp precies op de plekken in de video zitten waar ze horen te zijn, terwijl ze toch logisch bewegen.

4. Waarom is dit zo cool?

• Het ziet door de "blindheid" heen: Als je hand een voorwerp volledig bedekt (occlusie), ziet de camera het voorwerp niet meer. Andere methoden raken dan de draad kwijt. WHOLE denkt echter: "Ik weet dat de hand het vasthoudt, dus het voorwerp moet daar zijn, zelfs als ik het niet kan zien." Het vult de gaten in met logisch denken.
• Het is consistent: Het voorwerp zweeft niet door de lucht en de hand gaat niet door de tafel heen. Alles beweegt als één fysiek verhaal.
• Het werkt in de echte wereld: Het kan de bewegingen van handen en voorwerpen reconstrueren in een vaste, 3D-ruimte (alsof je de video van buitenaf bekijkt), zelfs als de camera zelf beweegt (zoals op je hoofd).

Samenvattend

WHOLE is als een slimme filmregisseur die een video van een persoon die dingen vastpakt, omzet in een perfecte 3D-film. Hij gebruikt zijn kennis van hoe de wereld werkt (dat handen en voorwerpen samenwerken) en laat zich helpen door een slimme assistent die naar de video kijkt om te zeggen waar de handen en voorwerpen precies zijn. Het resultaat is een reconstructie die niet alleen technisch goed is, maar ook voelt als een echt, natuurlijk menselijk gedrag.

Dit is een enorme stap voor robots die van mensen leren, of voor Virtual Reality-ervaringen die echt aanvoelen alsof je erbij bent.

Technische samenvatting

Probleemstelling

Egocentrische video's (opgenomen vanuit het perspectief van de drager van een camera, zoals bij AR-brillen) vormen een uitdagende omgeving voor het reconstrueren van hand-object interacties. De belangrijkste moeilijkheden zijn:

• Zware occlusies: Handen verbergen objecten vaak, en objecten kunnen elkaar verbergen.
• In- en uitbeelding: Objecten verlaten en betreden het beeldveld frequent terwijl de drager beweegt.
• Egomotie: De camera beweegt mee met de persoon, wat grote bewegingen veroorzaakt zelfs als het object stil staat.
• Inconsistentie: Bestaande methoden behandelen hand- en objectpositie vaak als gescheiden taken. Dit leidt tot inconsistente relaties tussen hand en object (bijvoorbeeld een hand die door een object "heen" beweegt of objecten die zweven).

Het doel is om zowel de beweging van de handen als die van de gemanipuleerde objecten te reconstrueren in een consistente, wereld-georiënteerde (allocentrische) 3D-coördinatenstelsel, gegeven een egocentrische video en een 3D-template van het object.

Methodologie: WHOLE

WHOLE (World-Grounded Hand-Object Lifted from Egocentric Videos) lost dit op door een holistische, generatieve aanpak te gebruiken. In plaats van handen en objecten apart te voorspellen en later te combineren, leert het model een gezamenlijke prior over hand-object bewegingen.

De kerncomponenten zijn:

1. Generatieve Motion Prior (Diffusiemodel):

   • Het model is een conditionele diffusiemodel dat is getraind op een dataset met hand-object interacties (HOT3D).
   • Het leert de onderlinge dynamiek en contactrelaties tussen handen en objecten in een zwaartekracht-georiënteerd lokaal coördinatenstelsel.
   • Input: Een ruwe schatting van de handbeweging (van een bestaande estimator) en een 3D-object-template.
   • Output: Verfijnde handbewegingen (MANO-parameters), objecttrajecten (6D SE(3) transformaties) en binaire contactlabels (links/rechts).

2. Gestuurde Generatie (Guided Generation) bij Testtijd:

   • Om de generatie af te stemmen op de specifieke inputvideo, gebruikt WHOLE classifier-guidance.
   • In plaats van duizenden optimalisatiestappen (zoals bij SDS), wordt de generatie in één pass geleid door visuele waarnemingen.
   • De sturing gebeurt via drie termen:
     • Reprojectie: Vergelijking van de gegenereerde 3D data met 2D maskers (segmentatie van hand en object) en contactpunten.
     • Interactie: Verplichtt realistische fysica (bijv. objecten bewegen niet als er geen contact is; contactpunten bewegen rigide).
     • Temporele gladheid: Zorgt voor vloeiende trajecten.

3. VLM voor Contactdetectie:

   • Een Vision-Language Model (VLM) wordt gebruikt om contact tussen hand en object te detecteren.
   • Om de nauwkeurigheid te verhogen in rommelige scènes, worden visuele prompts (masks) aan het VLM gegeven.
   • Dit resulteert in robuuste contactlabels die als sturing dienen voor het diffusiemodel, zelfs zonder ground-truth labels.

4. Verwerking van Lange Video's:

   • Het model werkt met vaste vensters (120 frames). Voor langere video's worden overlappende vensters gebruikt die worden "geblended" om een naadloze, continue wereldtrajectie te garanderen.

Kernbijdragen

• Holistische Reconstructie: WHOLE is de eerste methode die hand- en objectbeweging gezamenlijk reconstrueert in een wereld-coördinatenstelsel vanuit egocentrische video's, rekening houdend met hun onderlinge afhankelijkheid.
• Generatieve Prior: Het introduceert een diffusiegebaseerde prior die specifiek is getraind op hand-object interacties, wat zorgt voor fysiek plausibele en diverse bewegingen.
• Robuuste Contactinformatie: Het gebruik van een geoptimaliseerd VLM voor het genereren van contactlabels, wat de noodzaak van dure ground-truth contactlabels bij testtijd elimineert.
• Unified Framework: Het combineert SLAM-data, objecttemplates en visuele waarnemingen in één generatief proces, wat superieur is aan het naadloos samenvoegen van losse state-of-the-art modellen.

Resultaten

Het model is geëvalueerd op de HOT3D-dataset en vergeleken met de beste bestaande methoden (zoals HaWoR voor handen en FoundationPose voor objecten) en combinaties daarvan.

• Handbeweging: WHOLE presteert beter dan bestaande methoden op wereld-georiënteerde nauwkeurigheid (W-MPJPE) en temporele gladheid, zelfs in vergelijking met gespecialiseerde hand-trackers.
• Objectbeweging: WHOLE overtreft FoundationPose aanzienlijk, vooral in uitdagende scenario's zoals occlusie (objecten gedeeltelijk verborgen) en uitzicht (objecten tijdelijk uit beeld). Het kan plausibele bewegingen infereren zelfs als het object niet zichtbaar is, dankzij de kennis van de handbeweging.
• Interactie: De relatieve positie tussen hand en object is veel consistenter. Baselines vertonen vaak "zwevende objecten" of onrealistische contactmomenten, terwijl WHOLE fysiek correcte interacties produceert.
• Ablatiestudies:
  • De gebruikte VLM-contactlabels presteren bijna net zo goed als ground-truth labels.
  • Het afwisselen van diffusiestappen en sturing (in plaats van eerst genereren en dan optimaliseren) is cruciaal voor de kwaliteit.
  • De interactieloss (straf voor onrealistische contacten) is essentieel voor nauwkeurige objecttrajecten.
• Generalisatie: WHOLE toont een redelijke zero-shot generalisatie op de H2O-dataset, terwijl andere RGB-gebaseerde methoden daar volledig falen.

Significantie

WHOLE vertegenwoordigt een belangrijke stap voorwaarts in het begrijpen van menselijke interacties in 3D-ruimtes.

• Robotica: Het biedt een robuuste manier om menselijke demonstraties te interpreteren voor robotleren (Imitation Learning), waarbij de exacte timing en fysica van het grijpen en plaatsen cruciaal zijn.
• AR/VR: Het maakt immersieve omgevingen mogelijk waar virtuele objecten realistisch met fysieke objecten en handen interageren.
• Cognitieve Inzicht: Het benadert de menselijke cognitieve vaardigheid om waarnemingen uit het eerste gezichtspunt om te zetten in een persistent 3D-wereldmodel.

Kortom, WHOLE bewijst dat het gezamenlijk modelleren van handen en objecten via een generatief prior, superieur is aan het behandelen van deze entiteiten als losse problemen, vooral in complexe, dynamische en gedeeltelijk zichtbare scènes.