DynaHOI: Benchmarking Hand-Object Interaction for Dynamic Target

Probleemstelling

Bestaande benchmarks voor hand-object interactie (HOI) en handbewegingsgeneratie richten zich bijna uitsluitend op statische objecten. In de echte wereld zijn interacties echter vaak dynamisch: objecten bewegen, en een mens moet kortetermijnvoorspellingen doen en real-time redeneren om een doel te onderscheppen en vast te grijpen.
De huidige modellen (zoals Vision-Language-Action modellen en diffusie-politiek) zijn getraind en geëvalueerd op statische scenario's, wat leidt tot een kritieke blinde vlek: ze kunnen de toekomstige positie van een bewegend doel niet nauwkeurig voorspellen en de instructies voor het grijpen niet op het juiste tijdstip uitvoeren. Directe evaluatie in de fysieke wereld is echter moeilijk vanwege hoge kosten, moeilijk reproduceerbare bewegingen en de complexiteit van grootschalige dataverzameling.

Methodologie

Om dit gat te dichten, stellen de auteurs een nieuwe infrastructuur en benchmark voor:

1. DynaHOI-Gym (Het Platform):

   • Een unificatie, online, gesloten-lus simulatieplatform gebouwd op de Unity physics engine.
   • Het gebruikt geparametriseerde bewegingsgeneratoren om doelen te laten bewegen volgens diverse patronen (van kinematische primitieven tot fysisch beperkte en stochastische dynamiek).
   • In plaats van offline afstemming op grondwaarheid (ground truth), evalueert het platform modellen via rollouts (simulatiesessies) met succespercentages, trajectkwaliteit en taakvoltooiingssnelheid.
   • Het introduceert een "Observe-before-act" protocol: het model krijgt een korte observatiefase om de beweging van het doel te analyseren voordat het actie onderneemt.

2. DynaHOI-10M (De Benchmark):

   • Een grote dataset met 10 miljoen frames en 180.000 grijptrajectorieën.
   • De bewegingen zijn gestructureerd in 8 hoofdcatagorieën (zoals rechte lijn, cirkelvormig, projectiel, slingerbeweging) en 22 subcategorieën.
   • De dataset bevat 11 objecttypes met diverse texturen en achtergronden om visuele diversiteit te waarborgen.
   • De data omvat zowel "direct act" (statisch) als "observe-before-act" (dynamisch) rollouts.

3. ObAct Baseline (Het Model):

   • De auteurs stellen een nieuwe baseline voor genaamd ObAct (Observe-before-Act).
   • Dit model integreert korte-termijn observaties (historische frames) met de huidige frame via spatio-temporele aandacht (spatiotemporal attention).
   • Het gebruikt een bestaande diffusie-politiek (hergebruikend van GR00T-N1.5 gewichten) maar voegt een bewegingsbewust mechanisme toe om de snelheid en versnelling van het doel te infereren voordat de hand beweegt.

Kernbijdragen

1. Het DynaHOI-Gym Platform: Een reproduceerbaar, gesloten-lus evaluatieomgeving voor dynamische hand-object interactie met geautomatiseerde dataverzameling en online metrics.
2. De DynaHOI-10M Benchmark: De eerste grote schaal benchmark specifiek gericht op het grijpen van bewegend doelwit, met 10M frames en een rijke variatie aan bewegingstypen.
3. De ObAct Baseline: Een bewijst dat het integreren van korte-termijn temporele observaties de prestaties aanzienlijk verbetert ten opzichte van statische modellen.

Resultaten

De auteurs hebben een "Model Zoo" geëvalueerd, bestaande uit 12 modellen (inclusief autoregressieve modellen, diffusie-politiek en Vision-Language-Modellen zoals GPT-5.1 en Qwen3-VL).

• Algemene Prestaties: Bestaande modellen presteren slecht op dynamische taken. Zelfs het beste bestaande model (GR00T-N1.5) bereikt slechts 27,9% succes bij het lokaliseren van het doel ($S_{loc}$) en slechts 3,5% succes bij het daadwerkelijk grijpen ($S_{gra}$), zelfs als de lokalisatie gelukt is.
• VLM Prestaties: Algemene Vision-Language-Modellen (VLMs) presteren nog slechter, met een lokalisatiesucces van vaak minder dan 7% en grote foutmarges. Dit toont aan dat motion-aware anticipation een fundamenteel probleem is voor huidige VLMs.
• ObAct Succes: De ObAct baseline overtreft alle bestaande diffusie-modellen op alle 7 gemeten metrics.
  • Locatiesucces: Een verbetering van +8,1% ten opzichte van de sterkste diffusie-baseline.
  • Trajectkwaliteit: ObAct levert soepelere en rechtlijnigere trajecten op dan andere diffusie-modellen.
  • Tijdsbesteding: ObAct voltooit taken sneller, wat aangeeft dat temporele context helpt bij het sneller "vastleggen" van het doel.
• Ablatie: Meer observatieframes leiden tot een lineaire verbetering in succes en een daling in foutmarges, wat bevestigt dat temporele informatie cruciaal is voor anticipatie.

Betekenis en Impact

Dit werk markeert een verschuiving in het onderzoek naar robotica en HOI van statische naar dynamische scenario's.

• Het benadrukt dat huidige state-of-the-art modellen (zelfs grote VLA's) worstelen met het voorspellen van beweging en het coördineren van timing voor interactie met bewegende objecten.
• De benchmark biedt een gestandaardiseerde manier om modellen te testen op hun vermogen tot "motion-aware anticipation" (bewegingsbewuste anticipatie).
• De resultaten suggereren dat voor dexterous manipulation (vaardige manipulatie) in de echte wereld, modellen niet alleen moeten kijken naar de huidige toestand, maar actief moeten leren redeneren over de toekomstige toestand van de omgeving door gebruik te maken van temporele context.

Kortom, DynaHOI stelt een nieuwe standaard voor het evalueren van robotische handvaardigheid in dynamische omgevingen en toont aan dat er nog een grote kloof bestaat tussen huidige AI-modellen en het vermogen van mensen om bewegende objecten te vangen.