Technische Samenvatting: Naar in-the-wild Egocentrische 3D Hand-Object Pose Estimatie

Probleemstelling

Het schatten van een nauwkeurige 3D hand-object pose uit in-the-wild egocentrische RGB-beelden blijft een grote uitdaging vanwege ernstige occlusies, ambigue contactregio's en de grote diversiteit aan objecten en handconfiguraties. Hoewel bestaande leergebaseerde methoden succes hebben geboekt in gecontroleerde lab-omgevingen, worstelen ze met het generaliseren naar real-world scenario's. Een primaire flessenhals is het gebrek aan hoogwaardige supervisie; het verkrijgen van ground-truth 3D poses voor zowel handen als objecten in ongescriptte omgevingen vereist doorgaans dure motion capture (MoCap) systemen, die onpraktisch zijn voor grootschalige dataverzameling. Bovendien vertonen bestaande datasets vaak minimalistische, ongestructureerde achtergronden die niet de complexiteit van real-world egocentrische interacties weerspiegelen.

Methodologie

1. EPIC-Contact Dataset

Om het gebrek aan in-the-wild supervisie aan te pakken, introduceren de auteurs EPIC-Contact, een dataset bestaande uit 2.300 videoclips (62.300 frames) afkomstig van de EPIC-Kitchens dataset. De dataset bevat 9 objectcategorieën en legt diverse, rommelige real-world interacties vast.

De annotatie-pipeline omvat drie sleutelstadia:

• Hand Contact Annotatie: Annotatoren "schilderen" contactvertices op een gesubdivideerd MANO-handmesh (3.106 vertices) met behulp van video-context om occlusie-regio's te infereren. Dit zorgt voor hoog-precieze labeling van contactregio's.
• Bijectieve Contactoverdracht: Contactregio's op de hand worden geparametriseerd met 2-DoF contactassen. Deze assen worden via een interactieve tool overgebracht naar het objectoppervlak, waardoor bijectieve correspondenties tussen hand- en objectvertices ontstaan. De objectschaling wordt verfijnd met behulp van een Vision-Language Model (VLM) om specifieke instanties in de video te matchen.
• EC-fit Optimalisatie: Een optimalisatie-pipeline (EC-fit) leidt geposte 3D hand-object meshes af uit de contactannotaties. Het initialiseert poses met behulp van WiLoR en categorie-bewuste priors, en lijnt meshes uit door contactverlies, een occlusion-aware mask loss en een penetratieverlies te minimaliseren om fysieke realiteit te waarborgen.

2. HOPformer Architectuur

De auteurs stellen HOPformer voor, een end-to-end transformer-framework voor gezamenlijke 3D bi-manual hand en object pose estimatie vanuit een enkele RGB-afbeelding in één forward pass.

• Feature Extractie: Het model gebruikt DINOv2 (ViT-G) voor object feature extractie en WiLoR voor hand pose features.
• Cross-Attention Decoder: Een kerninnovatie is het gebruik van een cross-attention decoder die object features conditioneert op hand priors. In tegenstelling tot eerdere methoden die hand en object features onafhankelijk behandelen of via eenvoudige concatenatie, verfijnt HOPformer iteratief de objectrepresentaties door te attentionen op de handcontext. Dit stelt het model in staat om robuuste 3D handreconstructie-priors te gebruiken om de objectpose-estimatie te sturen, met name bij occlusie.
• Object Retrieval: Het netwerk bevat een classificatiekop om de objectcategorie te voorspellen, waarbij de bijbehorende 3D mesh wordt opgehaald uit een vooraf gedefinieerde pool. De geregresseerde pose wordt vervolgens toegepast op de opgehaalde mesh.
• Trainingssignaal: Het model wordt getraind met een combinatie van 2D/3D keypoint losses, MANO-parameter losses, object classificatie loss en een specifieke interactie loss gebaseerd op Contact Deviation (CDev) om fysieke consistentie tussen hand- en objectmeshes af te dwingen.

Belangrijkste Bijdragen

1. EPIC-Contact Dataset: De introductie van een grootschalige, in-the-wild egocentrische dataset met dichte, bijectieve 3D hand-object contactcorrespondenties en geposte meshes, wat training en evaluatie mogelijk maakt in uitdagende real-world scenario's.
2. HOPformer: Een nieuwe transformer-gebaseerde architectuur die gezamenlijk bi-manual hand en object poses voorspelt door hand priors te benutten om object features te verrijken via cross-attention.
3. State-of-the-Art Prestaties: De demonstratie dat HOPformer superieure resultaten behaalt op zowel gevestigde in-lab benchmarks als de nieuwe in-the-wild dataset.

Experimentele Resultaten

In-Lab Prestaties (ARCTIC Dataset)

Geëvalueerd op de ARCTIC dataset (egocentric split), bereikt HOPformer een Success Rate (SR@0.05) van 82,4%, waarmee het de vorige state-of-the-art, JointTransformer (76,2%), met 6,2 procentpunten verslaat. Het vermindert ook de Contact Deviation (CDev) van 35,0 mm naar 31,9 mm en de Motion Deviation (MDev) van 10,4 mm naar 7,3 mm.

In-the-Wild Prestaties (EPIC-Contact Dataset)

Op de nieuw geïntroduceerde EPIC-Contact dataset verdubbelt HOPformer bijna de success rate vergeleken met baselines (29,8% vs. 17,6% voor JointTransformer) en vermindert het de CDev met 75% (van 30,1 mm naar 20,7 mm). Het model demonstreert robuustheid tegen occlusies, rommel en transparante objecten waar voorheen methoden vaak faalden om contactconsistentie te behouden.

Ablatie Studies

Ablatie-experimenten bevestigen dat de prestatiewinsten worden gedreven door:

• Hand-geconditioneerde Cross-Attention: Het vervangen van het cross-attention mechanisme door eenvoudige concatenatie veroorzaakt een drastische prestatiedaling (SR van 82,4% naar 29,4%).
• Gespecialiseerde Hand Priors: Het gebruik van generieke DINOv2 tokens voor hand features in plaats van WiLoR verslechtert de prestaties aanzienlijk, wat het belang van pose-gespecialiseerde hand features onderstreept.
• Interactie Loss: Het verwijderen van de CDev-gebaseerde interactie loss verhoogt de contactdeviatie, wat de rol ervan bevestigt bij het afdwingen van fysieke consistentie.

Betekenis en Claims

Het artikel claimt dat EPIC-Contact en HOPformer een belangrijke stap vormen richting schaalbare en robuuste 3D hand-object pose estimatie in ongescriptte omgevingen. Door een methode te introduceren om dichte contactannotaties te verkrijgen zonder MoCap, en een modelarchitectuur die effectief hand priors benut, adresseert dit werk de generalisatiekloof tussen in-lab en in-the-wild scenario's. De auteurs positioneren hun werk als een fundament voor toekomstig onderzoek in mens-gecentreerde toepassingen zoals AR/VR, robotica en assistieve technologieën, en bieden een sterk baseline voor evaluatie op uitdagende, real-world data.