Technische Samenvatting: StableHand

Probleemstelling

Het terugwinnen van de 4D-beweging in de wereldruimte van twee interacterende handen uit egocentrische video is een cruciale vaardigheid voor het toezicht houden op het leren van robotbeleid, waarbij polsbewegingen de eind-effectoren sturen en vingerarticulaties grijpposities definiëren. Deze taak staat echter voor twee primaire uitdagingen in de egocentrische setting:

1. Uitgebreide periodes buiten het zicht: Gekoppelde hoofd- en handbeweging zorgt er vaak voor dat één of beide handen gedurende langere intervallen het camerafrustum verlaten.
2. Aanhoudende occlusies: Bekwame bimanuele manipulatie en hand-object-interacties leiden tot ernstige, vaak asymmetrische, occlusies van de handen.

Bestaande methoden lijden onder aanzienlijke beperkingen in deze scenario's. SLAM-gebaseerde pipelines transformeren per-frame camera-frame posities naar het wereldframe zonder temporele priors, wat leidt tot catastrofale drift tijdens periodes zonder handwaarneming. Native wereldruimte-methoden leren bewegingspriors op sequentieniveau, maar conditioned typisch uniform op visuele kenmerken, waardoor ze geen rekening houden met de heterogeniteit van de betrouwbaarheid van waarnemingen. Specifiek negeren ze dat globale driftfouten van de pols aanzienlijk groter zijn dan fouten in vingerarticulatie, en dat occlusies de twee handen asymmetrisch degraderen.

Methodologie

De auteurs stellen StableHand voor, een kwaliteitsbewust flow-matching raamwerk ontworpen om wereldruimte-trajecten voor dubbele handen te synthetiseren door expliciet gebruik te maken van de per-component kwaliteit van waarnemingen. Het raamwerk bestaat uit twee geleerde modules die sequentieel worden getraind:

1. Adaptief Kwaliteitssignaal en Netwerk

De kerninzicht is dat waarnemingskwaliteit heterogeen is over componenten (pols versus vingers) en handen (links versus rechts).

• Kwaliteitsdefinitie: Het systeem decomposeert handbewegingskwaliteit in vier kanalen: linkerpols ($L_W$), linkervingers ($L_F$), rechterpols ($R_W$) en rechtervingers ($R_F$). Kwaliteit $q \in [0, 1]$ wordt afgeleid uit de fout tussen waargenomen en ground-truth gewrichten met behulp van een Radiale Basisfunctie (RBF) kernel: $q = \exp(-e/\sigma)$.
• Kwaliteitsnetwerk (QN): Aangezien ground-truth fouten bij inferentie niet beschikbaar zijn, voorspelt een geleerd Kwaliteitsnetwerk de per-component fout $\hat{e}$ (in millimeters) direct. Het netwerk neemt als input:
  • Wereldruimte MANO-waarnemingen ($\bar{y}$) van een bevroren kant-en-klare schatter.
  • Binaire hand-vertrouwensvlaggen ($\delta$).
  • Per-frame camera-pose ($g$).
  • Een leerbare traject-niveau context-token geaggregeerd via temporele self-attention.
• Training: Het QN wordt voorgetraind op acht egocentrische bimanuele corpora (~10M frames). Het wordt gesuperviseerd door een log-ruimte MSE-verlies om foutgroottes te matchen en een aanvullend 1D Wasserstein-1 afstandverlies om de empirische verdeling van voorspelde fouten met ground truth te aligneren, zodat de bandbreedte $\hat{\sigma}$ tijdens inzet overeenkomt met de $\sigma$ tijdens training.

2. Kwaliteitsbewust Flow-Matching Generatief Model

Het generatieve model is een Diffusion Transformer (DiT) geconditioneerd op het voorspelde kwaliteitssignaal $\hat{q}$. Het maakt gebruik van vier gekoppelde mechanismen om kanalen met hoge en lage kwaliteit verschillend te behandelen:

• Per-Kanaal Forward Schema: In tegenstelling tot standaard flow-matching dat een scalair schema gebruikt, hanteert StableHand een kanaalspecifiek schema $\alpha(\tau, \tilde{q})$. Voor kanalen met hoge kwaliteit ($q \approx 1$) bevriest het schema de waarneming ($\alpha \equiv 1$), waardoor het traject wordt verankerd. Voor kanalen met lage kwaliteit ($q \approx 0$) behandelt het schema ze als ruis ($\alpha \approx 0$), wat regeneratie vanuit de prior vereist.
• Kwaliteitsgecorrigeerd Snelheidsdoel: Het trainingsdoel regresseert een snelheidsdoel $u_\tau = (1 - \tilde{q}) \odot (x_1 - \varepsilon)$. Dit zorgt ervoor dat het model leert kanalen met hoge kwaliteit onaangetast te laten terwijl het kanalen met lage kwaliteit reconstrueert.
• AdaLN Modulatie: De DiT-denoiser gebruikt Adaptieve Laagnormalisatie (AdaLN) gedreven door het kwaliteitssignaal om updates voor pols- en vingertokens afzonderlijk te schalen, passend bij de per-kanaal kwaliteitsstructuur.
• Kwaliteitsbewuste Initialisatie: Bij inferentie wordt de reverse ODE geïnitieerd bij $\tau=0$ met $x_0 = \tilde{q} \odot \bar{y} + (1 - \tilde{q}) \odot \varepsilon$. Dit zorgt ervoor dat kanalen met hoge kwaliteit beginnen dicht bij de waarneming en kanalen met lage kwaliteit beginnen bij pure ruis, waardoor de train-test mismatch die voorkomt bij afgekorte reverse processen (bijv. SDEdit) wordt geëlimineerd.

Belangrijkste Bijdragen

1. Per-Component Kwaliteitsformulering: Het artikel presenteert egocentrische wereldruimte-herstel van dubbele handen als een per-component, kwaliteitsbewust generatieprobleem, waarbij de heterogeniteit van waarnemingskwaliteit over twee assen (component, hand) expliciet wordt geïdentificeerd als een structuur-prior die voorheen impliciet bleef.
2. Kwaliteitsbewust Flow-Matching Pad: Een nieuw generatief pad gedreven door een vierwaardig kwaliteitssignaal, dat een per-kanaal forward schema, een kwaliteitsgecorrigeerd snelheidsdoel, AdaLN-modulatie en een kwaliteitsbewuste ODE-initialisatie integreert.
3. Gecalibreerd Kwaliteitssignaal: De introductie van een corpus-adaptief kwaliteitssignaal dat bij inferentie wordt voorspeld vanuit visuele streams, wat globale polsdrift ontkoppelt van vingerarticulatiefouten en asymmetrische occlusies verwerkt.
4. State-of-the-Art Prestaties: De methode bereikt superieure resultaten op benchmarks met lange periodes zonder handwaarneming en aanhoudende occlusies.

Experimentele Resultaten

De auteurs evalueren StableHand op HOT3D (gekenmerkt door lange periodes zonder handwaarneming) en ARCTIC (gekenmerkt door aanhoudende hand-object-occlusie en asymmetrische kwaliteit).

• HOT3D: StableHand verlaagt de W-MPJPE (Wereldruimte Gemiddelde Per-Gewricht Positiefout) met 20–25% ten opzichte van de sterkste baseline (HaWoR), met een W-MPJPE van 57,83 mm versus 71,89 mm. De verbetering is het meest uitgesproken in clips met hoge fracties van ontbrekende handen.
• ARCTIC: StableHand verlaagt de W-MPJPE met ~25% ten opzichte van de sterkste baseline, met een resultaat van 124,59 mm versus 171,61 mm. Het toont ook significante winst in MRRPE (Gemiddelde Relatieve Wortel Positiefout), wat wijst op beter gezamenlijk redeneren over de relatieve ruimtelijke consistentie van de twee handen.
• Ablatiestudies: Het verwijderen van het per-kanaal kwaliteitschema zorgt ervoor dat de W-MPJPE met een factor 1,6 verslechtert. Het vervangen van de vier-token splitsing (pols/vingers per hand) door één enkele token degradeert de prestaties met een factor 2,1, wat de noodzaak van per-kanaal modulatie bevestigt. Het gebruik van een constant of binair kwaliteitssignaal in plaats van het voorspelde gestraddelde signaal resulteert in prestaties die vergelijkbaar zijn met of slechter zijn dan baselines.

Betekenis en Claims

Het artikel stelt dat nauwkeurige schatting van handbeweging in wereldruimte nauw verbonden is met de kwaliteit van per-frame waarnemingen. Door deze kwaliteitsheterogeniteit expliciet te modelleren, kan StableHand betrouwbare waarnemingen "verankeren" terwijl het onbetrouwbare waarnemingen "regenereren" met behulp van een geleerde bimanuele bewegingsprior.

De auteurs positioneren dit werk als een fundamentele stap voor het toezicht houden op robotbeleid leren vanuit grootschalige egocentrische video, met name voor bekwame en bimanuele manipulatietaakken waarbij bestaande methoden falen door drift en occlusie. Het raamwerk wordt opgemerkt als robuust over verschillende upstream pose-schatters (bijv. WiLoR versus HaMeR), mits het kwaliteitsnetwerk wordt hergecalibreerd of opnieuw wordt getraind.

Het artikel erkent bescheiden beperkingen: het kwaliteitssignaal is gekalibreerd op een specifieke upstream schatter, en in gevallen van extreem lange periodes met lage kwaliteit waar geen hand wordt waargenomen, kan het model afwijken naar plausibele maar niet trouw onderbouwde configuraties. Toekomstig werk wordt voorgesteld om gezamenlijke object-hand-modellering en end-to-end training op te nemen.