Gesture-Aware Pretraining and Token Fusion for 3D Hand Pose Estimation

Probleemstelling

Het schatten van de 3D-pose van een hand uit monokulaire RGB-afbeeldingen is een fundamentele taak voor toepassingen zoals AR/VR, mens-computerinteractie en gebarentaalherkenning. Hoewel er aanzienlijke vooruitgang is geboekt, blijft de taak uitdagend vanwege:

• Ernstige zelfocclusie (handen verbergen delen van zichzelf).
• Grote bewegingsbereiken van gewrichten.
• Perspectiefverkorting en diepte-ambiguïteit.

Bestaande methoden vertrouwen vaak op het parametrische MANO-model en gebruiken geometrische beperkingen (zoals botlengte-consistentie) of 2D-keypoint-heatmaps. Echter, deze benaderingen negeren vaak de semantische regulariteiten van handgebaren. In domeinen zoals gebarentaal corresponderen handvormen met lexicaal eenheden en vertonen ze terugkerende sub-configuraties (bijv. specifieke vinger-sluitingen). Het artikel stelt dat het inbedden van deze semantische priors in de visuele encoder de kenmerkformatie kan sturen en de ontwaringsproblemen bij occlusie kan verhelpen.

Methodologie

De auteurs introduceren een tweefasig raamwerk dat gebarenbewust vooropleiding koppelt aan gebaar-gestuurde token-fusie.

Fase 1: Gebaar-bewuste Vooropleiding (Gesture-Aware Pretraining)

• Architectuur: Een HRNet-encoder (High-Resolution Network) wordt gebruikt als ruggegraat.
• Strategie: De encoder wordt voorgetraind op het InterHand2.6M-dataset met hiërarchische gebarenclassificatie.
  • Er worden twee classificatiekoppen gebruikt: één voor grove (coarse) labels en één voor fijne (fine) labels.
  • De auteurs hebben handmatig 54 grove en 70 fijne gebaren-categorieën gedefinieerd door visueel identieke gebaren te samenvoegen en subtiele varianten te onderscheiden.
• Training: Een gecombineerde verliesfunctie ($L_{cls} = L_{coarse} + \alpha L_{fine}$) wordt gebruikt. Een geleidelijk gewichtsschema ($\alpha$) zorgt ervoor dat de grove semantiek eerst wordt geleerd, waarna fijne details geleidelijk worden toegevoegd.
• Doel: De encoder krijgt semantisch gevoelige features die de relatie tussen handpose en linguïstische betekenis benutten.

Fase 2: Gebaar-Gestuurde 3D Pose Schatting

• Per-Gewricht Tokenisatie: De multi-schaal features ($F4, F5$) van de HRNet worden gebruikt om per-gewricht tokens te genereren via een 2.5D volumetrische representatie.
  • Een volumetrische kop voorspelt een 3D-heatmap per gewricht.
  • Posities worden geschat via soft-argmax over dit volume. De $z$-as encodeert relatieve diepte (ten opzichte van de pols), niet absolute metrische diepte.
• Transformer met Gebaar-Gids:
  • De globale gebaar-logits uit Fase 1 worden geëmbed tot vectoriële representaties ($e_{coarse}, e_{fine}$).
  • Deze gebaar-embeddings fungeren als intermediaire representaties en worden als "guidance tokens" ingebracht in een Transformer-module.
  • De Transformer verfijnt de per-gewricht tokens door deze te combineren met de gebaar-context, waardoor de schatting wordt gestuurd door de semantische betekenis van de handvorm.
• Regressie: De verfijnde tokens worden gebruikt om de MANO-parameters (pose $\theta$ en vorm $\beta$) te regresseren.
• Verliesfunctie: Het totale verlies combineert supervisie op drie niveaus:
  1. Parameter-niveau: Verlies op MANO-pose en vorm.
  2. Gewricht-niveau: 3D, 2.5D en 2D reprojectie-verliezen.
  3. Structureel: Een constraint ($L_{cont}$) die botcontinuïteit en anatomische gladheid forceert.

Belangrijkste Bijdragen

1. Gebaar-bewuste Vooropleiding: Een strategie die een high-resolution encoder voorziet van grof-naar-fijn gebaren-semantiek, gemotiveerd door de link tussen handpose en gebarentaal.
2. Gebaar-Gestuurde Fusie: Een framework dat gebaar-embeddings gebruikt als tussenliggende representaties om de verfijning van per-gewricht tokens via een Transformer te sturen.
3. Architectonische Transferbaarheid: Experimenteel bewijs dat de vooropleiding werkt als een plug-in component. Het kan worden toegepast op bestaande architecturen (zoals EANet) zonder aanpassingen, wat de prestaties verbetert.

Resultaten

De methoden zijn geëvalueerd op de single-hand subset van InterHand2.6M.

• Kwaliteit: De voorgestelde methode ("Ours (full)") bereikt een MPJPE (Mean Per Joint Position Error) van 4.84 mm en een MPVPE (Mean Per Vertex Position Error) van 5.19 mm.
• Vergelijking: Dit presteert beter dan de state-of-the-art baseline EANet (4.94 mm MPJPE) en ook beter dan de versie van EANet die alleen gebruikmaakt van de vooropleiding (4.86 mm).
• Transfer: Het vervangen van de ImageNet-voorgewogen backbone in EANet door de gebaar-voorgewogen backbone van de auteurs verlaagt de fout consistent, wat aantoont dat het voordeel architectonisch onafhankelijk is.
• Kwalitatieve Analyse: Onder omstandigheden van occlusie (bijv. hand-object of vinger-zelfocclusie) produceert de methode anatomisch plausibele meshes zonder interpenetratie-artefacten, terwijl basismethoden vaak fouten vertonen. De t-SNE visualisaties tonen dat de voorgetrainde features veel beter gescheiden clusters vormen per gebaar dan de baseline.

Betekenis

Dit werk toont aan dat semantische informatie (gebarenlabels) een krachtige inductieve bias is voor 3D handpose-schatting. Door deze semantiek expliciet te integreren in de learning pipeline, wordt niet alleen de nauwkeurigheid verbeterd, maar ook de robuustheid bij occlusie. De bevinding dat deze strategie direct overdraagbaar is naar bestaande SOTA-modellen zonder modificatie, suggereert dat gebaar-bewuste vooropleiding een universeel verbeteringsmechanisme kan zijn voor handpose-schatting, met potentie voor uitbreiding naar twee-hand scenario's en "in-the-wild" toepassingen.