WildGHand: Learning Anti-Perturbation Gaussian Hand Avatars from Monocular In-the-Wild Videos

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous essayez de créer un double numérique parfait de votre main (un "avatar") en filmant simplement votre main avec votre téléphone. C'est une tâche difficile, surtout si vous filmez dans la vraie vie ("in-the-wild"), où tout peut mal tourner : la lumière change, votre main bouge trop vite, vous tenez un objet, ou l'image est floue.

La plupart des méthodes actuelles sont comme des photographes de studio : elles fonctionnent parfaitement dans un environnement contrôlé, mais dès qu'il y a du désordre, elles échouent. Elles confondent les ombres, les objets ou le flou avec la forme réelle de votre main, créant des avatars bizarres ou déformés.

WildGHand est une nouvelle technologie qui agit comme un chef cuisinier expert capable de préparer un plat délicieux même si les ingrédients sont un peu abîmés ou mélangés. Voici comment ça marche, avec des analogies simples :

1. Le problème : Le "Bruit" dans l'image

Quand vous filmez votre main dans la rue, l'image contient deux choses :

La vérité : La forme réelle de votre main.
Le bruit (les perturbations) : Le flou dû au mouvement, la lumière qui clignote, un objet que vous tenez, ou une ombre bizarre.

Les anciennes méthodes essayent de tout apprendre en même temps. Résultat ? Elles "mangent" le bruit et croient que c'est de la main. Votre avatar numérique finit avec des taches, des objets collés à la peau ou une texture bizarre.

2. La solution : La séparation intelligente (Le Module DPD)

WildGHand utilise une technique appelée 3D Gaussian Splatting (une façon très efficace de représenter la 3D avec des milliers de petits points lumineux).

Pour gérer le chaos, WildGHand ajoute un petit assistant très léger (le module Dynamic Perturbation Disentanglement).

L'analogie : Imaginez que vous essayez de dessiner un portrait. Le bruit est comme une tache d'encre qui tombe sur le papier. Au lieu de peindre par-dessus la tache (ce qui gâche le dessin), WildGHand dit : "Attends, cette tache n'est pas le visage. C'est juste un accident temporaire."
Comment ça marche : Pendant l'entraînement, le système apprend à identifier ce qui est "bruit" et à le noter comme une correction temporaire (un biais).
Le tour de magie : Une fois l'avatar fini, on jette ces corrections. On ne garde que la main pure, sans les taches d'encre. C'est comme si on enlevait les lunettes sales pour voir la vérité.

3. La stratégie : Le filtre intelligent (La stratégie PAO)

Parfois, le bruit est si fort qu'il faut être très sélectif sur ce qu'on regarde. C'est là qu'intervient la stratégie d'optimisation consciente des perturbations (PAO).

L'analogie : Imaginez un professeur qui corrige un examen. Si une partie de la copie est tachée d'encre ou illisible, le professeur ne donne pas de points pour cette partie, car il ne peut pas juger la qualité réelle. Il se concentre uniquement sur les parties propres.
Comment ça marche : WildGHand regarde chaque image et dit : "Cette zone est floue ou cachée par un objet ? On ne va pas apprendre de ça, on va ignorer cette zone. Cette zone est nette ? On l'étudie en détail."
Cela permet au système de se concentrer uniquement sur les parties fiables de votre main, évitant ainsi d'apprendre des erreurs.

4. Le résultat : Un avatar robuste

Grâce à ces deux astuces, WildGHand a créé une nouvelle base de données (le dataset HWP) pleine de situations difficiles (mélanger des cartes, appliquer de la crème, bouger vite) pour s'entraîner.

Les résultats sont impressionnants :

Même avec une main qui bouge vite (flou), dans le noir (lumière changeante) ou en tenant un objet, WildGHand reconstruit une main 3D réaliste, avec des détails comme les veines, les rides et les ongles.
Les autres méthodes, elles, produisent souvent des mains qui ressemblent à de la boue ou des formes géométriques déformées.

En résumé

WildGHand est comme un filtre anti-bruit ultra-puissant pour la réalité augmentée. Il ne se laisse pas tromper par le chaos de la vraie vie. Il apprend à distinguer ce qui est "votre main" de ce qui est juste "du bruit", pour vous offrir un avatar numérique parfait, prêt à être utilisé dans des jeux vidéo, des applications de réalité virtuelle ou pour la télé-communication, peu importe où vous vous trouvez.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La reconstruction 3D de mains à partir de vidéos monoculaires est un défi majeur, en particulier dans des environnements réels (« in-the-wild »). Bien que les méthodes existantes obtiennent d'excellents résultats dans des studios contrôlés, elles échouent souvent face aux perturbations sévères rencontrées dans la nature. Ces perturbations incluent :

Les interactions main-objet (occlusions partielles ou totales).
Les poses extrêmes et les auto-occlusions complexes.
Les variations d'éclairage (changement de lumière global).
Le flou de mouvement (motion blur).

Les approches actuelles, souvent basées sur des hypothèses de scènes statiques ou de perturbations transitoires (comme des objets mobiles), ne parviennent pas à gérer ces artefacts persistants et globaux. Cela conduit à un dilemme : soit le modèle sous-ajuste (underfitting) l'apparence réelle de la main, soit il surajuste (overfitting) aux perturbations, dégradant la qualité du rendu final.

2. Méthodologie : WildGHand

Les auteurs proposent WildGHand, un cadre d'optimisation basé sur le 3D Gaussian Splatting (3DGS) conçu pour générer des avatars de mains haute fidélité à partir de vidéos courtes et perturbées. L'approche repose sur deux composants clés pour dissocier le contenu de la main des perturbations :

A. Module de Désentanglement Dynamique des Perturbations (DPD - Dynamic Perturbation Disentanglement)

Concept : Au lieu de traiter les perturbations comme des erreurs de reconstruction, le modèle les représente explicitement comme des biais temporels sur les attributs des Gaussiennes 3D.
Fonctionnement : Un module léger (un MLP) prend l'index de la frame et les attributs prédits pour générer un biais $\Delta g$ . Ce biais est pondéré par un facteur d'échelle temporel $\omega_l$ appris.
Avantage : Pendant l'entraînement, le modèle apprend à séparer la géométrie et l'apparence canoniques de la main des perturbations. Lors de l'inférence, ces biais sont supprimés, garantissant un rendu propre sans surajustement aux artefacts de la vidéo d'entrée.

B. Stratégie d'Optimisation Sensible aux Perturbations (PAO - Perturbation-Aware Optimization)

Concept : Identifier spatialement les régions corrompues au sein d'une image pour réduire leur influence lors de l'optimisation.
Fonctionnement :
- Utilisation du modèle SAM (Segment Anything Model) pour segmenter la main et le fond.
- Calcul de poids de perte anisotropes par région en fonction de l'erreur de reconstruction ( $E_u$ ) et de la proportion de la main dans la région ( $\mu_u$ ).
- Intégration du poids temporel $\omega_l$ (du module DPD) pour moduler l'importance globale de la frame.
Résultat : Le modèle attribue des poids plus faibles aux zones bruitées (flou, occlusion, changement de lumière) et des poids plus élevés aux zones fiables, guidant l'optimisation vers une reconstruction robuste.

C. Architecture Globale

Le framework utilise un modèle MANO-HD pour la paramétrisation de la main et un réseau de prédiction de Gaussiennes pré-entraîné sur le jeu de données InterHand2.6M. L'optimisation se fait frame par frame, en ajustant les attributs des Gaussiennes (position, opacité, rotation, couleur) tout en apprenant les biais de perturbation et les masques de poids.

3. Contributions Clés

Framework WildGHand : Une nouvelle méthode d'optimisation basée sur le 3DGS capable de reconstruire des avatars de mains robustes à partir de vidéos monoculaires soumises à des perturbations sévères.
Module DPD : Une approche innovante qui modélise les perturbations comme des biais temporels appris, permettant leur suppression à l'inférence pour éviter le surajustement.
Stratégie PAO : Une stratégie d'optimisation qui génère des masques de poids anisotropes pour supprimer l'impact des régions corrompues (spatialement et temporellement).
Jeu de Données HWP (Hand with Perturbation) : Les auteurs ont créé et publié un nouveau jeu de données monoculaire contenant plus de 13 800 images, couvrant quatre types de perturbations (interactions main-objet, poses complexes, variations d'éclairage, flou de mouvement) dans des scénarios de mains uniques et interactives.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données HWP, ainsi que sur des benchmarks publics (InterHand2.6M, AnchorCrafter) et des vidéos en ligne.

Performance Quantitative : WildGHand dépasse l'état de l'art (UHM, Handy, InterGaussianHand) sur toutes les métriques (PSNR, SSIM, LPIPS).
- Gain relatif de 15,8 % en PSNR et réduction de 23,1 % du LPIPS par rapport au modèle de base.
- Sur les vidéos en ligne, le PSNR atteint 27,39 contre 22,95 pour le meilleur concurrent.
Performance Qualitative : Les résultats montrent une reconstruction précise des détails fins (ongles, rides, veines) même dans des conditions difficiles, là où les méthodes concurrentes produisent des géométries déformées ou des textures incorrectes.
Études d'ablation :
- L'ajout du module DPD améliore la structure et réduit les artefacts flottants.
- La stratégie PAO apporte le gain de performance le plus significatif, prouvant que la gestion spatiale des perturbations est cruciale.
- L'utilisation de poids anisotropes (PAO) est nettement supérieure à l'utilisation de simples masques binaires (SAM).

5. Signification et Impact

Ce travail comble un fossé important entre la recherche en reconstruction 3D (souvent limitée à des environnements contrôlés) et les applications réelles.

Robustesse : Il démontre qu'il est possible de réaliser une reconstruction haute fidélité sans dépendre de caméras multicapteurs coûteuses ou de conditions d'éclairage parfaites.
Généralisation : La méthode se généralise bien à des vidéos non vues, y compris des interactions complexes et des environnements dynamiques.
Ressources Open Source : La publication du code, du modèle et du jeu de données HWP fournit une base solide pour les futures recherches sur la reconstruction d'objets déformables dans des conditions réelles.

En résumé, WildGHand représente une avancée majeure pour la création d'avatars de mains réalistes et personnalisés destinés à la Réalité Virtuelle (VR), la Réalité Augmentée (AR) et l'intelligence incarnée, en rendant ces technologies viables dans des scénarios du quotidien.