💻 computer science

RegHead: Non-Humanoid Head Blendshapes via Feed-Forward Registration

RegHead introduit un cadre de travail rapide et de type feed-forward qui construit des ensembles de blendshapes sémantiques et interprétables pour des avatars de têtes non humaines animables en exploitant un ensemble de données à grande échelle et une représentation de mouvement d'ancre stochastique dense afin de parvenir à un retargeting d'expressions haute fidélité et en temps réel à partir de signaux de suivi humain.

Auteurs originaux : Jiahao Luo, Hao Zhang, Jianqi Chen, Yijie He, Jiaxu Zou, Michael Vasilkovsky, Sergei Korolev, Sergey Tulyakov, Chaoyang Wang, Peter Wonka, James Davis, Jian Wang

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiahao Luo, Hao Zhang, Jianqi Chen, Yijie He, Jiaxu Zou, Michael Vasilkovsky, Sergei Korolev, Sergey Tulyakov, Chaoyang Wang, Peter Wonka, James Davis, Jian Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous vouliez donner vie à un dragon de dessin animé, un chat robotique ou un extraterrestre brillant dans un jeu vidéo ou une application de RA. Vous voulez qu'ils sourient, froncent les sourcils ou clignent des yeux exactement comme un humain le ferait. Mais voici le hic : ces créatures n'ont pas de visages humains. Elles peuvent avoir trois yeux, une mâchoire qui se déboîte ou pas de nez du tout. Les faire bouger est généralement un cauchemar pour les artistes car, chaque fois qu'ils veulent qu'un nouveau personnage ait l'air heureux, ils doivent sculpter manuellement le visage à partir de zéro. C'est comme essayer de construire une armure sur mesure pour chaque chevalier que vous rencontrez, un par un.

Le document présente RegHead, un nouvel outil qui agit comme un traducteur magique et ultra-rapide. Au lieu de sculpter chaque visage à la main, RegHead apprend un « langage universel » d'expressions (comme « joyeux », « triste » ou « surpris ») et enseigne instantanément à n'importe quel personnage non humain comment le parler.

Le gros problème : l'effet « Perdu dans la traduction »

Les auteurs soulignent que, bien que nous disposions de superbes outils pour générer des visages 3D, ils échouent souvent sur deux points :

La cohérence : Si vous demandez à une IA de dessiner un « froncement de sourcils » sur un dragon et ensuite un « froncement de sourcils » sur un robot, l'IA pourrait les dessiner de manières totalement différentes. Le « froncement » sur le robot pourrait être sur son antenne, tandis que celui du dragon serait sur son museau. Il n'y a pas de carte partagée.
Le désordre du « puzzle » : Même si vous obtenez un super modèle 3D d'un robot qui fronce les sourcils, l'ordinateur ne sait pas quelle partie du visage du robot dans l'image « en colère » correspond à quelle partie dans l'image « neutre ». C'est comme avoir deux puzzles avec la même image mais un nombre de pièces différent, et vous devez les coller parfaitement pour les faire bouger.

Le papier argumente explicitement contre l'ancienne méthode consistant à faire cela, qui implique une optimisation informatique lente et lourde. Les auteurs affirment que tenter de résoudre le puzzle pièce par pièce pour chaque personnage prend trop de temps (parfois des minutes, voire des heures par personnage) et est trop coûteux pour être mis à l'échelle. Ils écartent également l'utilisation de squelettes ou d'os humains, car la mâchoire d'un dragon ou l'antenne d'un robot ne bougent pas comme le bras d'un humain.

La solution RegHead : Un tour de magie en trois parties

1. La vaste bibliothèque d'« expressions »
D'abord, l'équipe a construit une immense bibliothèque d'environ 20 000 personnages non humains différents. Ils ont commencé par un petit ensemble de haute qualité de personnages créés par des artistes et ont utilisé un outil intelligent d'édition d'images pour « peindre » le même ensemble d'expressions sur des milliers de nouvelles identités uniques. Cela leur a donné un immense ensemble de données où chaque personnage possède le même « vocabulaire » de visages, même s'ils ont des apparences totalement différentes.

2. La piste de danse des « ancres stochastiques »
Pour faire bouger les visages, RegHead n'utilise pas d'os. À la place, il utilise ce qu'on appelle des ancres stochastiques denses. Imaginez saupoudrer des milliers de petits aimants invisibles sur tout le visage d'un personnage. Ces aimants sont « stochastiques », ce qui signifie que leurs positions exactes sont mélangées aléatoirement à chaque fois que l'ordinateur apprend, forçant le système à être flexible et à ne pas dépender d'un modèle fixe.

L'analogie : Considérez ces ancres comme une piste de danse où les danseurs (les points du visage) n'ont pas besoin de connaître les pas exacts de leurs voisins. Ils doivent juste savoir comment bouger par rapport aux quelques aimants les plus proches. Cela permet au système de gérer des formes étranges, comme une mâchoire qui descend ou des paupières qui glissent latéralement, sans être confus.

3. Le traducteur « du grossier au fin » (Coarse-to-Fine)
C'est le moteur central. Quand RegHead voit le visage « renfrogné » d'un nouveau personnage, il n'essaie pas de résoudre tout le puzzle d'un coup. Il procède en deux étapes :

Étape 1 (Le moteur global) : Il fait une estimation rapide et approximative pour déplacer l'ensemble du visage dans la bonne zone générale. C'est comme dire : « D'accord, la bouche est nettement plus basse, et les yeux se plissent. »
Étape 2 (Le moteur local) : Une fois que le visage est dans le bon champ, il zoome. Il examine les petits voisinages autour de ces ancres pour déterminer les détails ultra-fins, comme un simple tressautement de la paupière ou la formation d'une ride.
Le papier suggère que ce processus en deux étapes est crucial. Si vous sautez l'estimation grossière, le système se perd. Si vous sautez le zoom, le visage semble rigide et faux.

Les résultats : Rapide et précis

L'équipe a testé RegHead par rapport à d'autres méthodes.

Vitesse : Alors que les anciennes méthodes prenaient de 5 secondes (pour une méthode plus simple) à 1 800 secondes (environ 30 minutes !) pour traiter un seul personnage, RegHead le fait en environ 5 secondes. C'est des ordres de grandeur plus rapide.
Qualité : Dans des tests mesurant à quel point le modèle 3D ressemblait à l'image cible, RegHead a obtenu des scores plus élevés que les autres. Par exemple, il a atteint un PSNR de 23,8421 (une mesure de la qualité d'image) contre 23,4349 pour la méthode la plus proche. Il a également une « distance de Chamfer » (une mesure de l'erreur de forme) plus faible de 0,00358, ce qui signifie que la forme 3D était plus proche de la cible que celle de la concurrence.

Magie en temps réel

La partie la plus cool ? Parce qu'il est très rapide, vous pouvez l'utiliser en temps réel. Les auteurs ont présenté une démo où le visage d'un acteur humain était suivi, et le système projetait instantanément ces mouvements sur un robot, un dragon et un extraterrestre de dessin animé. Les personnages ne se contentaient pas de bouger la tête ; ils copiaient les expressions faciales spécifiques, comme un léger plissement des yeux ou un mouvement de la lèvre, en temps réel.

Ce qu'il ne peut pas encore faire

Les auteurs sont honnêtes sur les limites. Ils notent que RegHead pourrait avoir du mal avec des créatures trop différentes des formes de tête standards, comme les insectes ou les animaux ayant des visages très ambigus (où il est difficile de distinguer où se trouvent la « bouche » ou les « yeux »). Si le « vocabulaire » ne fait pas sens pour la créature, le système ne peut pas traduire parfaitement. De plus, si le modèle 3D initial généré par l'éditeur d'images est bizarre ou défectueux, RegHead ne fera que reproduire fidèlement ces erreurs.

En bref, RegHead suggère une façon de contourner le travail manuel et lent de rigging des visages non humains. En utilisant un système de « magnets » à la fois aléatoire et intelligent ainsi qu'un processus de correspondance en deux étapes, il transforme un problème massif et désordonné en un processus rapide et automatisé, permettant d'animer un univers de personnages étranges et merveilleux avec la même facilité qu'un acteur humain.

Résumé Technique : RegHead

Énoncé du Problème

La création d'avatars de têtes non humaines 3D animables est cruciale pour la RA, les réseaux sociaux et le jeu vidéo, mais reste sous-explorée. Une interface d'animation pratique nécessite des blendshapes sémantiques : un vocabulaire fixe d'expressions interprétables partageant une correspondance de sommets à travers diverses identités. Cela permet un contrôle de faible dimension et un retargeting inter-identités sans avoir à résoudre de nouveaux problèmes de correspondance lors de l'exécution.

Cependant, la construction de ces ensembles de blendshapes pour les têtes non humaines fait face à trois goulots d'étranglement principaux :

Supervision Rare : Les modèles actuels de génération d'images/vidéos peinent à produire la même expression prédéfinie (par exemple, un "froncement de sourcils") de manière cohérente sur différentes identités non humaines, ce qui rend difficile l'obtention d'observations 2D à grande échelle avec des étiquettes sémantiques cohérentes.
Absence de Correspondance : Les méthodes de génération 3D/4D modernes produisent des surfaces spécifiques à une expression de haute qualité, mais manquent généralement de correspondance de sommets entre les expressions, ce qui les rend inutilisables comme base directe de blendshape. La récupération de la correspondance via une régression non rigide basée sur l'optimisation est coûteuse en calcul et difficile à mettre à l'échelle.
Déformations Localisées : Les expressions faciales non humaines impliquent souvent des déformations hautement localisées et spécifiques à l'espèce (par exemple, une articulation spécifique de la mâchoire ou des mouvements de paupières) qui sont mal capturées par les modèles de déformation globaux génériques.

Les méthodes existantes reposent soit sur des pipelines d'optimisation lourds (lents), soit sur des priors paramétriques comme le 3DMM (qui échouent lorsque la géométrie s'écarte significativement de l'anatomie humaine).

Méthodologie

RegHead propose un cadre de type feed-forward pour convertir des maillages d'expressions non enregistrés en une base de blendshapes sémantiques correspondus en une seule passe. Le pipeline se compose de trois étapes principales :

1. Construction d'un Jeu de Données à Grande Échelle

Pour remédier au manque d'étiquettes sémantiques cohérentes, les auteurs définissent un vocabulaire d'expressions fixe $\mathcal{E}$ utilisant une petite bibliothèque d'actifs non humains de haute qualité et riggés par des artistes. Ils affinent un modèle d'édition d'image sur des rendus appariés de cette bibliothèque pour effectuer des éditions contrôlées du rendu neutre de référence vers les expressions cibles. Ce modèle est appliqué aux générations de texte-vers-image pour étendre le vocabulaire à environ 20 000 identités non humaines. Des surfaces 3D spécifiques aux expressions sont reconstruites à partir de ces images en utilisant des pipelines de génération 3D/4D conditionnés par l'image, ce qui produit des maillages bruts $\{\tilde{M}_t\}$ qui sont sémantiquement cohérents mais manquent de correspondance de sommets.

2. Représentation de Mouvement par Ancres Stochastiques Denses

Pour gérer des topologies diverses sans squelettes ou templates prédéfinis, RegHead introduit une représentation d'ancres stochastiques denses :

Ancres Stochastiques : Au lieu d'optimiser des coordonnées d'ancres fixes, le modèle rééchantillonne un ensemble d'ancres de déformation $\mathcal{A}$ sur le maillage neutre à chaque itération d'entraînement. Cela encourage le modèle à apprendre des prédictions invariantes à la disposition des ancres.
Points de Requête : Un ensemble plus dense de points de requête $\mathcal{Q}$ est échantillonné sur la forme neutre.
Tokens de Voxels : Les maillages d'expression sont voxelisés pour créer des tokens de voxels $\mathcal{V}_t$ basés sur une déprojection multi-vues, qui incluent des codes latents à 8 canaux et des masques de segmentation sémantique déprojetés (par exemple, pour les yeux).
Propagation : Le modèle prédit des transformations de similitude par ancre $\mathcal{T}_t$ . Celles-ci sont propagées aux points de requête denses via le Linear Blend Skinning (LBS) en utilisant des poids de skinning précalculés basés sur les distances de Mahalanobis inverses par rapport à l'ancre la plus proche. Cela permet une déformation sparse-vers-dense qui est efficace mais expressive.

3. Modèle de Registre Feed-Forward

La nouveauté centrale est un réseau de correspondance conscient de la structure (coarse-to-fine) qui prédit la déformation du maillage neutre vers chaque expression cible :

Matcher Global : Utilise l'attention croisée pour agréger un contexte à longue portée des tokens de voxels globaux vers les tokens d'ancres. Il prédit une déformation grossière pour amener les ancres dans le bon "bassin" pour le matching local, traitant ainsi les mouvements à large support (ex: articulation de la mâchoire).
Matcher Local Structuré : Pour chaque ancre grossièrement déformée, le modèle rassemble un voisinage de stencil multi-rayon structuré à partir des tokens de voxels (plutôt qu'un simple kNN). Il utilise une attention croisée locale pour affiner le token de l'ancre et prédire une transformation résiduelle. Cette étape est conçue pour capturer les changements faciaux fins et localisés.
Entraînement : Le modèle est entraîné sans correspondances de points de vérité terrain. Il utilise une perte de rendu différentiable (comparant les rendus RGB et la segmentation des points prédits par rapport aux points cibles) et une perte de distance de Chamfer auxiliaire sur les positions des ancres grossières pour assurer la cohérence géométrique.

4. Retargeting en Temps Réel

Pour l'application, un petit MLP mappe les coefficients de suivi du visage humain (issus d'un fit 3DMM standard) vers les poids du vocabulaire de blendshapes non humains. Cela permet un retargeting en temps réel de la performance humaine vers les personnages non humains sans optimisation par trame.

Contributions Clés

Dataset : Construction d'un jeu de données à grande échelle (~20k identités) de têtes non humaines avec un vocabulaire d'expressions sémantiques fixe, permettant l'étude scalable de la génération de blendshapes.
Représentation du Mouvement : Introduction des ancres stochastiques denses, une représentation indépendante de la topologie pour la déformation faciale non humaine localisée qui ne dépend pas de squelettes, d'os ou de templates partagés prédéfinis.
Registre Feed-Forward : Un nouveau modèle de registre qui convertit des maillages non enregistrés en blendshapes correspondus en une seule passe, entraîné sans correspondances de vérité terrain ou champs de déformation.
Performance : Démonstration d'une fidélité supérieure et d'une vitesse d'inférence nettement plus élevée (ordres de grandeur) par rapport aux bases par optimisation, permettant le retargeting en temps réel.

Résultats Expérimentaux

Les auteurs évaluent RegHead par rapport à ActionMesh (feed-forward), V2M4 (optimisation) et T2Bs (alignement par optimisation).

Métriques Quantitatives : RegHead atteint des performances supérieures en apparence rendue (PSNR : 23,84, SSIM : 0,9078, LPIPS : 0,0551) et en géométrie visible (Distance de Chamfer : 0,00358, Silhouette IoU : 0,9865) par rapport à tous les baselines.
Vitesse : RegHead s'exécute en ~5 secondes par identité, tandis que les méthodes basées sur l'optimisation (V2M4, T2Bs) prennent de ~100s à ~1800s.
Analyse Qualitative : RegHead capture mieux les changements d'expression spatiaux et localisés (ex: fermeture des paupières) tout en maintenant la structure globale. Les baselines sous-estiment souvent le mouvement localisé ou présentent des artefacts dans les zones subtiles.
Études d'Ablation :
- Supprimer les ancres stochastiques (utiliser des ancres fixes) dégrade les performances, confirmant le bénéfice de l'invariance de la disposition.
- Réduire la densité des ancres diminue considérablement la fidélité, prouvant la nécessité des ancres denses pour les détails fins.
- Supprimer l'étape de matching local provoque une dégradation substantielle, validant son rôle de moteur principal pour la déformation fine de l'expression.
- L'utilisation de voisinages de stencil structurés surpasse les voisinages kNN standards.

Signification et Revendications

L'article affirme que RegHead répond au défi central de la génération d'assets correspondus et sémantiquement cohérents pour les têtes non humaines de manière scalable et feed-forward. En évitant les contraintes anatomiques basées sur des templates et l'optimisation lourde, le cadre permet la création d'avatars de haute fidélité, animables et supportant le contrôle en temps réel et le retargeting inter-identités. Les auteurs notent que la méthode est spécifiquement conçue pour les déformations fines dépendantes de l'espèce, un fossé laissé par les méthodes existantes de mouvement articulé ou de génération d'objets entiers.

Limites : Les auteurs reconnaissent que RegHead peut sous-ajuster les identités dont l'anatomie est très éloignée des structures de tête communes (ex: insectes ou espèces à longue traîne avec des régions faciales ambiguës) où la correspondance sémantique est faible. De plus, les blendshapes finaux sont sujets aux artefacts présents dans les maillages non enregistrés en amont.