PoseCraft: Tokenized 3D Body Landmark and Camera Conditioning for Photorealistic Human Image Synthesis

PoseCraft est un cadre de diffusion qui synthétise des images humaines photoréalistes en conditionnant le modèle sur des repères corporels 3D et des paramètres de caméra tokenisés, surmontant ainsi les ambiguïtés des méthodes 2D et les contraintes des approches volumétriques traditionnelles pour un contrôle précis de la pose et de la vue.

L'essentiel

Imaginez que vous voulez créer un double numérique (un avatar) d'une personne pour un jeu vidéo ou un film, et que vous voulez pouvoir faire bouger ce personnage n'importe comment, sous n'importe quel angle, tout en gardant son visage, ses cheveux et le détail de ses vêtements parfaitement réalistes.

C'est là que PoseCraft entre en jeu. Voici comment cela fonctionne, expliqué simplement avec des images du quotidien.

Le Problème : La difficulté de "sculpter" le numérique

Jusqu'à présent, il y avait deux façons de faire, et toutes les deux avaient des défauts :

1. La méthode des artisans (Animation 3D classique) : C'est comme sculpter une statue en argile. Il faut un expert pour "rigger" (installer un squelette virtuel) sur le modèle 3D. C'est long, cher, et si le personnage fait un mouvement bizarre, la statue se déforme de façon étrange.
2. La méthode des "photos magiques" (IA 2D) : C'est comme demander à un peintre de dessiner une personne dans une nouvelle pose en lui montrant juste un dessin au bâton (un squelette 2D). Le peintre (l'IA) comprend la pose, mais comme il ne voit pas la profondeur, il peut se tromper : un bras peut disparaître, un vêtement peut sembler collé à la peau, ou le visage peut changer d'identité. C'est comme essayer de deviner la forme d'un objet en regardant juste son ombre sur un mur.

La Solution : PoseCraft (Le "Chef d'Orchestre" à 3 dimensions)

PoseCraft est une nouvelle intelligence artificielle qui combine le meilleur des deux mondes. Au lieu de donner à l'IA une simple ombre 2D, on lui donne une carte au trésor en 3D.

Voici les trois ingrédients secrets de cette recette :

1. RigCraft : Le détective de la réalité (La base)

Avant de créer l'image, le système doit comprendre où se trouve le corps dans l'espace.

• L'analogie : Imaginez que vous avez 10 amis autour d'une personne qui danse. Chacun prend une photo. Si vous superposez toutes ces photos, vous pouvez deviner exactement où sont les coudes et les genoux dans l'espace, même si une personne est cachée derrière un autre.
• Ce que fait RigCraft : Il prend des vidéos prises par plusieurs caméras, trouve les points clés du corps (les articulations) dans chaque image, et les assemble pour créer un "squelette 3D" stable et fluide. C'est comme transformer une foule de photos floues en une seule structure solide.

2. Le Tokeniseur 3D : Le langage des points (La communication)

C'est le cœur de l'innovation. Au lieu de montrer à l'IA une image de squelette, on lui parle directement en "points 3D".

• L'analogie : Imaginez que vous voulez expliquer à un ami comment construire une maison.
  • Méthode ancienne (2D) : Vous lui donnez un dessin plat de la maison. Il doit deviner si le toit est en pente ou plat.
  • Méthode PoseCraft (3D) : Vous lui donnez une boîte de LEGO avec des instructions précises : "Mets ce bloc ici, à 2 mètres de hauteur, et tourne-le de 45 degrés".
• Ce que ça fait : PoseCraft transforme la position des articulations et l'angle de la caméra en une liste de "mots" (des tokens) que l'IA comprend parfaitement. Cela élimine toute ambiguïté : l'IA sait exactement où est le coude, même si le personnage tourne le dos.

3. Le Diffuseur : Le peintre génial (La création)

Une fois que l'IA a reçu ces instructions 3D précises, elle utilise un moteur de création d'images (un "diffuseur") pour peindre le résultat.

• L'analogie : C'est comme un chef cuisinier qui reçoit une commande très précise ("Un steak saignant, avec des pommes de terre rôties, vu de dessus"). Grâce aux instructions 3D, il ne se trompe pas. Il sait que si le personnage lève le bras, le tissu de la manche doit se plisser d'une manière spécifique, et que les cheveux doivent flotter dans la bonne direction.

Pourquoi c'est révolutionnaire ?

• Pas de "fantômes" : Comme l'IA connaît la vraie position 3D, elle ne crée pas de bras supplémentaires ou de jambes qui traversent le corps.
• Détails réalistes : Elle garde les détails fins comme les plis d'un manteau large ou les mèches de cheveux, ce que les méthodes 2D avaient du mal à faire.
• Pas de modèle préfabriqué : Vous n'avez pas besoin de créer un modèle 3D parfait avant de commencer. L'IA apprend à dessiner la personne directement à partir de ses mouvements.

En résumé

PoseCraft est comme un traducteur universel entre la réalité physique (les mouvements 3D) et l'art numérique. Il prend des données brutes, les transforme en instructions claires pour une intelligence artificielle, et permet de générer des images de personnes ultra-réalistes qui bougent naturellement, sans avoir besoin de sculpter manuellement chaque détail. C'est un pas de géant vers des mondes virtuels où les avatars sont aussi vivants que nous.

Résumé technique

1. Problématique

La numérisation d'humains et la synthèse d'avatars photoréalistes avec un contrôle explicite de la pose 3D et de la caméra sont essentielles pour la réalité virtuelle, la téléprésence et le divertissement. Cependant, les méthodes existantes présentent des limitations majeures :

• Méthodes basées sur le "skinning" (maillage) : Elles nécessitent un rigging manuel laborieux ou des ajustements basés sur des modèles templates (comme SMPL/SMPL-X), ce qui est coûteux et peine à capturer les détails géométriques complexes (vêtements froissés, cheveux).
• Méthodes volumétriques neuronales (NeRF, 3DGS) : Bien que performantes pour la synthèse de vues, elles reposent souvent sur des templates canoniques et nécessitent une ré-optimisation pour chaque nouvelle pose, limitant leur flexibilité.
• Méthodes de diffusion basées sur l'image (2D) : Les pipelines récents utilisent des conditions 2D (heatmaps de squelette, silhouettes, cartes de profondeur). Cependant, sous de grands changements de pose ou de point de vue, ces conditions 2D introduisent des ambiguïtés de réprojection, entraînant des hallucinations visuelles, des incohérences structurelles et une perte de détails haute fréquence.

L'objectif est de développer un système capable de générer des images photoréalistes, cohérentes sur le plan du point de vue et préservant l'identité, sans rigging manuel ni optimisation spécifique à la scène, en utilisant un contrôle 3D explicite.

2. Méthodologie : PoseCraft

PoseCraft est un cadre de diffusion conçu autour d'une interface 3D tokenisée. Au lieu de rasteriser la géométrie en images de contrôle 2D, le modèle encode des repères 3D épars et des extrinsèques de caméra sous forme de tokens discrets injectés dans le réseau de diffusion via un mécanisme d'attention croisée.

Le pipeline se compose de deux modules principaux :

A. RigCraft : Extraction de repères 3D stables

Ce module transforme les détections 2D multi-vues en repères 3D temporellement cohérents :

1. Détection 2D : Utilisation d'OpenPose pour détecter les points clés sur chaque vue de caméra calibrée.
2. Triangulation multi-vues : Les rayons 3D issus de chaque caméra sont projetés. Une triangulation par moindres carrés pondérés (utilisant les scores de confiance d'OpenPose) est effectuée pour estimer la position 3D optimale, minimisant la distance perpendiculaire aux rayons.
3. Régularisation temporelle : Un filtre de Savitzky-Golay est appliqué sur une fenêtre temporelle pour lisser les trajectoires des points clés, éliminant le "jitter" (tremblement) et assurant une cohérence temporelle fluide.

B. PoseCraft : Synthèse par Diffusion Latente

C'est le cœur du modèle de génération d'images :

• Architecture : Basée sur un modèle de diffusion latente (UNet) entraîné de zéro pour chaque sujet.
• Conditionnement 3D (Tokenization) :
  • Les repères 3D du corps et les extrinsèques de caméra (rotation et translation) sont encodés.
  • La rotation est encodée via des harmoniques sphériques.
  • La translation et les positions des articulations utilisent un encodage de position (Fourier).
  • Ces vecteurs sont projetés dans un espace de caractéristiques unifié via des MLP (Perceptrons Multicouches) dédiés par token, puis injectés dans l'UNet via des couches d'attention croisée.
• Conditionnement 2D (Guidage spatial) : Une projection 2D du squelette 3D (généré par RigCraft) est concaténée à l'entrée latente bruitée pour fournir un guidage spatial direct.
• Entraînement : Le modèle apprend à débruiter les latents conditionnés par ces tokens 3D et la carte de squelette 2D, en utilisant une fonction de perte LDM (Latent Diffusion Model).

C. GenHumanRF : Pipeline de génération de données

Pour entraîner et évaluer le modèle à grande échelle, les auteurs ont créé un pipeline générant des données d'entraînement supervisées en 3D à partir de reconstructions volumétriques (HumanRF) sur le dataset ActorsHQ. Cela permet de générer des milliers d'images d'entraînement avec des vues de caméra virtuelles variées.

3. Contributions Clés

1. RigCraft : Une méthode de fusion multi-vues consciente de l'incertitude avec lissage temporel pour produire des repères 3D stables sans grilles volumétriques lourdes.
2. PoseCraft : Un nouveau paradigme de contrôle pour la diffusion d'images utilisant des tokens 3D explicites (repères + caméra) plutôt que des cartes 2D, garantissant une cohérence géométrique et une absence d'ambiguïté de réprojection.
3. GenHumanRF : Un pipeline de génération de données à grande échelle pour l'entraînement supervisé en 3D de modèles de diffusion.

4. Résultats

Les expériences ont été menées sur le dataset GenHumanRF (dérivé d'ActorsHQ) avec trois sujets couvrant différents genres et types de vêtements (serrés/lâches).

• Comparaison Qualitative : PoseCraft produit des silhouettes nettes et préserve les détails haute fréquence (plis de vêtements, mèches de cheveux) bien mieux que les méthodes basées sur le 2D (CFLD, ControlNet, CHAMP). Elle évite les distorsions de membres et les incohérences de point de vue.
• Comparaison Quantitative :
  • PoseCraft surpasse nettement les méthodes de diffusion guidées par le 2D (gains de 10-12 dB en PSNR, réduction de plus de 50% du FID et LPIPS).
  • Elle atteint des performances comparables ou supérieures aux méthodes volumétriques SOTA (comme Animatable Gaussians) en termes de PSNR, SSIM et LPIPS, tout en évitant la complexité de l'optimisation de template par scène.
• Études d'ablation :
  • L'utilisation d'harmoniques sphériques pour la rotation de caméra est supérieure aux rayons de Plücker.
  • L'utilisation de MLP dédiés par token (Per-token MLP) est cruciale pour la performance.
  • La combinaison du squelette RigCraft (3D) et du Tokenizer 3D donne les meilleurs résultats, surpassant l'utilisation de squelettes OpenPose seuls.

5. Signification et Limites

Signification :
PoseCraft démontre qu'il est possible de combiner la flexibilité et la qualité visuelle des modèles de diffusion avec la rigueur géométrique des représentations 3D explicites. En évitant la réprojection 2D ambiguë, le modèle maintient une cohérence structurelle parfaite sous de nouveaux angles de vue et poses, sans nécessiter de rigging manuel ou d'optimisation coûteuse par scène. Cela ouvre la voie à des avatars numériques plus faciles à contrôler pour la VR et la création de contenu.

Limites :

• Spécificité à l'identité : Le modèle est entraîné par sujet (un modèle par acteur), ce qui empêche actuellement la synthèse "zero-shot" de nouvelles identités non vues.
• Topologie des vêtements : Bien que robuste pour la géométrie articulée, le système a du mal avec les vêtements très lâches ou multicouches (jupes, écharpes), pouvant parfois générer des artefacts ("fantômes").
• Mains : Les articulations détaillées des mains ne sont pas encore prises en compte (les poignets sont traités comme un seul joint).

En conclusion, PoseCraft représente une avancée significative vers une synthèse d'images humaines photoréalistes contrôlable et géométriquement cohérente, en fusionnant efficacement les mondes de la vision 3D et de la génération par diffusion.