💻 computer science

SMAL-pets: SMAL Based Avatars of Pets from Single Image

Ce papier présente SMAL-pets, un cadre hybride combinant le modèle paramétrique SMAL et le splatting gaussien 3D pour générer à partir d'une seule image des avatars d'animaux réalistes, animables et modifiables par des commandes textuelles.

Auteurs originaux : Piotr Borycki, Joanna Waczyńska, Yizhe Zhu, Yongqiang Gao, Przemysław Spurek

Publié 2026-03-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Piotr Borycki, Joanna Waczyńska, Yizhe Zhu, Yongqiang Gao, Przemysław Spurek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🐕 Le Problème : Créer un chien virtuel, c'est comme sculpter dans du marbre mou

Imaginez que vous voulez créer un chien virtuel ultra-réaliste pour un jeu vidéo ou un film, mais vous n'avez qu'une seule photo de votre animal de compagnie.

C'est un cauchemar pour les ordinateurs. Pourquoi ?

La diversité : Un Chihuahua et un Saint-Bernard sont aussi différents qu'une fourmi et un éléphant. Les modèles actuels ont du mal à s'adapter à toutes ces formes.
La fourrure : Les ordinateurs adorent les surfaces lisses, mais la fourrure est un chaos de millions de poils. Les résultats ressemblent souvent à des chiens en plastique brillant ou en pâte à modeler, pas à de vrais animaux.
L'animation : Même si on arrive à créer le chien, le faire bouger est un enfer. Il faut un "squelette" numérique (un mannequin) et un expert pour attacher chaque muscle et chaque poil. C'est long, cher et compliqué.

🚀 La Solution : SMAL-pets, le "Moule à Gâteau" Magique

Les chercheurs (de l'Université Jagellon et de Huawei) ont inventé SMAL-pets. Voici comment ça marche, avec une analogie simple :

Imaginez que vous voulez faire un gâteau en forme de chien.

1. Le Squelette Invisible (Le Modèle SMAL)

Au lieu de commencer par le gâteau, vous commencez par un moule en plastique rigide qui a la forme exacte d'un chien (le modèle SMAL). Ce moule est intelligent : il sait comment un chien se tient, comment il marche, et il a des articulations (pattes, queue, museau).

Avantage : On a toujours la bonne structure anatomique, même si le chien est une race bizarre.

2. La Pâte à Gâteau (Les Gaussians)

Ensuite, vous prenez une pâte magique (appelée 3D Gaussian Splatting). C'est une sorte de "nuage" de millions de petites gouttelettes de couleur et de brillance.

Le problème : Si vous mettez juste la pâte sur le moule, elle reste plate et ne fait pas de poils.
La solution de SMAL-pets : Ils font deux étapes.
- Étape 1 : Ils collent la pâte sur le moule pour que le chien ait la bonne forme globale.
- Étape 2 : Ils détachent un peu la pâte du moule. La pâte est libre de s'étaler, de se gonfler et de créer des détails fins comme la fourrure, tout en restant "accrochée" au moule pour ne pas s'effondrer.

3. La Magie du Texte (L'Édition)

C'est là que ça devient vraiment cool. Avec SMAL-pets, vous n'avez pas besoin d'être un sculpteur 3D. Vous pouvez simplement parler à l'ordinateur.

Vous dites : "Change la couleur en marron" ou "Ajoute une tache blanche sur le dos".
L'ordinateur comprend et modifie la "pâte" (les gouttelettes) instantanément, sans casser le squelette du chien. C'est comme donner des instructions à un assistant très doué.

4. Le Mouvement (L'Animation)

Comment faire bouger ce chien ?

Méthode 1 (Directe) : Vous bougez le "moule" (le squelette) avec des curseurs. Comme la pâte est attachée au moule, le chien bouge naturellement, même si c'est un mouvement complexe comme "donner la patte".
Méthode 2 (Par la parole/image) : Vous montrez une photo d'un chien assis et vous dites "Fais-le s'asseoir". L'ordinateur regarde la photo, imagine le mouvement, et fait bouger votre chien virtuel pour qu'il fasse pareil.

🌟 En Résumé

SMAL-pets, c'est comme avoir un moule à chien universel (le squelette) et une pâte magique (les gouttelettes) qui peut imiter n'importe quelle fourrure.

Avant : Il fallait des mois de travail manuel pour créer un chien 3D qui bougeait bien.
Aujourd'hui : Vous donnez une photo, l'ordinateur construit le squelette, ajoute la fourrure réaliste, et vous pouvez le faire bouger ou le modifier en lui parlant simplement.

C'est une révolution pour créer des personnages animaux réalistes, rapides et faciles à animer, sans avoir besoin d'être un expert en informatique !

1. Problématique

La création d'avatars 3D d'animaux (en particulier de chiens) de haute fidélité et entièrement animables à partir d'une seule image représente un défi majeur en vision par ordinateur et en infographie. Contrairement aux humains, pour lesquels des modèles paramétriques comme SMPL sont bien établis, la reconstruction animale souffre de plusieurs limitations :

Manque de données : Il existe un déficit de grands ensembles de données annotées et spécialisées pour les animaux.
Diversité morphologique : La grande variété de races, de tailles et de proportions complique la généralisation des modèles.
Qualité des textures : Les méthodes actuelles peinent souvent à capturer des textures réalistes (comme le pelage) et produisent des résultats artificiels ou "plastiques".
Difficulté d'animation : Rendre ces avatars entièrement éditables et capables de mouvements complexes nécessite généralement un rigging manuel laborieux et une manipulation experte du maillage.
Limites des approches existantes : Les méthodes basées sur des maillages paramétriques (SMAL) manquent de détails fins, tandis que les méthodes récentes basées sur le 3D Gaussian Splatting (3DGS) offrent un rendu de haute qualité mais manquent de structure anatomique contrôlable pour l'animation.

2. Méthodologie : Le Framework SMAL-pets

SMAL-pets propose une architecture hybride innovante qui combine la puissance de rendu du 3D Gaussian Splatting (3DGS) avec la rigueur structurelle du modèle paramétrique SMAL (Skinned Multi-Animal Linear). Le pipeline se déroule en plusieurs étapes clés :

A. Préparation et Génération de Données

Entrée : Une seule image RGB d'un chien.
Normalisation (Optionnelle) : Un modèle de transformation d'image (basé sur Qwen ou GPT-4o) peut être utilisé pour ajuster l'entrée vers une pose canonique (vue de profil, debout) si nécessaire.
Génération de "Pseudo-Ground Truth" : Un modèle génératif image-vers-3D (comme TripoSG, Trellis ou SAM3D) est utilisé pour générer un jeu de données multi-vues synthétique dense. Ce dataset sert de référence pour l'optimisation ultérieure.

B. Optimisation Jointe en Deux Étapes

Le cœur de la méthode réside dans l'optimisation conjointe du maillage SMAL et des primitives gaussiennes, divisée en deux phases :

Étape 1 : Optimisation Liée (Bound Optimization)
- Les gaussiennes sont contraintes à la surface du maillage SMAL.
- La position de chaque gaussienne est paramétrée par des coordonnées barycentriques relatives aux sommets du triangle du maillage.
- L'objectif est d'aligner la structure globale du corps avec le maillage SMAL tout en apprenant les coefficients de forme ( $\beta$ ) et de pose ( $\theta$ ).
- Une fonction de perte inclut la perte photométrique (L1 + SSIM), la régularisation du maillage (longueur des arêtes, lissage Laplacien) et une contrainte d'opacité pour éviter les artefacts semi-transparents.
Étape 2 : Optimisation Déliée (Unbound Optimization)
- Après 15 000 itérations, les gaussiennes sont détachées du maillage pour permettre la reconstruction de détails fins (comme le pelage) que le maillage seul ne peut capturer.
- Le contrôle de densité adaptatif du 3DGS est activé.
- Pour maintenir l'intégrité structurelle, une perte de distance point-vers-maillage ( $L_{dist}$ ) est ajoutée, pénalisant l'écart entre les centres des gaussiennes et le maillage SMAL (les gradients sont propagés uniquement au maillage pour l'ajuster, pas aux gaussiennes).
- Une régularisation d'échelle et une régularisation d'entropie sur l'opacité sont appliquées pour éviter des formes géométriques aberrantes.

C. Animation par "Face-Based Skinning"

Pour animer l'avatar, les gaussiennes sont réassociées au maillage SMAL articulé :

Des poids de skinning sont calculés basés sur la distance inverse aux faces du maillage.
Les paramètres des gaussiennes (position, rotation, échelle) sont transformés dans le système de coordonnées local de chaque face.
Lors de l'inférence, la modification des paramètres de pose du maillage SMAL entraîne une déformation continue du champ gaussien via une méthode analogue au Linear Blend Skinning (LBS), assurant une cohérence anatomique.

D. Édition et Animation par Texte/Image

Édition Sémantique : Utilisation de modèles Vision-Language (comme DGE) pour modifier l'apparence (texture, pelage) via des prompts textuels (ex: "High quality dog").
Animation par Commande Textuelle : Un pipeline combine FramePack (pour générer une vidéo de mouvement entre deux images via un modèle génératif) et ActionMesh (pour mapper cette vidéo sur le maillage 3D). Cela permet de transformer des commandes textuelles en déformations de maillage réalistes.

3. Contributions Clés

Représentation Hybride : Un cadre novateur intégrant le 3DGS et le modèle paramétrique SMAL, permettant de combiner une fidélité visuelle élevée avec une structure anatomique rigoureuse à partir d'une seule image.
Pipeline d'Édition Multimodal : Une méthode permettant d'affiner l'apparence (textures, pelage) et d'exécuter des animations complexes via des invites textuelles naturelles.
Synthèse de Mouvement Automatisée : Un flux de travail qui contourne le rigging manuel en traduisant des priors vidéo génératifs en déformations de maillage actionnables, permettant l'animation d'avatars statiques reconstruits.

4. Résultats et Évaluation

Qualité Visuelle : Les comparaisons qualitatives et quantitatives (mesurées par CLIP-Score et PSNR) montrent que SMAL-pets surpasse les méthodes de l'état de l'art (comme DogRecon, GART, AniAv.) en termes de détails réalistes (pelage) et de fidélité à l'image d'entrée.
Performance des Backbones : L'utilisation de TripoSG comme générateur initial s'est révélée supérieure aux autres (SAM3D, Trellis) pour ce pipeline, offrant des textures plus cohérentes et moins d'artefacts géométriques.
Animation : Le modèle permet une manipulation directe de la pose via les paramètres SMAL et une animation par commande textuelle, avec une meilleure préservation de l'apparence visuelle que les méthodes existantes lors du transfert de mouvement.
Analyse des Étapes : L'ajout de l'étape 2 (gaussiennes déliées) et de l'étape finale (édition DGE) améliore significativement la qualité de reconstruction et élimine l'effet "plastique" souvent observé dans les reconstructions 3D initiales.

5. Signification et Limites

Signification :
SMAL-pets comble un vide important entre la reconstruction 3D haute fidélité et l'animabilité contrôlée pour les animaux. En offrant un outil flexible pour générer, éditer et animer des avatars de chiens réalistes à partir d'une seule image, il ouvre de nouvelles perspectives pour la réalité virtuelle, les jeux vidéo et la production cinématographique, réduisant considérablement la barrière technique et le coût de production.

Limites :

Dépendance au modèle génératif initial : La qualité finale dépend de la géométrie générée par le modèle image-3D initial. Si celui-ci produit des erreurs topologiques (ex: un chien avec trois oreilles), l'avatar héritera de ces défauts.
Stabilité de l'animation : Dans des cas extrêmes de rotation de caméra dans les vidéos synthétisées, le suivi de maillage (via ActionMesh) peut parfois perdre l'alignement, entraînant des distorsions.

En conclusion, SMAL-pets représente une avancée majeure vers la démocratisation de la création d'avatars animaux 3D interactifs et réalistes.