💻 computer science

Beyond Facial Consistency: Personalized Person Image Generation with Holistic Identity Preservation

Cet article introduit un cadre à double branche enrichi par une stratégie de mise à l'échelle d'équilibrage dynamique (DBS) afin de résoudre le compromis entre la fidélité faciale et la cohérence globale de l'apparence dans la génération personnalisée d'images de personnes, parallèlement à la publication du benchmark Pexels-100 pour une évaluation holistique de l'identité.

Auteurs originaux : Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

Publié 2026-07-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuxuan Xiao, Shanshan Zhang, Jian Yang, Shengcai Liao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un réalisateur dans un studio de cinéma, mais qu'au lieu d'engager des acteurs, vous possédiez une caméra magique capable de faire apparaître n'importe quel personnage que vous décrivez. Vous voulez un héros qui ressemble exactement à votre meilleur ami — même sourire, mêmes yeux, même nez original — mais portant une combinaison spatiale sur Mars, ou peut-être chevauchant un dragon dans une forêt médiévale. C'est le rêve de la « génération d'images personnalisée ». Pendant longtemps, les artistes de l'IA ont dû choisir entre deux options frustrantes : soit faire en sorte que le personnage ait exactement le visage de votre ami, mais oublier ce qu'il portait ou à quoi ressemblait son corps ; soit lui donner la tenue et la pose parfaites, mais finir avec le visage d'un étranger. C'était comme essayer de cuisiner un gâteau où l'on pouvait obtenir le glaçage parfait ou la génoise parfaite, mais jamais les deux en même temps. Ce document plonge dans ce recoin spécifique de l'intelligence artificielle, s'attaquant au problème délicat de maintenir l'« être entier » d'une personne cohérent — son visage et toute sa tenue et son style — lorsque l'IA est sollicitée pour la placer dans de nouvelles situations.

Les chercheurs derrière cette étude, dirigés par Yuxuan Xiao et ses collègues, ont décidé de ne plus choisir de camp. Ils ont commencé par construire un système « Naive Dual-Branch » (à deux branches naïves), qui est essentiellement une autoroute à deux voies pour l'IA. Une voie se concentre sur la vue d'ensemble (les vêtements, la forme du corps, la coiffure), et l'autre voie zoome sur les détails infimes du visage. Ils ont découvert que, bien que cette approche à deux voies soit un bon début, elle était un peu chaotique. La « voie du visage » conduisait beaucoup trop vite et prenait le contrôle de toute la voiture, tandis que la « voie de l'apparence » se perdait dans le rétroviseur. Le résultat ? De superbes visages, mais les vêtements se transformaient parfois en quelque chose de bizarre, ou la forme du corps se retrouvait écrasée.

Pour résoudre cet embouteillage, l'équipe a inventé un système de contrôle de la circulation ingénieux appelé Dynamic Balancing Scaling (DBS). Voyez cela comme un chef d'orchestre intelligent. Le chef utilise deux astuces principales. D'abord, ils utilisent l'Adaptive Temporal Gating (portage temporel adaptatif), qui est comme un variateur qui change le volume des musiciens du visage et du corps à différents moments de la chanson. Au début du processus, le chef peut laisser le visage jouer un air stable et fiable pour établir l'identité, mais à mesure que la chanson progresse, il augmente doucement le volume du corps et des vêtements pour qu'ils ne soient pas noyés. Deuxièmement, ils ont introduit l'Optimization Region-Aware (optimisation sensible aux régions). Imaginez que l'IA soit en train de peindre un tableau, et qu'elle utilise habituellement la même pression de pinceau sur toute la toile. Cette nouvelle astuce dit à l'IA : « Hé, sois super prudent et précis quand tu peins le visage, mais n'oublie pas d'accorder autant d'attention aux vêtements et à l'arrière-plan. » Cela garantit que l'IA ne s'obsède pas sur les yeux en ignorant la chemise.

L'équipe a testé sa nouvelle méthode sur un benchmark personnalisé qu'ils ont créé appelé Pexels-100, qui présente 100 images de corps entiers pour voir à quel point l'IA parvient à maintenir l'identité d'une personne à travers diverses scènes. Les résultats sont prometteurs. Leur méthode parvient à trouver un bien meilleur équilibre que les autres outils open-source, gardant le visage reconnaissable tout en s'assurant que les vêtements et le corps soient corrects. En fait, leur approche est si performante qu'elle rivalise même avec certains systèmes commerciaux fermés et coûteux. Cependant, les auteurs précisent avec prudence qu'il ne s'agit pas encore d'une baguette magique pour tous les problèmes. Si vous demandez à l'IA de dessiner une personne faisant un saut périlleux complexe ou montrant des mouvements de mains sophistiqués, l'image peut encore devenir un peu bancale ou déformée, car le modèle d'IA sous-jacent lutte encore avec ces structures physiques délicates. Mais pour la plupart des scénarios quotidiens, ce nouveau « chef d'orchestre » aide enfin l'IA à chanter en harmonie, en faisant en sorte que la personne entière ressemble à elle-même, et pas seulement son visage.

Résumé Technique : Au-delà de la cohérence faciale : Génération d'images de personnes personnalisées avec préservation holistique de l'identité

Énoncé du problème
La génération d'images de personnes personnalisées vise à synthétiser des images correspondant à l'identité d'un utilisateur à partir d'une image de référence et de prompts textuels. Les méthodes actuelles font face à un compromis fondamental : elles mettent généralement l'accent soit sur la cohérence du sujet (préservation de l'apparence globale, des vêtements et de la morphologie), soit sur la cohérence faciale (préservation de la structure et des détails faciaux locaux), mais rarement les deux simultanément. Les approches existantes souffrent souvent d'instabilité lorsqu'elles tentent de combiner ces aspects, menant à des scénarios où l'identité faciale est préservée au détriment de l'apparence générale, ou inversement. Ce déséquilibre provient des représentations hétérogènes des espaces et des mécanismes d'injection des différentes branches d'identité, qui causent des interactions non coordonnées et une dominance persistante de la branche faciale durant le processus de débruitage.

Méthodologie
Les auteurs proposent un cadre unifié construit sur le backbone de transformateur de diffusion FLUX.1-dev, introduisant une ligne de base à Double Branche Naïve (NDB) et l'affinant avec une stratégie de réglage fin de Mise à l'échelle de l'Équilibrage Dynamique (DBS).

Ligne de base à Double Branche Naïve (NDB) :
Le cadre intègre deux voies de conditionnement distinctes :
- Branche d'Apparence : Basée sur InstantCharacter [23], cette branche capture les indices d'identité globale (coiffure, proportions corporelles, vêtements) en utilisant des caractéristiques fusionnées de DINOv2 et de SigLIP projetées via un Q-Former et injectées par attention croisée (cross-attention).
- Branche Faciale : Basée sur InfiniteYou [10], cette branche se concentre sur la géométrie et la texture faciales fines à l'aide d'un encodeur facial pré-entraîné, injecté via une voie résiduelle de type ControlNet.
  Bien que cette combinaison produise des résultats prometteurs, elle présente une instabilité où la branche faciale domine la génération, entraînant une apparence incohérente.
Mise à l'échelle de l'Équilibrage Dynamique (DBS) :
Pour coordonner les deux branches et atténuer la dominance de la branche faciale, la DBS introduit deux composants complémentaires :
- Porte Temporelle Adaptative (ATG) : Un mécanisme sensible au temps qui module dynamiquement la force de contribution des branches d'apparence et faciale tout au long de la trajectoire de débruitage. La branche faciale sert d'ancre de référence stable, tandis que la contribution de la branche d'apparence est progressivement relâchée par rapport à cette ancre. Cela empêche une optimisation instable lors de l'entraînement initial et assure un guidage équilibré à travers différents pas de temps.
- Optimisation Sensible aux Régions (RAO) : Une fonction de perte conçue pour traiter le déséquilibre spatial. Étant donné que les régions faciales sont petites et les régions d'apparence sont larges, l'erreur quadratique moyenne (MSE) globale standard fournit une supervision uniforme qui échoue à optimiser efficacement les régions spécifiques. La RAO décompose l'erreur de débruitage en trois objectifs régionaux : facial ( $L_f$ ), apparence ( $L_a$ ) et global ( $L_g$ ). Elle utilise une agrégation de style Pareto guidée par une référence, où les pertes faciales et d'apparence ne sont activées que lorsqu'elles sont moins performantes qu'une référence de moyenne mobile exponentielle (EMA), tandis que la perte globale reste un objectif de fond persistant. Cela protège les indices d'identité spécifiques aux régions sans permettre à une seule branche de dominer la trajectoire d'optimisation.

Contributions Clés

Méthode de Double Branche Naïve (NDB) : La proposition de modéliser explicitement les caractéristiques d'apparence et les caractéristiques faciales locales séparément au sein d'un cadre de génération partagé pour traiter la cohérence de l'identité holistique.
Mise à l'échelle de l'Équilibrage Dynamique (DBS) : Une stratégie de réglage fin comprenant le Portage Temporel Adaptatif et l'Optimisation Sensible aux Régions. Cette stratégie atténue le maintien insuffisant de la cohérence holistique causé par la forte dominance de signal dans la ligne de base NDB, atteignant un meilleur compromis entre la fidélité faciale et la cohérence de l'apparence.
Benchmark Pexels-100 : La construction du premier benchmark de test spécifiquement conçu pour évaluer la cohérence de l'identité holistique dans la génération d'images de personnes personnalisées, utilisant des images en plein corps et des prompts textuels pour évaluer les performances à travers les dimensions faciales et d'apparence.

Résultats Expérimentaux
La méthode a été évaluée sur le benchmark Pexels-100 en utilisant des métriques incluant la similitude faciale (ArcFace), la ré-identification de personnes (ReID), le score DINOv2 et le CLIP-T.

Performance Quantitative : La méthode proposée surpasse les lignes de base open-source existantes (ex: InstantCharacter, InfiniteYou, UNO, Kontext) en matière de cohérence d'identité holistique. Plus précisément, elle atteint un Score Facial de 0,7875 et un score DINOv2 de 0,3202, surpassant la plupart des modèles open-source et restant compétitive face aux systèmes commerciaux fermés (ex: GPT-Image-2).
Performance Qualitative : Les comparaisons visuelles démontrent que si certaines méthodes excellent soit dans la similitude faciale, soit dans la cohérence vestimentaire, la méthode proposée maintient un équilibre plus favorable, préservant à la fois l'identité faciale et la cohérence de l'apparence globale à travers divers scénarios.
Études d'Ablation : Les expériences confirment que l'ATG et la RAO contribuent tous deux à l'amélioration des performances. Le modèle complet DBS atteint la meilleure cohérence holistique, validant que les composants sont complémentaires plutôt que redondants.

Signification et Revendications
L'article affirme fournir un cadre de base contrôlable pour la modélisation de l'identité holistique. En abordant le compromis inhérent entre la fidélité faciale et la cohérence de l'apparence, la méthode proposée offre une approche plus stable et interprétable de la génération de personnes personnalisées par rapport aux solutions open-source existantes. Les auteurs soulignent que leur approche ne vise pas à maximiser la similitude faciale de manière isolée, mais plutôt à améliorer la cohérence de la représentation de l'identité entière. Bien que la méthode repose sur une modulation par portage (gating) sans modifier l'apprentissage des caractéristiques sous-jacentes du backbone (limitant ses performances sur les poses complexes ou les structures fines comme les mains), elle constitue une étape significative vers l'unification des contraintes d'identité globales et locales dans la génération d'images basée sur la diffusion.

Articles similaires