💻 computer science

Latent-Identity Tuning in Text-to-Image Personalization Models

Cet article introduit une méthode sans entraînement pour l'ajustement d'identité à grain fin dans les modèles de texte-en-image en exploitant l'espace latent d'un encodeur gelé afin d'identifier des directions sémantiques qui permettent des éditions faciales localisées tout en préservant la cohérence de l'identité entre les images.

Auteurs originaux : Daniel Garibi, Ronen Kamenetsky, Hadar Averbuch-Elor, Daniel Cohen-Or, Or Patashnik

Publié 2026-07-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Garibi, Ronen Kamenetsky, Hadar Averbuch-Elor, Daniel Cohen-Or, Or Patashnik

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une cabine photo magique capable de prendre une photo de votre ami et de le projeter dans n'importe quelle scène de votre imagination : chevauchant un dragon, préparant un gâteau sur Mars ou dansant dans une ville néon. C'est ce que fait l'IA moderne de « texte-vers-image ». Mais voici le hic : une fois que l'IA a appris à quoi ressemble votre ami, c'est comme si elle était coincée dans un moule rigide. Si vous voulez donner à votre ami une nouvelle barbe stylée, des taches de rousseur ou une forme de nez légèrement différente, l'IA abandonne généralement ou le fait ressembler à une personne totalement différente.

Ce papier présente une nouvelle astuce appelée Latent-Identity Tuning (Ajustement de l'Identité Latente). Considérez la mémoire de l'IA concernant votre ami non pas comme une seule statue solide, mais comme un ensemble de LEGO.

La boîte de LEGO de l'identité

Lorsque l'IA apprend le visage d'une personne, elle ne se contente pas d'enregistrer une grande image. Elle construit plutôt une « boîte de LEGO » de briques numériques invisibles appelées tokens. Les auteurs ont découvert que ces briques ne sont pas toutes mélangées ; elles sont organisées comme une boîte à outils. Certaines briques sont spécifiquement dédiées aux yeux, d'autres aux lèvres, d'autres au nez, et d'autres encore à l'ambiance générale du visage (comme le teint ou l'âge).

Les auteurs ont découvert que si vous fouillez dans cette boîte et que vous modifiez juste les « briques du nez » ou les « briques de la barbe », vous pouvez changer ces caractéristiques spécifiques sans briser le reste de la personne. C'est comme avoir une télécommande où vous pouvez faire glisser une barre pour élargir les yeux de votre ami ou rendre ses lèvres plus charnues, et l'IA se souvient exactement de qui il est tout en le faisant.

Ce à quoi ce papier dit « Non »

Le papier est très clair sur ce qui ne fonctionne pas bien pour ce travail spécifique.

Il ne s'agit pas simplement d'éditer une seule photo : Vous ne pouvez pas simplement prendre une photo et y peindre une barbe. C'est comme éditer un dessin ; dès que vous essayez de mettre cette personne dans une nouvelle scène, la barbe disparaît ou semble fausse. Cette méthode modifie le code source de la personne, de sorte que la barbe reste peu importe où elle va.
Il ne s'agit pas seulement de taper « ajoute une barbe » : Le papier soutient que simplement dire à l'IA « donne-lui une barbe » dans un prompt textuel est trop maladroit. L'IA pourrait lui donner une barbe, mais elle pourrait aussi accidentellement changer la couleur de ses yeux ou le faire ressembler à une personne totalement différente. Cette nouvelle méthode est comme utiliser un scalpel plutôt qu'un marteau.
Il ne s'agit pas de réentraîner tout le cerveau : D'autres méthodes tentent d'enseigner à l'IA un nouveau visage à partir de zéro à chaque fois. Ce papier montre que vous n'avez pas besoin de faire cela. Vous pouvez utiliser le « cerveau gelé » existant de l'IA et simplement manipuler les bons leviers à l'intérieur.

Comment ils ont prouvé que cela fonctionne

Les chercheurs n'ont pas seulement deviné ; ils ont testé cela avec des données réelles.

Ils ont utilisé un ensemble de données de 70 000 images de visages de haute qualité pour cartographier la « boîte de LEGO » et identifier quelles briques font quoi.
Ils ont également testé sur 202 599 images avec des étiquettes spécifiques (comme « a une barbe » ou « a des joues roses ») pour apprendre à l'IA comment trouver la bonne direction pour pousser.
Dans leurs expériences, ils ont généré plus de 3 000 images pour chaque méthode comparée.

Lorsqu'ils ont demandé aux gens de voter sur les résultats, la nouvelle méthode l'a emporté haut la main. Dans un test direct de comparaison de 250 cas, les gens ont préféré cette méthode 94 % du temps pour préserver l'identité de la personne, 96 % du temps pour le respect des instructions, et 85 % du temps au total.

La magie de l'« Ajustement » (Tuning)

Le papier suggère qu'en traitant la mémoire de l'IA comme un espace structuré de ces tokens spéciaux, nous pouvons faire des choses qui étaient auparavant impossibles. Vous pouvez :

Fusionner des visages : Prendre les yeux d'une personne et les lèvres d'une autre pour créer un nouveau visage fluide et cohérent.
Ajuster les détails : Écarter les yeux, ajouter des taches de rousseur ou changer la couleur des cheveux sans perdre le « feeling » unique de la personne.
Rester cohérent : Générer la même personne modifiée dans cent scènes différentes, et elle aura toujours le même aspect avec les mêmes nouvelles caractéristiques.

Les auteurs sont convaincus que cette approche fonctionne parce qu'ils l'ont mesurée. Ils ont montré que si d'autres méthodes peuvent réussir l'aspect « barbe », elles échouent souvent à maintenir l'aspect « personne ». Cette nouvelle méthode, cependant, parvient à maintenir l'identité constante tout en effectuant des changements précis et localisés. C'est comme avoir enfin trouvé la bonne clé pour déverrouiller la capacité de l'IA à être un véritable partenaire créatif, plutôt qu'un simple générateur aléatoire.

Résumé technique : Ajustement de l'identité latente dans les modèles de personnalisation texte-image

Problématique

Les méthodes actuelles de personnalisation texte-image (T2I) excellent dans la reproduction de l'identité d'un sujet à partir d'images de référence à travers diverses invites (prompts). Cependant, elles manquent de la précision requise pour l'édition d'identité à grain fin. Bien que les utilisateurs puissent souhaiter modifier des attributs faciaux spécifiques (par exemple, ajouter une barbe, changer la forme du nez ou modifier l'ouverture des yeux) tout en maintenant l'identité centrale, les approches existantes échouent souvent à offrir un contrôle localisé. L'édition d'image standard opère sur une seule image générée, ce qui ne garantit pas que la modification persiste de manière cohérente à travers de nouvelles générations. De plus, l'édition guidée par le texte peine souvent à exprimer des changements faciaux subtils et localisés sans altérer l'identité perçue du sujet ou introduire des artefacts globaux.

Méthodologie

Les auteurs proposent l'Ajustement de l'Identité Latente (Latent-Identity Tuning), un cadre qui opère directement sur la représentation de l'identité latente au sein d'un encodeur de personnalisation pré-entraîné et gelé (utilisant spécifiquement des Q-Formers). Au lieu de réentraîner le modèle ou d'optimiser par image, la méthode explore l'espace latent de l'encodeur pour découvrir des directions sémantiques d'édition.

1. Analyse de l'espace des jetons d'identité

Le cadre exploite l'observation selon laquelle les adaptateurs Q-Former dans les modèles de personnalisation produisent un ensemble de jetons d'identité ( $Z \in \mathbb{R}^{N \times C}$ ). Ces jetons ne sont pas monolithiques ; ils présentent plutôt une organisation structurée et partiellement désenchevêtrée où des jetons spécifiques ou des sous-ensembles de jetons correspondent à des régions faciales spatiales ou sémantiques distinctes (ex. : yeux, lèvres, nez).

2. Sélection de jetons

Pour permettre une édition localisée, la méthode identifie le sous-ensemble spécifique de jetons ( $S$ ) pertinent pour un attribut cible :

Attributs localisés : Pour des parties faciales spécifiques (ex. : les lèvres), la méthode construit des images appariées ( $I, I_{patch}$ ) où un patch est collé sur la région cible. En calculant la différence dans les représentations d'identité ( $\Delta Z$ ), elle sélectionne les top- $k$ jetons présentant la plus grande magnitude de changement. Ce sous-ensemble est réutilisé pour tous les sujets.
Attributs globaux : Pour les attributs couvrant l'ensemble du visage (ex. : taches de rousseur, teint), la méthode entraîne des SVM linéaires sur les caractéristiques individuelles des jetons pour prédire les étiquettes d'attributs. Les jetons dont les classifieurs atteignent une haute précision de validation sont sélectionnés comme le sous-ensemble pertinent.

3. Techniques d'ajustement

Une fois les jetons pertinents identifiés, le cadre applique plusieurs stratégies de manipulation :

Interpolation globale et locale : La méthode interpole entre les représentations d'identité ( $Z_A$ et $Z_B$ ). En interpolant uniquement un sous-ensemble sélectionné de jetons ( $Z_S$ ), elle permet un transfert d'identité localisé (ex. : transplanter les sourcils d'une personne à une autre) tout en préservant le reste de l'identité.
Directions linéaires supervisées : En utilisant des jeux de données avec des étiquettes d'attributs binaires (ex. : CelebA), la méthode apprend des directions d'édition via :
- Estimateur de différence de moyenne : Calculer la différence entre les représentations moyennes des échantillons positifs et négatifs.
- Estimateur basé sur SVM : Utiliser le vecteur normal d'un hyperplan SVM linéaire comme direction d'édition. Les auteurs notent que les SVM sont souvent plus efficaces pour les éditions de grain fin (ex. : joues rosées), tandis que la différence de moyenne est meilleure pour les changements prononcés (ex. : barbe).
Directions linéaires non supervisées : Utilisation de l'Analyse en Composantes Principales (PCA) sur les représentations d'identité.
- PCA Globale : Capture les corrélations à travers tous les jetons pour les éditions globales (ex. : âge).
- PCA par jeton/groupe : Appliquer la PCA à des jetons spécifiques ou à des sous-ensembles sélectionnés révèle des contrôles localisés (ex. : couleur des yeux, ouverture des yeux).

4. Mises à jour préservant la norme

Pour garantir que les éditions restent dans la distribution de l'espace latent, la méthode applique une mise à jour préservant la norme (Éq. 2). Elle centre le vecteur, ajoute une direction mise à l'échelle et redimensionne le résultat pour préserver la distance originale par rapport à la moyenne du jeu de données.

Contributions clés

Définition de l'ajustement d'identité : Le papier formalise la tâche de modification de la représentation de l'identité latente elle-même pour assurer des éditions persistantes et cohérentes à travers diverses générations, se distinguant ainsi de l'édition d'image unique.
Découverte d'un espace latent structuré : Il démontre que l'espace des jetons d'identité des encodeurs de personnalisation basés sur Q-Former est structuré et interprétable, avec des jetons faisant correspondance avec des régions faciales spécifiques.
Mécanisme de sélection de jetons : Une méthode novatrice pour isoler les jetons pertinents pour des attributs faciaux spécifiques en utilisant soit une analyse de différence par patch, soit une classification supervisée.
Cadre de contrôle à grain fin : Une suite de techniques (interpolation, directions linéaires supervisées/non supervisées) permettant des éditions continues, localisées et sémantiquement cohérentes sans entraînement de modèle supplémentaire.

Résultats

Le cadre a été validé avec les encodeurs Omni-ID et PuLID avec le modèle T2I Flux.dev, évalué sur les jeux de données FFHQ et CelebA.

Performance qualitative : La méthode réalise avec succès des éditions difficiles à exprimer par le texte, telles que la modification de la forme du nez, l'ajout de styles de barbe spécifiques, ou le transfert de régions périoculaires (sourcils/paupières) entre des identités. L'identité éditée reste cohérente à travers diverses invites (arrière-plans, poses, styles).
Comparaison quantitative : Comparée aux bases de référence comme PreciseControl, Weights2Weights, et Flux Kontext (variantes Direct et Séquentielle), la méthode proposée atteint :
- Une plus haute cohérence d'identité : Mesurée par la similitude cosinus ArcFace à travers les images générées.
- Une meilleure adhérence à l'édition : Meilleur alignement avec la modification demandée.
- Une meilleure adhérence au prompt : Meilleur alignement avec la description de la scène cible.
- Étude utilisateur : Dans une comparaison par paires impliquant 250 jugements, la méthode proposée a été préférée par rapport à toutes les bases de référence pour la Préservation de l'Identité, la Cohérence de l'Identité, l'Adhérence à l'Édition, l'Adhérence au Prompt et la Préférence Globale (taux de victoire allant de 70 % à 96 %).

Signification

Le papier affirme que l'espace des jetons d'identité dans les encodeurs de personnalisation est interprétable et contrôlable avec une granularité faciale fine. En déplaçant l'attention de l'édition au niveau de l'image vers l'ajustement de l'identité latente, les auteurs permettent aux utilisateurs de raffiner des aspects délicats de l'identité visuelle (ex. : ouverture des yeux, texture des taches de rousseur) avec une grande précision. La signification réside dans la fourniture d'un mécanisme pour une modification d'identité persistante, cohérente et localisée qui ne nécessite ni optimisation par image, ni réentraînement, dépassant ainsi les limites des approches actuelles de guidage textuel et d'édition d'image dans le contexte des visages humains.