Few-Shot Generative Model Adaption via Identity Injection and Preservation

Ce papier propose I²P, une méthode d'adaptation de modèles génératifs à peu d'exemples qui préserve les connaissances d'identité de la source grâce à l'injection d'identité et à l'alignement de la consistance, surmontant ainsi les problèmes de mode collapse et d'oubli de l'identité dans les approches existantes.

L'essentiel

Imaginez que vous êtes un chef cuisinier très talentueux (c'est le modèle génératif) qui a passé des années à apprendre à préparer des plats exquis avec des milliers d'ingrédients différents. Vous êtes un expert pour faire des burgers parfaits.

Maintenant, on vous demande de cuisiner un tout nouveau type de plat : des burgers au fromage bleu, mais avec une contrainte étrange. On ne vous donne que 10 photos de ce nouveau plat pour vous guider. C'est ce qu'on appelle l'adaptation "few-shot" (peu d'exemples).

Le problème ? Si vous essayez de cuisiner juste en regardant ces 10 photos, vous risquez de deux choses :

1. Oublier votre talent : Vous oubliez comment faire un bon burger et vous faites des trucs moches.
2. Copier bêtement : Vous copiez exactement les 10 photos, mais vous ne savez pas varier les recettes (c'est ce qu'on appelle l'effondrement du mode).

Les méthodes actuelles sont comme des apprentis qui, pour respecter la nouvelle recette, oublient totalement comment faire un bon burger. Le résultat est un plat qui a le goût du fromage bleu, mais qui ressemble à un tas de boue.

Voici comment la méthode I2P (Injection et Préservation d'Identité) de ce papier résout le problème, avec une analogie simple :

1. L'Injection d'Identité : Le "Transfert de Mémoire"

Imaginez que votre cerveau de chef (le modèle) a une mémoire profonde de ce qu'est un "vrai burger". La méthode I2P commence par une étape intelligente : elle prend les souvenirs de votre cerveau sur le burger original et les injecte directement dans votre nouvelle préparation.

C'est comme si vous aviez un casque de réalité virtuelle qui vous rappelle constamment : "N'oublie pas la texture de la viande, la forme du pain, le goût du sel". Même si vous regardez les 10 photos de burgers au fromage bleu, votre cerveau sait garder l'essence du "vrai burger" grâce à cette injection. Cela empêche le plat de devenir une boue informe.

2. Le Module de Substitution : Le "Déménageur de Meubles"

Ensuite, il faut séparer ce qui change de ce qui reste.

• Le Style : C'est la décoration de la pièce (la couleur du mur, le style du tapis). Ici, c'est le "fromage bleu".
• Le Contenu (Identité) : C'est la structure de la maison (les murs, le toit). Ici, c'est la forme du burger.

Les anciennes méthodes mélangaient tout, comme un déménageur maladroit qui casse les meubles pour les mettre dans un carton.
I2P utilise un déménageur expert (le Style-Content Decoupler) qui démonte la pièce avec soin : il sort le tapis (le style) et laisse les murs (l'identité) intacts. Il prend ensuite les murs de votre ancien appartement (le burger original) et les place dans la nouvelle pièce décorée en style "fromage bleu".

3. La Préservation d'Identité : Le "Contrôle Qualité"

Enfin, pour être sûr que tout fonctionne, le système utilise trois règles strictes (les contraintes) :

• Règle du goût (Contenu) : Le burger doit toujours avoir le goût d'un burger.
• Règle de la déco (Style) : Il doit avoir l'air d'un burger au fromage bleu.
• Règle de l'assemblage (Synthèse) : Le tout doit être assemblé de manière cohérente.

C'est comme un inspecteur de qualité qui vérifie : "Est-ce que les murs sont bien droits ? Est-ce que la déco est bien collée ? Est-ce que l'ensemble ne fait pas bizarre ?". Si quelque chose ne va pas, le système corrige immédiatement avant de servir le plat.

Le Résultat ?

Grâce à cette méthode, I2P permet de créer des images (des plats) dans un nouveau style (fromage bleu) en utilisant très peu d'exemples, sans perdre l'âme du modèle original.

• Sans I2P : Vous obtenez un burger qui ressemble à un dessin d'enfant ou qui a oublié comment être un burger.
• Avec I2P : Vous obtenez un magnifique burger au fromage bleu, avec la texture parfaite d'un vrai burger, même si vous n'aviez que 10 photos pour apprendre.

En résumé : I2P est une technique qui apprend à un artiste à changer de style (peindre en Van Gogh, par exemple) sans oublier comment dessiner un visage humain réaliste, même s'il n'a que quelques croquis pour s'inspirer. C'est un équilibre parfait entre garder ses racines et s'adapter à la nouveauté.

Résumé technique

1. Problématique

L'adaptation de modèles génératifs pré-entraînés (comme StyleGAN) vers un nouveau domaine cible avec très peu d'échantillons (moins de 10 images, ou "few-shot") pose des défis majeurs :

• Effondrement de mode (Mode Collapse) : Le modèle manque de diversité et génère des images répétitives.
• Surapprentissage (Overfitting) : Le modèle mémorise les images d'entraînement au lieu d'apprendre la distribution, entraînant la réplication d'artefacts.
• Perte d'identité : Les méthodes existantes (ajustement fin, régularisation, modulation de noyaux) échouent souvent à préserver l'identité visuelle de la source (ex: les traits du visage d'une personne spécifique) tout en adoptant le style du domaine cible. Elles souffrent d'un dilemme intrinsèque entre le transfert de style et la préservation de l'identité.

2. Méthodologie : I2P (Identity Injection and Preservation)

Les auteurs proposent une nouvelle architecture appelée I2P, conçue pour injecter les connaissances d'identité de la source dans le domaine cible tout en découplant et en modulant les caractéristiques de style et de contenu. Le cadre repose sur trois modules principaux :

A. Module d'Injection d'Identité (Identity Injection)

Ce module vise à intégrer les connaissances d'identité de la source directement dans l'espace latent du générateur cible.

• Mécanisme : Il fusionne les vecteurs latents de la source ($w^S$) et de la cible ($w^T$).
• Fonctionnement : Inspiré par l'AdaIN (Adaptive Instance Normalization), il aligne les statistiques (moyenne et variance) des caractéristiques de contenu de la source avec celles du style de la cible.
• Formule : Le vecteur latent cible modifié $w'^T$ est calculé comme une combinaison pondérée du vecteur original et d'une version normalisée injectée avec l'identité source :
  $$w'^T_i = (1-\alpha) \cdot w^T_i + \alpha \cdot \left[ \frac{\sigma(w^S_i)(w^T_i - \mu(w^T_i))}{\sigma(w^T_i)} + \mu(w^S_i) \right]$$
  où $\alpha$ contrôle le degré d'injection. Cela guide le réseau de mapping cible à apprendre la distribution tout en conservant l'identité source.

B. Module de Substitution d'Identité (Identity Substitution)

Ce module décompose et reconstruit les caractéristiques pour éviter l'entrelacement style-contenu.

• Découplage Style-Contenu (Style-Content Decoupler) : Utilise un encodeur CLIP pour extraire des caractéristiques profondes, puis un module léger (convolutions + couche linéaire) pour séparer les vecteurs en caractéristiques de style ($S$) et de contenu ($C$) de manière linéairement indépendante.
• Modulateur de Reconstruction (Reconstruction Modulator) : Utilise à nouveau l'AdaIN pour reconstruire des caractéristiques synthétiques ($M$) en combinant le contenu d'une image et le style d'une autre. Cela permet de créer des paires style-contenu croisées pour l'entraînement.

C. Module de Cohérence d'Identité (Identity Consistency)

Pour garantir que l'identité et le style sont préservés correctement, trois contraintes de perte sont appliquées :

1. Contrainte de Contenu ($L_c$) : Assure que la distribution des caractéristiques de contenu du domaine cible générée ($P_{CT}$) reste proche de celle de la source ($P_{CS}$) via une perte smooth-l1.
2. Contrainte de Style ($L_s$) : Assure que la distribution des styles de la cible générée ($P_{SS}$) correspond à celle des données d'entraînement réelles ($P_{SR}$).
3. Contrainte de Synthèse ($L_r$) : Une contrainte innovante utilisant la similarité cosinus pour aligner les distributions des caractéristiques reconstruites ($P_M$). Contrairement aux pertes directes, celle-ci garantit que la direction spatiale de l'identité est préservée lors de la fusion, évitant les distorsions.

La perte totale est : $L_{total} = L_{adv} + \lambda \cdot (L_c + L_s + L_r)$.

3. Contributions Clés

• Proposition de I2P : Une méthode unifiée combinant injection, substitution et cohérence pour l'adaptation few-shot.
• Injection d'Identité : Un mécanisme explicite dans l'espace latent pour prévenir la dérive d'identité (identity drift) causée par l'échantillonnage aléatoire.
• Substitution et Contraintes : Une approche de découplage style-contenu couplée à des contraintes de cohérence (notamment la contrainte de synthèse par similarité cosinus) pour maintenir l'intégrité des caractéristiques.
• Performance Supérieure : Démonstration que la méthode surpasse les méthodes de l'état de l'art (SOTA) comme CDC, RSSA, PIR et SGP sur plusieurs jeux de données.

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de transfert de domaine (ex: FFHQ vers Croquis, MetFaces, Lunettes, etc.) avec seulement 5 à 10 images d'entraînement.

• Évaluation Qualitative :
  • I2P préserve les traits distinctifs du visage (identité source) tout en appliquant fidèlement le style cible (ex: style croquis, style Van Gogh).
  • Les méthodes concurrentes souffrent soit de surapprentissage (artefacts), soit de perte d'identité (visages flous ou déformés).
• Évaluation Quantitative :
  • FID (Fréchet Inception Distance) : I2P obtient les scores les plus bas (meilleure fidélité de distribution) sur tous les jeux de données testés (ex: 38.16 sur Sketches vs 45.01 pour PIR).
  • Intra-LPIPS : I2P obtient les scores les plus élevés, indiquant une meilleure diversité d'images (moins de mode collapse).
  • Métriques d'Identité (DINO, CLIP-I, CLIP-T) : I2P surpasse les autres méthodes dans la préservation de l'identité structurelle et sémantique, tout en réussissant le transfert de style.
• Efficacité : I2P est plus efficace en temps et en mémoire que des méthodes comme RSSA ou PIR, tout en utilisant la même architecture de base (StyleGANv2).

5. Signification et Impact

Cet article apporte une solution robuste au problème critique de l'adaptation de modèles génératifs avec très peu de données.

• Résolution du dilemme Style-Contenu : En introduisant une injection explicite d'identité et une contrainte de cohérence basée sur la reconstruction, I2P résout le compromis habituel entre la fidélité au style cible et la préservation de l'identité source.
• Robustesse : La méthode fonctionne efficacement même avec seulement 5 échantillons, ce qui est crucial pour des applications réelles où les données sont rares (médical, art personnalisé, etc.).
• Limites et Perspectives : L'auteur note que la méthode dépend de la qualité des transformations de préservation d'identité et peut être moins efficace pour des domaines très abstraits ou sans concept d'identité clair (ex: Humain vers Chat). Les travaux futurs visent à automatiser la sélection des transformations et à étendre l'approche à d'autres tâches génératives.

En résumé, I2P représente une avancée significative dans le domaine de l'apprentissage génératif peu échantillonné, offrant un équilibre optimal entre adaptation de style et fidélité à l'identité.