Résumé Technique : DivRL – Récompenses de Auto-Similarité Désentrelacées pour une Génération Diversifiée Pilotée par Sujet

1. Énoncé du Problème : Le Paradoxe Identité-Diversité

La génération d'images pilotée par un sujet vise à synthétiser des images inédites d'un sujet spécifique tout en préservant son identité visuelle à travers divers contextes, poses et styles. Malgré la fidélité des récents modèles basés sur la diffusion, une tension fondamentale subsiste, connue sous le nom de « Paradoxe Identité-Diversité ».

• Le Conflit : Les modèles qui imposent fortement la préservation de l'identité ont tendance à s'effondrer en générant des images quasi identiques à la référence, présentant des poses, des points de vue et des expressions rigides. À l'inverse, les méthodes qui encouragent la diversité structurelle souffrent fréquemment de « dérive d'identité », où le sujet généré perd ses caractéristiques définissantes.
• Cause Racine : Ce paradoxe provient du fait que les attributs visuels définissant l'identité sont entrelacés avec la structure spatiale de l'image de référence. Lorsque les modèles tentent de préserver l'identité, ils préservent par inadvertance l'information structurelle entrelacée, ce qui réduit la diversité. Lorsqu'ils tentent de modifier la structure, ils risquent de modifier les attributs définissant l'identité.
• Limites des Récompenses Actuelles : Les récompenses basées sur l'identité existantes encouragent souvent le mimétisme structurel, car les modèles peuvent maximiser les scores d'identité en reproduisant la configuration spatiale exacte de la référence plutôt qu'en explorant des variations novatrices et cohérentes avec l'identité.

2. Méthodologie : Le Cadre DivRL

Les auteurs proposent DivRL, un cadre de post-entraînement basé sur l'apprentissage par renforcement (spécifiquement Flow-GRPO) qui optimise conjointement la cohérence de l'identité et la diversité structurelle. L'innovation centrale réside dans le désentrelacement de ces objectifs grâce à des conceptions de récompenses spécifiques et une stratégie d'optimisation « Explorer-et-Supprimer » (Explore-and-Suppress).

2.1 Conception de la Récompense

Le cadre utilise deux signaux de récompense distincts dérivés de caractéristiques visuelles désentrelacées (utilisant spécifiquement les caractéristiques visuelles MTG d'un modèle de similarité robuste) :

1. Appariement Sémantique Visuel (VSM) pour la Cohérence de l'Identité :

   • Le VSM évalue la préservation de l'identité en calculant des matrices de similarité sémantique et visuelle entre les images de référence et les images générées.
   • Il identifie les régions sémantiquement cohérentes (où la similarité sémantique dépasse un seuil $\tau_s$) et évalue la cohérence visuelle au sein de ces régions.
   • Un score VSM plus élevé indique une meilleure préservation de l'identité du sujet sous diverses conditions.

2. Mesure de l'Auto-Similarité Négative (nSSM) pour la Diversité Structurelle :

   • Contrairement aux métriques de différence de caractéristiques globales, la nSSM quantifie la diversité en analysant les relations internes des caractéristiques visuelles.
   • Elle calcule des Matrices d'Auto-Similarité (SSM) pour les grilles de caractéristiques visuelles des images de référence et générées. Ces matrices capturent l'organisation spatiale intrinsèque des parties de l'objet.
   • La nSSM est définie comme $1 - \rho$, où $\rho$ est le coefficient de corrélation de Pearson entre les SSM des images de référence et générées.
   • Logique : Une corrélation élevée implique des configurations structurelles similaires (faible diversité), tandis qu'une corrélation plus faible correspond à des contextes structurellement diversifiés (par exemple, des poses ou des points de vue différents). Maximiser la nSSM encourage le modèle à explorer des configurations structurellement différentes.
   • Stabilisation : Pour éviter les artefacts de texture à haute fréquence (une forme de détournement de récompense où le modèle imite les corrélations locales sans changer la structure globale), les caractéristiques visuelles sont sous-échantillonnées via un pooling moyen $2\times2$ avant de calculer la SSM.

2.2 Stratégie d'Optimisation : « Explorer-et-Supprimer »

L'optimisation directe des deux objectifs via une pondération linéaire mène à un entraînement instable et à un détournement de récompense. Au lieu de cela, DivRL emploie une stratégie d'optimisation à deux étapes à porte (gated) :

• Étape 1 (Explorer) : Le modèle est entraîné en utilisant la nSSM comme seule récompense. Cela encourage le modèle à explorer librement l'espace latent et à générer des configurations structurellement diverses, brisant la rigidité du modèle pré-entraîné.
• Étape 2 (Supprimer) : Le modèle est entraîné à l'aide d'une formulation de récompense à porte.
  • Le VSM agit comme une contrainte (porte).
  • Si le score VSM d'un échantillon est supérieur à un seuil $s$, il reçoit la récompense nSSM.
  • Si le score VSM est inférieur à $s$, une pénalité de perte de charnière quadratique est appliquée : $R = \text{nSSM} - \lambda(s - \text{VSM})^2$.
  • Effet : Cela transforme la préservation de l'identité d'un objectif concurrent en une contrainte de faisabilité. Le modèle est libre d'explorer des structures diverses tant qu'elles restent dans la région de cohérence d'identité. Cela découple l'optimisation, permettant à la nSSM et au VSM de s'améliorer conjointement sans que les gradients de l'un ne détruisent l'autre.

3. Contributions Clés

L'article expose trois contributions principales :

1. Métrique nSSM : L'introduction de la mesure d'Auto-Similarité Négative, une métrique d'espace de caractéristiques qui quantifie la diversité structurelle en analysant les corrélations d'auto-similarité des caractéristiques visuelles désentrelacées, plutôt que les différences de caractéristiques globales.
2. Stratégie Explorer-and-Suppress : Une approche d'optimisation novatrice qui découple l'exploration de la diversité de la préservation de l'identité en utilisant une formulation de récompense à porte, transformant efficacement la préservation de l'identité en une contrainte plutôt qu'en un objectif conflictuel.
3. Validation Empirique : Démonstration sur le benchmark DreamBench++ utilisant le backbone Flux-Kontext, montrant que la méthode améliore la diversité structurelle tout en maintenant une cohérence d'identité compétitive. Les auteurs notent que la formulation nSSM et l'optimisation en deux étapes sont indépendantes du backbone.

4. Résultats Expérimentaux

La méthode a été évaluée sur le benchmark DreamBench++ (150 identités, 9 prompts chacune) contre des bases solides incluant Flux-IP-Adapter, OmniGen, OmniGen2, UNO et PaCo-RL.

• Performance Quantitative :

  • Équilibre : DivRL atteint un équilibre supérieur entre la cohérence de l'identité et la diversité structurelle par rapport aux bases. Alors qu'optimiser uniquement le VSM améliore la cohérence mais nuit à la diversité, et que la nSSM seule améliore la diversité mais nuit à la cohérence, l'approche combinée maintient une cohérence élevée (comparable à Flux-Kontext) tout en boostant significativement les métriques de diversité (MTG-nSSM, DINO-nSSM).
  • Suivi de Prompt : Curieusement, la méthode améliore l'alignement avec le prompt. Les auteurs attribuent cela à la relaxation de la « rigidité géométrique » induite par le pré-entraînement ; en encourageant la diversité structurelle, le modèle adapte le sujet plus efficacement aux instructions contextuelles du prompt.
  • Compromis Cohérence vs Diversité : Les graphiques de Ratio de Cohérence vs Diversité-sur-Cohérence montrent que DivRL occupe la région de haute utilité où les deux objectifs coexistent, surpassant les combinaisons linéaires de récompenses qui échouent à améliorer les deux simultanément.

• Observations Qualitatives :

  • Les modèles de base comme Flux-Kontext et PaCo-RL produisent souvent des sorties rigides ou échouent à suivre les interactions de prompt (par exemple, échouer à placer un sujet dans une scène spécifique).
  • D'autres modèles (par exemple, OmniGen) produisent des sorties diverses mais souffrent de dérive d'identité.
  • DivRL réussit à générer des images avec des poses, des points de vue et des expressions variés tout en préservant les détails visuels fins du sujet de référence.

5. Signification et Limites

Signification :
L'article identifie le mimétisme structurel comme un mode de défaillance critique des méthodes actuelles de génération pilotée par sujet. En séparant explicitement la diversité structurelle de la préservation de l'identité, DivRL résout le Paradoxe Identité-Diversité. La stratégie « Explorer-et-Supprimer » démontre que traiter l'identité comme une contrainte de faisabilité plutôt que comme un objectif concurrent permet aux modèles d'explorer des espaces latents de haute qualité où l'identité et la nouveauté coexistent.

Limites :
Les auteurs reconnaissent modestement certaines contraintes :

• Portée de la Métrique : La métrique de diversité (nSSM) se concentre sur les variations structurelles (pose, point de vue) et peut ne pas capturer pleinement la diversité sémantique de haut niveau ou les changements de composition complexes.
• Coût Computationnel : Le recours à l'apprentissage par renforcement pour le post-entraînement introduit un surcoût computationnel supplémentaire par rapport aux méthodes purement feed-forward.
• Contraintes d'Entrée : Le modèle de base (Flux-Kontext) accepte une seule image de référence, ce qui peut limiter l'efficacité lorsque la référence contient des indices d'identité ambigus ou des occlusions complexes.

L'article conclut que les travaux futurs pourraient répondre à ces limitations par des métriques de diversité plus riches, des stratégies d'optimisation plus efficaces et un conditionnement multi-référence.