Résumé Technique : Divide-and-Denoise

Énoncé du Problème

La prolifération des modèles de diffusion pré-entraînés offre des opportunités significatives de composition, permettant aux utilisateurs de combiner l'expertise de plusieurs modèles spécialisés (par exemple, un modèle entraîné sur les chiens et un autre sur les chats) pour générer des données complexes qu'aucun modèle unique ne pourrait produire seul. Cependant, la combinaison naïve de ces modèles présente deux défis primordiaux :

1. Dominance : Un modèle peut prendre le dessus sur les autres, entraînant la négligence de certains concepts spécifiques.
2. Désaccord : Les modèles peuvent entrer en conflit, ce qui entraîne des sorties incohérentes, des objets superposés ou des attributs mal assortis (par exemple, un « chien » et un « chat » fusionnant en une masse incohérente unique).

Les approches existantes, telles que la définition de distributions composites via des densités de produits ou des partitions spatiales définies par l'utilisateur (par exemple, MultiDiffusion), échouent souvent à préserver les caractéristiques distinctes de chaque modèle lorsque des conflits surviennent. Les partitions définies par l'utilisateur sont fastidieuses, souvent irréalisables pour des domaines complexes (comme les structures de protéines) et ne s'adaptent pas aux forces et faiblesses spécifiques des modèles à différentes étapes de la génération.

Méthodologie : Divide-and-Denoise

Les auteurs proposent Divide-and-Denoise, un cadre de théorie des jeux qui coordonne plusieurs modèles de diffusion pré-entraînés pendant le processus d'échantillonnage. La méthode opère via deux processus couplés qui évoluent de concert à chaque étape de temps $t$ :

1. Le Processus de Division (Allocation Équitable)

Au lieu de partitions fixes, la méthode infère une « division du travail » optimale en ligne. L'image latente est traitée comme un ensemble de $m$ caractéristiques (biens) à allouer entre $n$ modèles (joueurs).

• Utilités : Chaque modèle $i$ se voit assigner une utilité $u_{ij}(x, t)$ pour chaque caractéristique $j$ du latent $x$. Le papier définit deux types d'utilités :
  • Basée sur le score : Dérivée de l'amplitude de la différence de score entre le guidage conditionnel et inconditionnel (applicable à tout modèle de diffusion conditionnel).
  • Basée sur l'attention : Dérivée des cartes d'attention croisée (spécifique aux modèles dotés d'un conditionnement par attention croisée).
• Jeu de Division Équitable : À chaque étape, la méthode résout un jeu de division équitable pour déterminer une matrice d'allocation $Q$. L'objectif est de maximiser l'utilité totale attendue (efficacité) sous des contraintes d'équité (par exemple, proportionnalité, absence d'envie).
• Optimisation : L'allocation $Q_t$ est mise à jour en résolvant un problème d'optimisation contraint régularisé par la divergence de Kullback-Leibler par rapport à l'allocation de l'étape de temps précédente afin d'assurer une lissage temporel. La solution est dérivée d'un problème dual, produisant une allocation décomposable où chaque caractéristique est assignée à un poids fractionnaire pour chaque modèle.

2. Le Processus de Débruitage Composite

Une fois l'allocation $Q_t$ déterminée, la méthode construit un noyau de débruitage composite $p^c_t$ qui s'aligne sur cette division.

• Alignement : La mise à jour composite est formulée de manière à maintenir l'étape de débruitage pour les caractéristiques allouées au modèle $i$ proche de la proposition du modèle $i$, tout en maximisant l'utilité totale.
• Règle de Mise à Jour : Sous des hypothèses simplificatrices (distributions factorisées et utilité linéaire), la moyenne composite optimale $\mu^c_t$ est dérivée comme une somme pondérée des moyennes individuelles des modèles plus un terme de guidage :
  $$\mu^c_t = \sum_{i=1}^n \mu^i_t(x_t) \odot Q^i_t + \frac{\sigma^2_t}{\alpha_t} \nabla_{x_t} U_t(x_t, Q)$$
  Ici, $\odot$ désigne le produit élément par élément, et le second terme agit comme une mise à jour de guidage basée sur le gradient de l'utilité totale.
• Joueur Fictif : Pour gérer les régions de faible utilité où les modèles pourraient entrer en conflit ou manquer de préférence, un « joueur fictif » est introduit avec une utilité uniforme. La proposition de ce joueur est la moyenne de tous les modèles, encourageant la collaboration dans les zones ambiguës sans imposer de contraintes d'équité sur celui-ci.

Principales Contributions

1. Algorithme de Coordination à l'Inférence : Une méthode pour coordonner plusieurs modèles de diffusion pré-entraînés ayant des expertises différentes sans nécessiter de poids partagés, d'architectures ou de données d'entraînement communes.
2. Processus Couplés : L'intégration d'un processus de division dynamique (résolution d'un jeu de division équitable) avec un processus de débruitage composite (alignement des modèles sur leurs régions assignées).
3. Formulations d'Utilité : Des définitions générales pour les utilités des modèles applicables à tout modèle de diffusion conditionnel (basé sur le score) et une instanciation spécifique pour les modèles d'attention croisée (basée sur l'attention).
4. Validation Empirique : Démonstration qu'une équipe de modèles à concept unique, coordonnée via cette méthode, surpasse les techniques de composition existantes et même les modèles multi-concepts sur des benchmarks standards.

Résultats Expérimentaux

La méthode a été évaluée sur la génération d'images conditionnelles en utilisant des modèles Stable Diffusion 2.0 et Diffusion Transformer (DiT).

• Benchmarks : L'évaluation a été menée via le benchmark GenEval (se concentrant sur la présence d'objets et la liaison d'attributs), le CLIP-Score, le VQAScore et ImageReward.
• Performance :
  • Génération d'Objets : Dans le cadre « Concepts comme Objets » (par exemple, générer une image avec un sac à main et un ballon de sport), Divide-and-Denoise a nettement surpassé les bases de référence comme Averaging, Composable Diffusion et MultiDiffusion. Pour la génération de 3 objets, il a atteint 59,5 % sur la métrique GenEval « %images » contre 14,75 % pour Multi-Concept Diffusion et 14,00 % pour MultiDiffusion.
  • Liaison d'Attributs : Lors de la génération d'objets avec des couleurs spécifiques (par exemple, un « cheval orange »), la méthode a réussi à lier les attributs aux objets corrects, surpassant les bases de référence qui souffraient souvent de fuite d'attributs ou d'objets manquants.
  • Résolution de Conflits : Dans des scénarios de concepts conflictuels (par exemple, « désert » vs « montagne enneigée »), la méthode a produit des dispositions spatiales diverses et des images de qualité supérieure aux bases de référence, évitant la fusion de concepts incompatibles.
  • Équité : L'inclusion de contraintes d'équité (proportionnalité) a davantage amélioré les métriques, particulièrement à mesure que le nombre de modèles augmentait, empêant un seul modèle de dominer la génération.

Signification et Revendications

Le papier affirme que Divide-and-Denoise fournit une recette générale pour une modélisation générative contrôlable et réutilisable. Sa signification réside dans :

• Résolution des Conflits : Il résout efficacement les conflits entre les modèles sans nécessiter d'intervention manuelle ou de partitions de vérité terrain.
• Agnosticisme du Modèle : La formulation n'est pas liée à des architectures de modèles ou des mécanismes de conditionnement spécifiques, fonctionnant aussi bien avec des modèles de diffusion latente (Stable Diffusion) que des modèles basés sur les Transformers (DiT).
• Interaction Coopérative : Il souligne que l'interaction coopérative entre des modèles pré-entraînés, médiée par l'équité de la théorie des jeux, peut produire des résultats supérieurs à l'entraînement d'un seul grand modèle multi-concept.
• Scalabilité : La méthode est scalable à plusieurs modèles (testée jusqu'à 4) et domaines, avec des extensions potentielles vers la génération texte-vers-graphe, texte-vers-audio, et audio-vers-image.

Les auteurs notent que bien que la méthode introduise une surcharge de calcul (principalement dans l'étape de division), des optimisations du temps d'exécution (telles que la restriction des étapes de division et de guidage aux premiers temps $t$) peuvent réduire considérablement les coûts tout en maintenant les gains de performance.