🤖 machine learning

Test-Time Compositional Generalization in Diffusion Models via Concept Discovery

Ce papier propose une méthode de généralisation compositionnelle au moment de l'inférence pour les modèles de diffusion préentraînés, qui découvre des concepts spécifiques à la requête en analysant la géométrie des scores indexés dans le temps afin de construire un modèle enseignant de type produit d'experts, permettant la génération de configurations nouvelles sans recourir à des bibliothèques de concepts prédéfinies.

Auteurs originaux : Zekun Wang, Anant Gupta, Tianyi Zhu, Christopher J. MacLellan

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zekun Wang, Anant Gupta, Tianyi Zhu, Christopher J. MacLellan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef étoilé qui a passé des années à cuisiner des milliers de plats. Ce chef sait préparer parfaitement un « ragoût de bœuf épicé » et une « salade de fruits sucrée ». Mais un jour, vous lui demandez de préparer quelque chose qu'il n'a jamais vu auparavant : un « ragoût de fruits épicé ».

Dans le monde de l'IA, cela s'appelle la généralisation compositionnelle. Le défi est le suivant : le chef peut-il combiner le concept de « bœuf épicé » et le concept de « salade de fruits » pour créer un nouveau plat, même s'il n'a jamais cuisiné cette combinaison spécifique auparavant ?

Habituellement, les modèles d'IA ont besoin d'un livre de recettes (une bibliothèque de concepts) pour y parvenir. Si le « ragoût de fruits épicé » ne figure pas dans le livre, le chef est perdu.

Ce papier présente une nouvelle méthode permettant au chef IA de résoudre le problème en temps réel, sans livre de recettes. Voici comment cela fonctionne, en utilisant des analogies simples :

1. L'analogie de la « pièce brumeuse » (Le modèle de diffusion)

Imaginez un générateur d'images IA entraîné comme une pièce remplie de brouillard.

Le brouillard : L'IA commence avec une image complètement brumeuse et bruitée.
Le processus : L'IA dissipe lentement le brouillard, étape par étape, pour révéler une image claire.
Le secret : Au fur et à mesure que le brouillard se dissipe, l'IA apprend des « repères ». À un niveau de brouillard épais, elle peut distinguer une forme vague de « visage ». Lorsque le brouillard se lève davantage, elle voit des « yeux », puis des « yeux bleus », puis « les yeux bleus d'une personne spécifique ».

Les auteurs ont réalisé que ces « repères » (appelés modes) existent à différents niveaux de clarté. Certains sont flous (concepts généraux comme « visage »), d'autres sont nets (détails spécifiques comme « sourire »).

2. Le travail d'enquête (Découverte de concepts)

Lorsque vous donnez à l'IA une demande étrange (comme « ragoût de fruits épicé »), elle ne panique pas. Au lieu de cela, elle agit comme un détective dans cette pièce brumeuse.

La piste : Vous montrez à l'IA un seul exemple légèrement flou de ce que vous voulez (la « requête »).
La recherche : L'IA effectue une recherche spéciale (appelée ascension du gradient) à travers le brouillard. Elle cherche les « sommets » ou les points hauts du brouillard où les données sont les plus denses.
La découverte : Elle trouve plusieurs « sommets » distincts qui correspondent à des parties de votre demande. Peut-être trouve-t-elle un sommet qui ressemble à « fruit » et un autre qui ressemble à « épicé ». Elle n'a pas besoin d'étiquettes pour ceux-ci ; elle trouve simplement les formes dans le brouillard qui correspondent.

3. L'« équipe d'experts » (Produit d'experts)

Maintenant que l'IA a trouvé ces « sommets » (concepts), comment les combine-t-elle ?

Imaginez que vous avez une équipe d'experts. Un expert connaît les « fruits », un autre connaît l'« épicé ».
L'IA crée un modèle de Produit d'experts (PoE). C'est comme une réunion où tous ces experts votent sur l'apparence finale de l'image.
Ils ne se contentent pas de fusionner les images ; ils combinent mathématiquement leurs « opinions » (probabilités) pour créer un nouveau plan clair pour le « ragoût de fruits épicé ».

4. Les deux façons de cuisiner (Échantillonnage et distillation)

Une fois que l'IA a ce nouveau plan, elle peut générer l'image de deux manières :

Méthode A : Le guide instantané (Échantillonnage analytique)
L'IA utilise le plan pour guider directement le processus de dissipation du brouillard. C'est comme si le chef regardait le plan et disait : « D'accord, je sais exactement comment dissiper le brouillard pour préparer ce plat spécifique maintenant. »
Méthode B : La séance d'entraînement (Distillation LoRA)
L'IA prend les images qu'elle a générées à l'aide du plan et les utilise pour s'enseigner un nouveau « tour de force ». Elle ajoute une petite mise à jour légère (appelée LoRA) à son cerveau.
- Analogie : C'est comme si le chef goûtait le nouveau « ragoût de fruits épicé », notait une nouvelle note dans son carnet personnel, puis le mémorisait. La prochaine fois, il pourra le préparer instantanément sans avoir besoin de refaire le travail d'enquête.

Pourquoi cela compte

Le papier a testé cela sur deux éléments :

Chiffres colorés : Créer un « chiffre 7 vert » alors que l'IA n'avait été entraînée que sur un « chiffre 7 rouge » et un « chiffre 3 vert ».
Visages : Créer un visage avec des « cheveux blonds » et de « grosses lèvres » alors qu'elle n'avait jamais vu cette combinaison exacte auparavant.

Les résultats :

Anciennes méthodes : Tentaient de trouver la chose la plus proche qu'elles connaissaient (par exemple : « Oh, vous voulez du vert ? Voici un 3 vert, mais ce n'est pas un 7 »). Le résultat était souvent erroné.
La nouvelle méthode : A découvert avec succès le concept de « vert » et le concept de « 7 » séparément, les a combinés et a créé un « 7 vert » parfait. Elle était meilleure pour conserver les détails correctement (fidélité) et pour faire en sorte que cela ressemble à une image réelle (généralisation).

La conclusion

Ce papier montre que les modèles d'IA contiennent déjà une bibliothèque cachée de « blocs de construction » à l'intérieur de leur processus d'apprentissage brumeux. Vous n'avez pas besoin de leur donner les blocs ; vous devez simplement leur apprendre à trouver les blocs et à les assembler lorsqu'ils voient une nouvelle demande étrange. Cela transforme l'IA d'un suiveur rigide de recettes en un résolveur de problèmes flexible et créatif.

Résumé Technique : Généralisation Compositionnelle au Moment du Test dans les Modèles de Diffusion via la Découverte de Concepts

Énoncé du Problème

La généralisation compositionnelle — la capacité à recombiner des parties familières en configurations nouvelles — est une caractéristique distinctive de l'intelligence humaine, mais elle reste un défi majeur pour les modèles d'apprentissage profond. Alors que les réseaux de neurones interpolent souvent bien au sein des distributions d'entraînement, ils peinent lorsque des primitives familières apparaissent dans des combinaisons inhabituelles. Les approches existantes pour la génération compositionnelle dans les modèles de diffusion reposent généralement sur une bibliothèque prédéfinie de concepts, des signaux de conditionnement ou des étiquettes externes pour guider la génération de nouvelles compositions. Cela crée un fossé entre la découverte de concepts et la généralisation compositionnelle : les méthodes antérieures supposent que les primitives pertinentes sont déjà connues et disponibles, échouant à traiter les scénarios où un modèle doit découvrir des concepts spécifiques à la requête à partir de zéro au moment du test, sans vocabulaire fixe ni supervision externe.

Méthodologie

L'article propose un cadre qui réutilise un modèle de diffusion préentraîné comme une hiérarchie implicite de modes de densité indexés par le temps pour découvrir et composer des concepts au moment du test. La méthode opère en trois étapes principales :

Découverte de concepts par ascension de mode :
Au lieu d'utiliser le modèle de diffusion uniquement pour l'échantillonnage inverse, les auteurs exploitent la fonction de score indexée par le temps apprise $s_\theta(x_t, t) \approx \nabla_{x_t} \log p_t(x_t)$ pour localiser les modes locaux de densité des marginales bruitées $p_t(x_t)$ . Partant d'une seule requête hors distribution (OOD) $x_q$ , la méthode effectue une ascension de gradient sur le score inconditionnel à plusieurs pas de bruit $t$ pour retrouver les modes locaux.
- Fondement théorique : En s'appuyant sur la formule de Tweedie, les auteurs démontrent que ces modes correspondent à des « prototypes de concept » sans bruit dans l'espace des données propres ( $x_0$ ), agissant efficacement comme des centroïdes discrets à différents niveaux d'abstraction selon le niveau de bruit.
- Représentation : Chaque mode découvert est réinjecté dans l'espace $x_0$ et approximé comme un expert gaussien local $q_j(x_0) = \mathcal{N}(x_0; m_j, \Sigma_j)$ , où la moyenne est dérivée du mode et la covariance est estimée via des sondes de Hutchinson.
Composition par Produit d'Experts (PoE) :
Les experts gaussiens découverts sont combinés en un seul modèle enseignant analytique en utilisant une formulation de Produit d'Experts (PoE).
- Sélection : Un algorithme d'optimisation submodulaire glouton sélectionne le sous-ensemble de prototypes les plus pertinents pour la requête, maximisant un objectif de couverture de vraisemblance par dimension.
- Composition : Les experts sélectionnés sont combinés en une distribution PoE pondérée $q_T$ . Comme les experts sont gaussiens, la composition résultante l'est également, avec une fonction de score sous forme fermée. Cela permet de dériver une prédiction de bruit analytique $\epsilon_{q_T}(x_t, t)$ sans nécessiter de token conditionnel entraîné pour la nouvelle composition.
Échantillonnage compositionnel et distillation :
- Échantillonnage analytique : Le score analytique du modèle enseignant PoE est intégré dans un cadre de guidage sans classificateur (CFG). Le modèle oppose la prédiction PoE à la prédiction inconditionnelle pour guider l'échantillonnage vers la composition découverte.
- Distillation LoRA : Pour améliorer la génération dans la variété (in-manifold) et créer une condition réutilisable, la méthode distille optionnellement le modèle enseignant PoE dans le modèle de base. Cela implique l'entraînement d'un nouvel embedding de classe et d'un adaptateur à faible rang (LoRA) sur un pool d'échantillons générés par le modèle enseignant PoE. Cette étape réintègre la composition découverte dans la variété de score du modèle.

Contributions Clés

Liaison entre découverte et composition : Ce travail fait le lien entre la découverte de concepts et la généralisation compositionnelle en traitant un modèle de diffusion préentraîné comme une hiérarchie implicite de modes de densité. Il permet la récupération de prototypes de concepts discrets au moment du test sans pool de primitives prédéfini.
Mécanisme de composition au moment du test : Les auteurs introduisent une méthode qui sélectionne de manière gloutonne les modes pertinents en utilisant un objectif de vraisemblance submodulaire et les combine en un modèle enseignant PoE avec un score sous forme fermée, permettant un échantillonnage direct sans réentraînement du modèle de base sur la composition spécifique.
Validation empirique : Le cadre est évalué sur deux benchmarks, ColorMNIST et CelebA, démontrant que les prototypes découverts et leur composition PoE encodent des informations plus riches sur les compositions invisibles que l'échantillonnage basé uniquement sur la requête ou la récupération de la classe entraînée la plus proche.

Résultats

Les expériences sur ColorMNIST (identité du chiffre, couleur, arrière-plan) et CelebA (attributs du visage) montrent que la méthode proposée surpasse plusieurs lignes de base :

Lignes de base : La méthode est comparée à « Requête seule » (échantillonnage autour de la requête avec variance fixe), « Top-1/Top-3 » (récupération des classes entraînées les plus proches) et au CFG standard.
Performance : Tant l'échantillonneur PoE analytique que la variante distillée par LoRA atteignent des métriques FID, de similarité CLIP et de Précision/Rappel supérieures par rapport aux lignes de base.
- Sur ColorMNIST, la variante LoRA atteint un score F1 de 87,6 % (Fidélité) et 76,3 % (Généralisation), surpassant significativement la ligne de base Top-1 (~6,5 % F1).
- Sur CelebA, la méthode PoE atteint le meilleur FID de Généralisation (140,3) et les meilleurs scores CLIP, tandis que LoRA améliore davantage l'équilibre entre couverture et fidélité, atteignant le Rappel et le F1 de Généralisation les plus élevés.
Analyse qualitative : Les résultats visuels indiquent que, alors que les lignes de base échouent souvent à préserver la combinaison spécifique d'attributs (par exemple, en changeant l'identité du chiffre ou en dérivant vers d'autres combinaisons d'attributs), la méthode proposée reconstruit avec succès la composition OOD et se généralise à d'autres instances de la même classe.

Importance et Revendications

L'article revendique que la géométrie du score indexée par le temps des modèles de diffusion contient des concepts de modes de densité réutilisables qui soutiennent la génération compositionnelle au moment du test sans bibliothèque de concepts prédéfinie.

Insight théorique : Les résultats suggèrent que les modèles de diffusion encodent implicitement une hiérarchie de concepts où les modes des marginales bruitées servent de prototypes à différents niveaux d'abstraction.
Implication pratique : La méthode permet la génération de nouvelles configurations à partir d'une seule requête OOD, offrant une voie pour la généralisation compositionnelle qui ne dépend pas de supervision externe ni de vocabulaires préspécifiés.
Limites : Les auteurs notent modestement que le protocole suppose que les facteurs primitifs sont connus (configuration compositionnelle standard) et que la méthode repose sur les biais inductifs du backbone préentraîné. Bien qu'elle puisse interpoler entre des primitives connues, elle ne peut pas fabriquer de primitives véritablement nouvelles qui extrapolent au-delà du support d'entraînement (par exemple, un arrière-plan blanc dans un modèle entraîné uniquement sur des arrière-plans sombres).

Ce travail fournit à la fois des preuves théoriques et empiriques que les modèles de diffusion peuvent être réutilisés pour la découverte et la composition de concepts, s'étendant potentiellement à des applications plus larges dans la modélisation du langage et le contrôle robotique.