🤖 AI

Self-Improving Diffusion Classifiers with Minority Preference Optimization

Cet article introduit MiPO, une méthode qui améliore la performance de classification zero-shot des modèles de diffusion dans les régions minoritaires en affinant des modèles préentraînés par l'optimisation de préférence minoritaire afin d'améliorer leur perception des distributions de données sous-représentées sans nécessiter de données d'images supplémentaires ou de modèles de récompense externes.

Auteurs originaux : Hyunsoo Kim, Jungmyung Wi, Soobin Um, Donghyun Kim, Suhyun Kim

Publié 2026-07-07

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hyunsoo Kim, Jungmyung Wi, Soobin Um, Donghyun Kim, Suhyun Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste surdoué qui a passé des années à peindre des millions de tableaux. Cet artiste est si doué que si vous lui demandez de peindre un « chien » ou une « voiture », il peut le faire parfaitement. Dans le monde de l'IA, cet artiste est appelé un Modèle de Diffusion.

Récemment, des scientifiques ont découvert que cet artiste est aussi étonnamment doué pour jouer à un jeu de devinettes : « Qu'y a-t-il dans cette image ? » C'est ce qu'on appelle un Classificateur de Diffusion. Cependant, il y a un bémol : l'artiste est un peu snob. Il est incroyablement sûr de lui lorsqu'il devine des choses communes (comme un chien standard ou une voiture) parce qu'il en a vu des millions. Mais si vous lui montrez quelque chose de rare ou d'inhabituel (comme un type de canard bizarre ou un évier spécifique et rare), il se trompe souvent. Il a du mal avec les éléments de la « minorité » parce qu'il ne s'est pas assez entraîné sur eux.

Le Problème : L'angle mort de l'Artiste

L'article explique que cela se produit parce que l'artiste a été entraîné principalement sur des images communes et populaires. Il est excellent pour la « majorité », mais médiocre pour la « minorité ». Les tentatives précédentes pour corriger cela revenaient à donner une antisèche à l'artiste uniquement pendant qu'il peignait. Cela l'aidait à réaliser quelques images rares, mais cela ne lui apprenait pas réellement à mieux comprendre les choses rares. Une fois l'antisèche retirée, il redevenait confus.

La Solution : MiPO (Minority Preference Optimization)

Les auteurs, Hyunsoo Kim et son équipe, ont créé une nouvelle méthode appelée MiPO. Considérez MiPO comme un coach d'auto-amélioration qui aide l'artiste à apprendre à apprécier et à comprendre les choses rares sans avoir besoin de voir de nouvelles photos réelles.

Voici comment fonctionne MiPO, en utilisant une analogie simple :

La séance d'entraînement (Auto-génération) : Au lieu de montrer de nouvelles photos à l'artiste (qu'il n'a pas), MiPO lui demande d'imaginer et de dessiner des images basées sur des descriptions aléatoires (légendes).
Le score de « Rareté » : Après que l'artiste a dessiné une image, MiPO l'examine. Si l'image ressemble à quelque chose que l'artiste ignore habituellement (une région de la « minorité »), MiPO lui donne un score élevé (une récompense). Si l'image ressemble à un dessin banal et commun, il reçoit un score faible.
Le petit coup de pouce (LoRA & RL) : MiPO utilise un outil spécial et léger (appelé LoRA) pour ajuster le cerveau de l'artiste. C'est comme ajouter une petite paire de lunettes qui aide l'artiste à mieux se concentrer sur les détails rares. Il utilise une technique appelée Group Relative Policy Optimization (GRPO), qui consiste à comparer un groupe de dessins. Si un dessin est plus « rare » que les autres du groupe, l'artiste reçoit un bonus pour ce style spécifique.
Le filet de sécurité (Régularisation KL) : Il existe un risque qu'en essayant d'être « rare », l'artiste commence à dessiner des absurdités ou oublie comment dessiner les choses normales. Pour éviter cela, MiPO ajoute une « ceinture de sécurité » (Régularisation KL). Cela garantit que l'artiste reste fidèle à ses compétences d'origine tout en étendant simplement ses connaissances sur les choses rares.

Les Résultats

L'article a testé ce nouveau coach sur cinq tests standards différents (comme CIFAR10 et ImageNet). Voici ce qui s'est passé :

Meilleur sur les sujets difficiles : L'artiste est devenu bien meilleur pour reconnaître les éléments rares à faible densité auxquels il échouait auparavant.
Toujours bon sur les sujets faciles : Grâce à la « ceinture de sécurité », l'artiste n'a pas oublié comment dessiner ou reconnaître les choses communes.
Pas besoin de photos supplémentaires : Tout le processus s'est déroulé en utilisant uniquement des descriptions textuelles. Ils n'ont pas eu besoin de nourrir le modèle avec de nouvelles images.
Rapide et flexible : Les « lunettes » (LoRA) sont petites et faciles à mettre ou à retirer. Elles fonctionnent avec différents types d'artistes (différents modèles de diffusion) et ne ralentissent pas beaucoup le processus.

L'essentiel

L'article affirme qu'en apprenant à l'IA à « s'entraîner » à générer et à reconnaître des éléments rares via ce cycle d'auto-amélioration, l'IA devient un observateur bien plus complet. Cela corrige le biais où l'IA ne comprend que les choses populaires, la rendant plus robuste et précise pour tout, des objets communs aux objets étranges et merveilleux.

En bref : MiPO apprend à l'IA à arrêter d'ignorer les outsiders, faisant d'elle un classificateur plus intelligent et plus équitable sans nécessiter de nouvelles données d'entraînement.

Résumé technique : Optimisation de la préférence pour les minorités (MiPO) pour l'amélioration autonome des classifieurs de diffusion

1. Énoncé du problème

Les classifieurs de diffusion (DC) ont démontré des performances de classification zero-shot robustes, particulièrement en ce qui concerne les échantillons hors distribution (OOD) et la compréhension compositionnelle. Cependant, leur efficacité dépend fortement de la distribution des données de préentraînement. Les DC actuels sont performants dans les régions « majoritaires » (haute densité) de la variété de données, mais présentent une dégradation significative de l'exactitude dans les régions « minoritaires » (basse densité).

Cet écart de performance découle du fait que la fonction de perte de correspondance de bruit standard utilisée pour entraîner les modèles de diffusion est intrinsèquement biaisée en faveur des échantillons fréquents et de haute densité. Par conséquent, la couverture générative du modèle est clairsemée dans les régions sous-représentées, entraînant de faibles capacités de perception pour les concepts minoritaires. Bien que des travaux antérieurs aient tenté d'adresser l'échantillonnage minoritaire via un guidage au moment de l'inférence ou des classifieurs auxiliaires, ces méthodes imposent souvent des coûts computationnels élevés, nécessitent des modèles externes ou ne parviennent pas à mettre à jour la représentation sous-jacente du modèle de diffusion lui-même, limitant ainsi sa capacité à améliorer la performance de classification.

2. Méthodologie : MiPO

Les auteurs proposent MiPO (Minority Preference Optimization), un cadre d'auto-amélioration qui affine un modèle de diffusion texte-image préentraîné afin d'améliorer sa représentation des régions minoritaires sans nécessiter de données d'images supplémentaires ou de modèles de récompense externes.

Composantes clés

Mécanisme d'auto-amélioration : MiPO utilise uniquement des données de légendes arbitraires (par exemple, de HPSv2) pour générer des échantillons candidats. Il ne repose pas sur des jeux de données d'images externes ou des modèles de fondation pour le calcul de la récompense.
Récompense de préférence minoritaire : Pour quantifier la capacité d'un échantillon généré à couvrir une région minoritaire, la méthode emploie une approximation de la formule de Tweedie basée sur DDIM.
- Pour une image générée $x_0$ , un bruit gaussien est ajouté pour créer un latent perturbé $x_t$ .
- Le modèle reconstruit $\hat{x}_0$ via une inversion DDIM.
- Le Score Minoritaire est défini par l'écart de reconstruction : $M(x_0) = \|\hat{x}_0 - x_0\|_2$ .
- Des erreurs de reconstruction plus élevées indiquent des régions où le débruiteur présente une plus grande incertitude (c'est-à-dire des régions minoritaires), servant de signal de récompense positif.
Apprentissage par renforcement avec GRPO : Le modèle est affiné en utilisant l'Optimisation de la Politique Relative de Groupe (GRPO).
- Plusieurs trajectoires sont échantillonnées à partir du même prompt et du même bruit initial.
- Les avantages normalisés par groupe sont calculés sur la base des récompenses minoritaires.
- La politique est mise à jour pour maximiser la probabilité de générer des échantillons à haute récompense (minoritaires).
Intégration LoRA : Pour garantir l'efficacité et la stabilité, les mises à jour sont appliquées via un adaptateur de Low-Rank Adaptation (LoRA) plutôt que par un affinement complet du modèle. Cela permet une compatibilité "plug-and-play" avec diverses architectures (par exemple, Stable Diffusion 1.5 et 2.0).
Régularisation KL : Pour éviter que la politique ne diverge trop de la distribution préentraînée (ce qui pourrait dégrader la fidélité visuelle ou la performance majoritaire), un terme de divergence de Kullback–Leibler (KL) est ajouté à l'objectif :
$\mathcal{J}(\theta) = \alpha \mathcal{J}_{Minority}(\theta) + \beta D_{KL}(\pi_\theta \| \pi_{pre})$
Cela équilibre l'exploration minoritaire avec la préservation du prior génératif original.
Optimisation sélective de la politique : La méthode met à jour uniquement les 40 % des premiers pas de temps de diffusion. L'analyse empirique suggère que les étapes précoces sont critiques pour former des informations sémantiques et structurelles grossières, et restreindre les mises à jour à cette phase réduit le coût computationnel tout en maintenant la fidélité visuelle.

3. Principales contributions

Connexion inédite : L'article établit une relation directe entre l'échantillonnage minoritaire dans la génération et la capacité de perception des classifieurs de diffusion, démontrant que l'amélioration de la couverture générative des régions de faible densité améliore la classification zero-shot.
Cadre MiPO : Une approche d'auto-amélioration qui affine les modèles de diffusion en utilisant des récompenses de préférence minoritaire dérivées uniquement de données de légendes, éliminant ainsi le besoin de données d'images externes, de modèles de récompense externes (ex: CLIPScore, ImageReward) ou d'optimisation par prompt.
Optimisation efficace : L'intégration de GRPO avec LoRA et des mises à jour sélectives de pas de temps permet un échantillonnage minoritaire stable et adaptable au prompt, avec un surcoût d'inférence négligeable et une empreinte de paramètres réduite.
Évaluation complète : La méthode est évaluée sur cinq jeux de données standards, démontrant des améliorations tant dans la précision de la classification zero-shot que dans la qualité de la génération d'images minoritaires.

4. Résultats expérimentaux

Les auteurs ont évalué MiPO sur les architectures SD 1.5 et SD 2.0 à travers plusieurs jeux de données :

Classification Zero-Shot :
- CIFAR10 : Amélioration de 85,38 % à 87,89 % (SD 1.5).
- CIFAR10-C (Robustesse) : Amélioration de 57,72 % à 59,76 % (SD 1.5) et de 64,61 % à 65,33 % (SD 2.0).
- ImageNet-Tiny : Amélioration de 46,50 % à 47,30 % (SD 1.5) et de 51,45 % à 55,25 % (SD 2.0).
- Caltech & SUN09 : Gains constants observés sur les deux architectures.
- Note : L'article reconnaît que les performances sur des jeux de données complexes à objets multiples comme LabelME et VOC2007 étaient moins stables ou montraient une légère dégradation, attribuant cela à des écarts de domaine et des incohérences d'annotation.
Génération Minoritaire :
- MiPO a obtenu des performances comparables ou supérieures à la ligne de base de pointe MinorityPrompt dans les métriques sensibles aux minorités (Score Minoritaire, JEPA-SCORE) tout en maintenant une haute qualité perceptuelle (CLIPScore, HPSv3).
- Crucialement, MiPO opère de manière entièrement adaptable au prompt (1s par image) sans l'optimisation lourde par prompt requise par MinorityPrompt (63s par image).
Préférence Humaine :
- MiPO a obtenu le score ImageReward le plus élevé (0,228) par rapport à la ligne de base (0,184) et à MinorityPrompt (-0,026), indiquant un meilleur équilibre entre la génération orientée vers les minorités et la qualité visuelle préférée par l'humain.

5. Signification et affirmations

L'article affirme que la perception des classifieurs de diffusion est intrinsèquement biaisée vers les régions majoritaires et que ce biais peut être atténué par une optimisation de la préférence minoritaire. En démontorant qu'améliorer la couverture générative des régions sous-représentées se traduit directement par de meilleures capacités de reconnaissance, les auteurs soutiennent que la "perception" d'un modèle de diffusion est inextricablement liée à ses capacités de "génération".

La portée de MiPO réside dans sa capacité à améliorer les classifieurs de diffusion sans données d'images ou modèles externes supplémentaires, s'appuyant plutôt sur une boucle d'auto-amélioration pilotée par des récompenses minoritaires. Les auteurs positionnent cela comme une étape vers des modèles génératifs plus robustes et équitables, montrant qu'un échantillonnage minoritaire stable et adaptable au prompt est réalisable grâce à une optimisation de politique efficace (GRPO + LoRA) et que cette approche produit des gains tangibles dans les tâches de classification zero-shot.

L'article reste modeste quant à ses limites, notant que la méthode repose sur une auto-amélioration basée sur les légendes, ce qui peut conduire à des améliorations instables sur des jeux de données présentant des écarts de domaine importants ou des annotations ambiguës. De plus, il reconnaît un arbitrage inhérent entre la maximisation de la distinction minoritaire et la préservation de l'alignement esthétique de haut niveau du prior préentraîné.