🤖 machine learning

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

Cet article introduit le multi-axis max@K, un objectif d'apprentissage par renforcement basé sur des groupes qui améliore la diversité et l'équité démographique de la génération de texte en image en n'attribuant du crédit aux échantillons que lorsqu'ils améliorent de manière unique la couverture de modes sémantiques spécifiques au sein d'un lot, atteignant ainsi des scores d'équité plus élevés sans compromettre la qualité de l'image ou l'alignement avec l'invite.

Auteurs originaux : Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Publié 2026-07-17

📖 10 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entrez dans un immense studio d'art magique où un robot artiste peut peindre instantanément n'importe quelle image que vous décrivez. Vous dites : « Dessine un détective », et pouf ! Un détective apparaît. Vous le dites à nouveau, et un autre détective apparaît. Mais voici le piège : chaque fois que vous demandez, le robot peint exactement le même genre de détective — peut-être toujours un homme grand en trench-coat. C'est comme si le robot avait une tenue préférée et refusait d'essayer autre chose. C'est un problème courant avec les « text-to-image » (texte-vers-image) modernes. Bien que ces robots soient incroyablement doués pour créer des images qui semblent réelles et correspondent à vos mots, ils se retrouvent souvent coincés dans une routine, produisant les mêmes quelques variations encore et encore. C'est un problème majeur car si vous demandez un « médecin » ou un « dirigeant », et que le robot ne vous montre toujours qu'un type spécifique de personne, cela renforce une vision étroite et injuste du monde. Les scientifiques appellent cela un manque de « diversité ».

Pour correr cela, les chercheurs essaient généralement de dire au robot : « Sois différent ! » Mais souvent, quand on force le robot à être différent, les images commencent à paraître bizarres, floues ou simplement fausses. Le robot s'embrouille et cesse d'écouter vos instructions. Cette publication introduit une nouvelle méthode ingénieuse pour apprendre au robot à être diversifié sans perdre son sang-froid. Les auteurs proposent une méthode appelée « Multi-Axis Max@K ». Voyez cela comme un concours de talents où vous ne choisissez pas seulement le meilleur chanteur ; au lieu de cela, vous regardez tout un groupe de candidats et vous dites : « D'accord, celui-ci est le meilleur chanteur, celui-ci est le meilleur danseur, et celui-ci est le meilleur magicien. » L'objectif n'est pas qu'une seule personne fasse tout parfaitement ; l'objectif est que l'ensemble du groupe couvre tous les aspects. Les chercheurs ont testé cette idée et ont découvert qu'elle aide l'IA à générer une variété beaucoup plus large de personnes et de couleurs, rendant les résultats plus équitables et plus intéressants, tout en gardant les images nettes et fidèles à votre description.

Le Problème : La tenue « préférée » du Robot

Imaginez que vous avez un ami qui aime dessiner. Vous lui demandez de dessiner un « chat ». Il dessine un chat roux et tigré duveteux. Vous lui demandez à nouveau, et il dessine exactement le même chat roux et tigré. Vous lui demandez une troisième fois, et c'est toujours le même chat roux et tigré. Votre ami n'est pas mauvais en dessin ; il est juste coincé dans une boucle. Il a un « mode favori » de dessin de chats, et il continue de l'atteindre.

Dans le monde de l'Intelligence Artificielle (IA), spécifiquement des modèles « Text-to-Image », cela arrive tout le temps. Ces modèles sont entraînés sur des milliards d'images provenant d'Internet. Si Internet contient plus de photos d'hommes blancs en tant que médecins que de femmes ou de personnes d'autres origines, l'IA apprend que « médecin » est égal à « homme blanc ». Quand vous demandez un médecin, elle puise dans cette mémoire étroite.

La solution habituelle est de dire à l'IA : « Sois diversifiée ! » Mais si vous criez simplement « sois diversifiée », l'IA pourrait s'embrouiller. Elle pourrait commencer à dessiner un médecin qui ressemble à une pomme de terre ou un chat portant un stéthoscope. L'IA essaie d'être différente, mais elle oublie comment être bonne pour suivre vos instructions. Les chercheurs voulaient un moyen de faire en sorte que l'IA montre un groupe entier de différentes options — certains médecins qui sont des femmes, certains qui sont des hommes, certains qui sont Noirs, certains qui sont Asiatiques — sans que les images ne deviennent mauvaises.

La Solution : Le Concours de Talents du « Meilleur du Lot »

Les auteurs de cet article ont trouvé une nouvelle règle pour la façon dont l'IA apprend. Ils l'appellent Multi-Axis Max@K. Cela semble compliqué, mais décomposons cela avec une histoire simple.

Imaginez que vous êtes un enseignant évaluant une classe d'élèves. Vous avez une liste de « compétences » que vous voulez voir : Mathématiques, Art, Musique et Sport.

L'ancienne méthode (Récompense scalaire) : Vous regardez chaque élève individuellement. « L'élève A est excellent en Mathématiques mais mauvais pour tout le reste. L'élève B est excellent en Art mais mauvais pour tout le reste. » Si vous additionnez simplement leurs notes, vous pourriez finir par choisir l'élève qui est « correct » partout mais exceptionnel en rien. Ou, vous pourriez choisir le génie des maths et ignorer le fait que la classe n'a aucun musicien.
La nouvelle méthode (Multi-Axis Max@K) : Vous regardez toute la classe comme un groupe. Vous demandez : « Qui est le meilleur élève en Mathématiques dans ce groupe ? » Vous choisissez l'élève A. « Qui est le meilleur en Musique ? » Vous choisissez l'élève B. « Qui est le meilleur en Sport ? » Vous choisissez l'élève C.

La magie opère ici : le groupe obtient un score élevé *parce qu'*il possède un génie des maths, un génie de la musique et un génie du sport, même si aucun élève unique n'est bon dans les trois domaines. L'IA apprend qu'elle n'a pas besoin de créer une image parfaite qui fait tout. Au lieu de cela, elle apprend qu'un « lot » d'images est réussi si différentes images dans ce lot représentent des choses différentes.

Le « Max » signifie que l'IA cherche le meilleur exemple de chaque catégorie dans le groupe. Le « K » signifie qu'elle regarde un groupe de K images (comme un lot de 7 ou 10). Le « Multi-Axis » signifie qu'elle vérifie de nombreuses catégories différentes à la fois (comme différentes carnations, genres ou couleurs).

Comment ils l'ont testé : Des Pixels aux Personnes

Les chercheurs n'ont pas seulement deviné que cela fonctionnerait ; ils l'ont testé de trois manières différentes, de plus en plus complexes.

1. Le Jeu des Couleurs (Test Synthétique)
D'abord, ils ont joué à un jeu avec un programme informatique simple. Ils ont dit au programme de générer des images qui sont soit Rouges, Vertes, Bleues ou d'autres couleurs. Ils ont établi une règle où le programme obtenait des points si le groupe d'images qu'il créait couvrait toutes les couleurs.

Ce qui s'est passé : Lorsqu'ils utilisaient l'ancienne méthode du « score unique », le programme devenait paresseux et créait un tas d'images rouges parce que c'était le moyen le plus facile d'obtenir des points. Mais lorsqu'ils utilisaient la nouvelle méthode « Multi-Axis Max@K », le programme a réalisé qu'il devait faire une image rouge, une image verte et une image bleue pour gagner. Il a commencé à répartir ses mises et à créer un mélange coloré.

2. Le Puzzle de Pixels (Test basé sur des règles)
Ensuite, ils ont utilisé un véritable générateur d'images appelé SD3.5-M (un modèle d'art par IA populaire). Cette fois, ils n'ont pas utilisé un humain pour juger les images. À la place, ils ont utilisé un programme informatique qui regardait les pixels et comptait les couleurs. Ils ont demandé à l'IA de créer des images avec des thèmes de couleurs spécifiques (comme « couleurs chaudes » ou « couleurs sombres »).

Le résultat : L'IA a appris à produire un lot où une image était brillante et chaude, une autre était fraîche et bleue, et une autre était sombre. Elle a réussi à couvrir tous les « axes » de couleur sans avoir besoin qu'un humain lui dise ce qui était bon.

3. Le Test d'Équité (Apparence Perçue)
Enfin, ils ont abordé le grand problème du monde réel : l'Équité. Ils ont demandé à l'IA de générer des images de personnes avec différents métiers (comme « médecin », « artiste », « scientifique »). Ils voulaient voir si l'IA montrerait un mélange diversifié de races et de genres.

La configuration : Ils ont utilisé des outils automatiques pour « deviner » la race et le genre des personnes dans les images générées. Ils ont défini des « modes cibles » comme « femme noire », « homme asiatique », « femme latine », etc.
Le résultat : Lorsqu'ils ont utilisé la nouvelle méthode, l'IA a commencé à générer un groupe beaucoup plus équilibré.
- Avant la correction, un lot de 16 images de « médecin » pouvait comporter 13 hommes blancs et 3 personnes d'autres origines.
- Après la correction, un lot de 16 images pouvait comporter 4 hommes blancs, 3 personnes noires, 4 personnes asiatiques, 2 personnes indiennes et 3 latines.
- Les chercheurs ont mesuré cela à l'aide d'un « Score d'Équité ». Leur nouvelle méthode a amélioré le score de 0,23 à 0,36 par rapport au modèle de base. C'est un bond énorme ! Et le meilleur dans tout ça ? Les images restaient de bonne qualité. L'« alignement textuel » (la correspondance entre l'image et le mot « médecin ») est resté élevé, et la qualité de l'image n'a pas chuté.

Ce que cela signifie (et ce que cela ne signifie pas)**

L'article montre qu'en changeant la façon dont nous récompensons l'IA, nous pouvons la rendre naturellement diversifiée. Au lieu de la forcer à être différente (ce qui la rend bizarre), nous récompensons le groupe pour avoir des représentants différents.

Cependant, les auteurs précisent bien ce que cela ne fait pas.

Cela ne crée pas de nouvelles personnes à partir de rien. Si l'IA n'a jamais vu l'image d'un type de personne spécifique, elle ne peut pas les inventer par magie. Elle peut seulement répartir les personnes qu'elle sait déjà dessiner.
Cela dépend du « score » que l'IA reçoit. Si l'outil utilisé pour juger les images (l'« évaluateur ») est biaisé, l'IA pourrait apprendre la mauvaise leçon. Les chercheurs ont utilisé des outils automatiques pour juger les images, et bien qu'ils aient vérifié leur travail avec différents outils pour s'assurer de la cohérence, ils admettent que l'œil humain serait le test ultime.
Cela fonctionne mieux lorsque vous avez une liste claire de ce que la « diversité » représente (comme une liste de races ou de couleurs spécifiques). C'est un outil pour aider l'IA à couvrir un ensemble d'objectifs précis, pas une baguette magique qui résout tous les problèmes d'équité du monde.

Ce qu'il faut retenir

Cette publication est comme si l'on donnait un nouveau livre de règles au robot artiste. Au lieu de dire : « Tu dois faire une image parfaite », elle dit : « Fais un groupe d'images, et je te donnerai une étoile d'or si le groupe contient un peu de tout. »

Le résultat ? L'IA devient moins ennuyeuse et plus équitable. Elle arrête de nous montrer la même personne « par défaut » encore et encore et commence à nous montrer la riche et colorée variété du monde réel. Et elle le fait sans que les images ne ressemblent à un désastre de bugs. C'est un petit changement dans les mathématiques, mais cela pourrait mener à un changement bien plus grand dans la façon dont nous nous voyons dans l'art que nous créons avec les machines.

Énoncé du problème

Les modèles de texte-vers-image (T2I), particulièrement les générateurs basés sur la diffusion, produisent souvent des échantillons pour un seul prompt qui ne couvrent qu'un sous-ensemble étroit de modes visuellement distincts. Bien que ces modèles synthétisent des images réalistes, ils manquent fréquemment de diversité représentative. Cette limitation est critique lorsque l'objectif est de fournir un ensemble diversifié d'alternatives plutôt qu'une seule image plausible. Dans les prompts centrés sur l'humain, cette concentration peut refléter ou amplifier les biais démographiques (par exemple, concernant la race ou le genre), car le modèle ne parvient pas à générer des représentants forts pour les catégories sous-représentées.

Les interventions existantes sur la diversité réduisent souvent la qualité des images, et les approches classiques d'apprentissage par renforcement (RL) utilisant des récompenses scalaires sont mal adaptées à ce problème. Les récompenses scalaires agrègent les scores au sein d'une seule image avant de comparer les échantillons, ce qui échoue lorsque l'objectif est de couvrir plusieurs catégories cibles mutuellement exclusives (par exemple, différents modes de couleurs ou étiquettes démographiques) à travers un groupe d'échantillons. Une seule image ne peut pas simultanément représenter tous les modes mutuellement exclusifs ; par conséquent, un groupe généré devrait être préféré si différents échantillons au sein de celui-ci servent de représentants forts pour différents modes.

Méthodologie : Multi-Axis Max@K

Les auteurs formalisent le problème comme une couverture de modes cibles et proposent le multi-axis max@k, un objectif d'apprentissage par renforcement basé sur des groupes, conçu pour les modèles de diffusion.

1. Formulation de l'objectif :
Au lieu d'agréger les dimensions de récompense au sein d'une image d'abord, la méthode agrège à travers les échantillons en premier. Pour un prompt $c$ , un ensemble de $k$ échantillons $S_k(c)$ est généré. Étant donné $D$ modes cibles prédéfinis (axes) et un score $r_d(x, c) \in [0, 1]$ pour chaque mode $d$ renvoyé par un évaluateur fixe, le score de l'objectif $G_k$ est défini comme :
$G_k(S_k, c) = \sum_{d=1}^{D} w_d(c) \max_{x_i \in S_k(c)} r_d(x_i, c)$
Ici, le score maximum est sélectionné par axe à travers l'ensemble échantillonné, et ces maxima sont ensuite additionnés. Cette structure garantit qu'un échantillon reçoit du crédit pour une catégorie spécifique uniquement s'il améliore le score maximum du groupe pour cette catégorie, permettant ainsi à différents échantillons de contribuer à différentes catégories.

2. Mécanisme d'attribution de crédit :
Pour optimiser cet objectif au niveau de l'ensemble, les auteurs dérivent un estimateur de gradient de politique.

Contribution marginale Leave-One-Out (L2O) : Pour un échantillon $x_i$ et un axe $d$ , le crédit est déterminé par la question de savoir si le retrait de $x_i$ diminue le score maximum du groupe pour cet axe.
Amélioration Attendue (EI) + L2O : En pratique, là où la taille du lot d'entraînement $m$ peut différer de la taille de la fenêtre de l'objectif $k$ , les auteurs utilisent un estimateur d'amélioration attendue avec une ligne de base de type "leave-two-out". Cela estime l'avantage par échantillon en faisant la moyenne des améliorations sur tous les sous-ensembles possibles de taille $k$ tirés des $m$ candidats.
Agrégation préservant les axes : Les avantages sont calculés indépendamment pour chaque axe puis additionnés pour former un poids de politique unique pour l'échantillon. Cela préserve la séparation des axes de récompense jusqu'à l'étape finale d'agrégation.

3. Boucle d'entraînement :
La méthode emploie une mise à jour standard de type GRPO (Group Relative Policy Optimization) pour les modèles de diffusion.

Générer un groupe on-policy de $m$ candidats pour un prompt.
Évaluer tous les candidats sur $D$ axes de récompense.
Calculer les crédits de représentativité par axe (max@K) et convertir en avantages par échantillon.
Mettre à jour la politique en utilisant ces avantages avec une régularisation KL par rapport au modèle de base.

Principales contributions

Formalisation de la diversité représentative : L'article définit la diversité représentative comme une couverture de modes cibles, la formulant comme un objectif au niveau de l'ensemble plutôt que comme une propriété d'une image individuelle.
Algorithme Multi-Axis Max@K : Ils introduisent un objectif de RL spécifique qui effectue une sélection max par axe de récompense avant l'agrégation. Cela est présenté comme un cas spécialisé de l'objectif ReMax, adapté à la modélisation générative où les modes sont mutuellement exclusifs.
Attribution de crédit préservant les axes : La méthode implémente un algorithme de RL pour la diffusion basé sur des groupes qui attribue du crédit aux échantillons en fonction de leur capacité à être le « meilleur représentant » pour un mode spécifique, empênant l'effondrement de la masse de probabilité sur un seul mode.
Validation complète : La méthode est validée dans trois contextes distincts :
- Un mélange synthétique contrôlé de modes gaussiens.
- Un réglage de mode de couleur déterministe et basé sur des règles sur Stable Diffusion 3.5 Medium (SD3.5-M).
- Un réglage d'équité de l'apparence perçue (race et genre) sur SD3.5-M.

Résultats expérimentaux

1. Expériences sur les modes synthétiques et de couleur :

Dans un contexte synthétique avec neuf modes gaussiens mutuellement exclusifs, le multi-axis max@k a réussi à redistribuer la masse de probabilité pour couvrir tous les modes cibles. En revanche, les récompenses scalaires à mode unique ont fait s'effondrer la distribution sur un seul mode préféré.
Sur SD3.5-M utilisant sept axes de couleur basés sur des règles (ex: rouge, vert, chaud, froid), la méthode a considérablement amélioré la couverture au niveau du lot. Avec une fenêtre d'entraînement $k=7$ , le modèle a obtenu une augmentation de 57 % de la couverture max du lot ( $C_{pix}$ ) par rapport au modèle de base, alors qu'une ligne de base $k=1$ (GRPO standard sur image unique) n'a montré aucune amélioration.

2. Équité de l'apparence perçue :
La méthode a été appliquée pour améliorer l'équité dans les prompts centrés sur l'humain en utilisant la race perçue (5 catégories) et le genre perçu (2 catégories) comme modes cibles.

Amélioration de l'équité : Le multi-axis max@k a amélioré le score d'équité (mesurant la proximité avec une distribution uniforme) de 0,23 à 0,36 par rapport au modèle de base SD3.5-M via trois évaluateurs automatiques (CLIP, VLM et FairFace).
Comparaison avec les lignes de base : La méthode a surpassé les lignes de base de RL appariées utilisant un crédit basé sur le comptage (Fair-GRPO) et les interventions au moment de l'inférence (FairImagen, Weak Guidance). Notamment, alors que d'autres méthodes améliorent l'équité au détriment de l'alignement textuel (les scores CLIP-T chutent), le multi-axis max@k maintient ou améliore légèrement les métriques de qualité d'image et d'alignement textuel.
Changement qualitatif : L'inspection visuelle des lots générés a montré un passage d'une dominance par une seule catégorie (ex: « Blanc ») à une distribution équilibrée entre les cinq catégories de race perçue au sein du batch d'un même prompt.

3. Études d'ablation :

Taille de la fenêtre ( $k$ ) : L'hyperparamètre $k$ (le nombre d'échantillons considérés pour la sélection max) est critique. Le score d'équité s'est amélioré nettement lorsque $k$ est passé de 1 à 5 (correspondant au nombre de catégories de race), pour se stabiliser par la suite. Un réglage $k=1$ (sans crédit au niveau de l'ensemble) n'a pas réussi à améliorer la diversité.
Mécanisme de crédit : La méthode a surpassé les lignes de base de comptage par assignation stricte, ce que les auteurs attribuent à la capacité des scores souples à capturer des preuves sous le seuil pour les catégories rares et au crédit explicite donné au « meilleur représentant » disponible par axe.

Signification et revendications

L'article affirme que le multi-axis max@k fournit un mécanisme général pour améliorer la diversité dans la modélisation générative en traitant la diversité comme un problème de couverture sur un ensemble prédéfini de modes.

Validité du mécanisme : La contribution centrale est la règle d'attribution de crédit qui permet à différents échantillons d'un lot de se spécialiser dans différents axes de récompense, résolvant efficacement le problème des « modes mutuellement exclusifs » que les récompenses scalaires ne parviennent pas à traiter.
Impact pratique : La méthode démontre qu'il est possible d'améliorer considérablement l'équité démographique dans la génération T2I sans sacrifier la qualité d'image ou l'alignement textuel, un compromis souvent observé dans les interventions d'équité précédentes.
Limites et portée : Les auteurs notent modestement que la méthode nécessite des scores mesurables pour les modes cibles et ne peut créditer que les modes que le générateur est déjà capable d'échantillonner ; elle ne crée pas de nouveaux modes absents à partir de rien. De plus, les résultats reposent sur des évaluateurs automatiques, et le choix des axes cibles (ex: catégories spécifiques de race/genre) est une décision de conception au niveau de la tâche qui détermine quelle diversité est obtenue. La méthode est présentée comme un primitif d'alignement au niveau de l'ensemble applicable à divers domaines où les ensembles de candidats doivent couvrir des axes spécifiques.