🤖 machine learning

Towards General Preference Alignment: Diffusion Models at Nash Equilibrium

Ce papier présente l'Optimisation de Préférence de Nash par Diffusion (Diff.-NPO), un cadre théorique des jeux qui permet aux modèles de diffusion d'atteindre une meilleure adéquation texte-image en encourageant l'auto-jeu contre eux-mêmes, surmontant ainsi les limites des méthodes de préférence traditionnelles basées sur Bradley-Terry.

Auteurs originaux : Jiaming Hu, Jiamu Bai, Haoyu Wang, Debarghya Mukherjee, Ioannis Ch. Paschalidis

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiaming Hu, Jiamu Bai, Haoyu Wang, Debarghya Mukherjee, Ioannis Ch. Paschalidis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux (le Modèle de Diffusion) capable de peindre des images à partir de vos descriptions. Cependant, cet artiste a été entraîné sur l'ensemble d'Internet ; ainsi, bien qu'il soit compétent, son style ne correspond pas toujours exactement à ce que vous aimez spécifiquement. Parfois, il dessine un chat qui ressemble un peu à un chien, ou un coucher de soleil qui ressemble davantage à une soupe.

Pour corriger cela, nous enseignons généralement à l'artiste en lui montrant des paires d'images : « Je préfère celle-ci à celle-là. » C'est ce qu'on appelle l'Alignement par Préférence.

L'Ancienne Méthode : Le Problème du « Juge de Score »

La plupart des méthodes actuelles (comme DPO) tentent d'enseigner à l'artiste en faisant semblant qu'il existe un « Juge de Score » caché (un modèle de récompense). Elles supposent que si l'Image A est meilleure que l'Image B, et que l'Image B est meilleure que l'Image C, alors l'Image A doit être meilleure que l'Image C.

L'article soutient que cette hypothèse est erronée. Le goût humain est désordonné et parfois circulaire, comme le jeu Pierre-Feuille-Ciseaux :

Vous pouvez préférer la Pierre aux Ciseaux.
Vous pouvez préférer les Ciseaux au Papier.
Mais vous pouvez aussi préférer le Papier à la Pierre.

Les anciennes méthodes tentent de forcer ces choix dans une ligne droite (A > B > C), ce qui ne capture pas la complexité du goût humain réel. Elles reposent également sur un « Juge de Score » que l'ordinateur doit deviner, ce qui peut s'avérer imprécis.

La Nouvelle Méthode : Le Jeu du « Partenaire d'Entraînement » (Diff.-NPO)

Les auteurs proposent une nouvelle méthode appelée Diff.-NPO (Optimisation de Préférence de Nash pour la Diffusion). Au lieu de deviner un score, ils transforment le processus d'entraînement en un jeu entre deux versions de l'artiste :

L'Artiste Actuel : La version du modèle que nous essayons d'améliorer.
L'Artiste Précédent : La version du modèle issue de la dernière étape d'entraînement (agissant comme l'adversaire).

Comment le jeu fonctionne :
Imaginez que l'Artiste Actuel et l'Artiste Précédent se trouvent dans un ring de boxe. Ils reçoivent tous deux le même prompt (par exemple, « Dessinez un chat »).

Ils peignent tous deux une image.
Un arbitre (un vérificateur de préférence) examine les deux et décide laquelle est meilleure.
L'Artiste Actuel tente de gagner le round en créant une image que l'arbitre préfère à celle de l'Artiste Précédent.
Crucialement, l'Artiste Actuel doit aussi se souvenir de ne pas oublier comment peindre correctement en général (en restant proche de l'entraînement original), sinon il pourrait commencer à dessiner des choses étranges et absurdes juste pour gagner le jeu.

Ceci est appelé un Équilibre de Nash. L'objectif est d'atteindre un point où l'Artiste Actuel est si bon qu'aucune autre stratégie ne peut le battre de manière constante. C'est une boucle de « jeu contre soi-même » où le modèle se bat contre lui-même pour s'améliorer, plutôt que de simplement essayer de satisfaire un score statique.

L'Équilibre du « Juste Milieu »

L'article introduit un « bouton » spécial (un ratio mathématique appelé $\tau/\eta$ ) qui contrôle la façon dont le jeu est joué :

Tournez le bouton dans un sens : L'artiste essaie uniquement de battre l'« Artiste Précédent ». C'est comme un pur jeu contre soi-même. C'est agressif et l'apprentissage est rapide, mais l'artiste peut dérailler et oublier comment dessiner des choses normales.
Tournez le bouton dans l'autre sens : L'artiste essaie uniquement de battre un « Artiste de Référence » (une version fixe et originale). C'est sûr et stable, mais l'artiste peut rester bloqué et ne pas beaucoup s'améliorer car l'objectif est trop facile ou trop rigide.
Le Juste Milieu : Diff.-NPO trouve le point d'équilibre parfait. Il utilise l'Artiste Précédent pour stimuler l'amélioration (apprentissage en ligne) et l'Artiste de Référence pour maintenir le modèle ancré (stabilité).

Qu'est-il Arrivé Quand Ils L'Ont Essayé ?

Les chercheurs ont testé cela sur des générateurs d'images populaires (Stable Diffusion 1.5 et SDXL) en utilisant un vaste ensemble de données de préférences humaines appelé Pick-a-Pic.

Le Résultat : Diff.-NPO a systématiquement battu les anciennes méthodes.
La Preuve : Lorsqu'ils ont opposé le nouveau modèle aux anciens modèles dans un « affrontement », le modèle Diff.-NPO a gagné plus souvent. Il a produit des images que les humains (et les juges automatisés) ont préférées.
Qualité Visuelle : Dans des comparaisons côte à côte, les images Diff.-NPO étaient plus réalistes, suivaient mieux les prompts et semblaient plus cohérentes que les images créées par les anciennes méthodes.

Résumé

En termes simples, l'article dit : « Arrêtez d'essayer de calculer un score parfait pour ce que les humains aiment, car le goût humain est trop compliqué pour cela. À la place, laissez l'IA jouer un jeu contre son propre passé, avec un filet de sécurité pour l'empêcher de devenir folle. Cette approche de « sparring » crée un artiste meilleur et mieux aligné. »

Résumé technique : Vers un alignement général des préférences : Modèles de diffusion à l'équilibre de Nash

Énoncé du problème

L'apprentissage par renforcement à partir de feedback humain (RLHF) et sa variante à faible coût computationnel, l'optimisation directe des préférences (DPO), sont devenus la norme pour aligner les modèles de diffusion texte-vers-image (T2I) sur les préférences humaines. Cependant, les méthodes existantes d'alignement par préférences pour les modèles de diffusion héritent largement du paradigme RLHF, en s'appuyant sur des signaux de récompense implicites induits par le modèle de Bradley–Terry (BT). Les auteurs soutiennent que l'hypothèse de transitivité du modèle BT (si A > B et B > C, alors A > C) échoue à capturer toute la complexité des préférences humaines, qui peuvent être intransitives (par exemple, des cycles du type pierre-feuille-ciseaux). De plus, les méthodes actuelles convertissent souvent les préférences humaines en une fonction induite par la récompense avant l'optimisation, plutôt que de modéliser directement la relation de préférence. Cet article postule qu'une perspective théorique des jeux, spécifiquement l'apprentissage de Nash à partir de feedback humain (NLHF), offre un cadre plus robuste pour l'alignement des modèles de diffusion, évitant ainsi les hypothèses restrictives de transitivité du modèle BT.

Méthodologie : Optimisation des préférences de Nash pour la diffusion (Diff.-NPO)

Les auteurs proposent Diff.-NPO, un cadre général d'optimisation des préférences dérivé d'une perspective d'équilibre de Nash. Au lieu de maximiser une vraisemblance induite par BT, Diff.-NPO formule l'alignement comme un jeu à somme nulle à deux joueurs entre la politique actuelle ( $\pi$ ) et une politique précédente ( $\pi_{prev}$ ), régularisé par une politique de référence ( $\pi_{ref}$ ).

Cadre central

Formulation théorique des jeux : L'objectif est défini comme un jeu minimax où le « joueur maximiseur » (politique actuelle) tente de générer des échantillons préférés par rapport à ceux du « joueur minimiseur » (politique précédente), tandis que les deux sont régularisés pour rester proches d'une politique de référence ( $\pi_{ref}$ ) afin d'éviter une dérive distributionnelle.
Descente de miroir en ligne (OMD) : Pour assurer une dynamique d'apprentissage stable et éviter l'instabilité des mises à jour de meilleure réponse gourmandes, la méthode emploie la Descente de Miroir Optimiste avec régularisation par entropie (Hedge). Cela conduit à un objectif d'auto-jeu où la mise à jour de la politique est une meilleure réponse à la politique précédente, contrainte par la politique de référence.
Déduction de la fonction de perte :
- La méthode élève les préférences au niveau de l'image vers l'espace des trajectoires inverses.
- Elle dérive une perte logistique par paires basée sur les rapports logarithmiques des probabilités de trajectoire.
- L'objectif final, $L_{Diff.-NPO}$ , oppose la politique actuelle ( $p_\theta$ ) à la fois à la politique de référence ( $p_{ref}$ ) et à la politique précédente ( $p_{prev}$ ).
- La perte est formulée comme suit :
  $L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$
  Où les termes $\delta$ représentent la différence des récompenses implicites (erreurs de prédiction de bruit) entre les échantillons préférés ( $x^+$ ) et rejetés ( $x^-$ ).
- L'hyperparamètre $\gamma = \tau/\eta$ contrôle l'interpolation entre la politique de référence (style DPO, $\gamma=1$ ) et la politique précédente (auto-jeu pur, $\gamma=0$ ).

Distinctions clés par rapport aux méthodes existantes

Vs Diffusion-DPO : Alors que Diffusion-DPO est hors ligne et oppose la politique actuelle uniquement à une référence fixe, Diff.-NPO est intrinsèquement en ligne et orienté auto-jeu, évaluant les mises à jour par rapport aux échantillons générés par la politique actuelle/précédente.
Vs INPO (Optimisation itérative de la politique de Nash) : Contrairement à INPO, qui utilise une perte au carré justifiée par des hypothèses spécifiques de population qui peuvent ne pas tenir dans le classement pratique basé sur un oracle, Diff.-NPO utilise une perte logistique par paires. Il est avancé que cela est plus stable lorsque les paires de préférences sont ordonnées de manière déterministe par un oracle (classement des échantillons générés) plutôt que d'être échantillonnées à partir d'une distribution de préférence probabiliste.

Contributions clés

Fondement théorique : L'article comble le fossé entre l'apprentissage de Nash à partir de feedback humain (NLHF) et l'alignement des modèles de diffusion, formulant l'alignement des modèles de diffusion comme un jeu général de préférences évitant l'hypothèse de Bradley–Terry.
Proposition d'algorithme : L'introduction de Diff.-NPO, un nouvel algorithme d'optimisation générale des préférences en ligne. Il unifie les paradigmes standard DPO et auto-jeu dans une seule formulation, où le coefficient de régularisation interpole entre ces régimes.
Hypothèses de modélisation explicites : Le cadre rend explicites les hypothèses sous-jacentes à l'optimisation des préférences, interprétant l'objectif comme l'ajustement à une distribution cible construite à partir de la politique de référence, de la politique précédente et du signal de préférence.
Validation empirique : Des expériences extensives sur Stable Diffusion 1.5 (SD1.5) et SDXL utilisant les ensembles de données Pick-a-Pic, Parti-Prompts et HPSV2 démontrent l'efficacité de la méthode.

Résultats expérimentaux

Les auteurs ont évalué Diff.-NPO par rapport à des bases de comparaison incluant Online-SFT, Online-DPO, SPIN et Seppo.

Taux de victoire : Diff.-NPO a constamment obtenu les taux de victoire moyens les plus élevés sur tous les ensembles de données d'évaluation (Pick-a-Pic, Parti-Prompts, HPSV2) pour SD1.5 et SDXL.
- Sur SDXL avec Parti-Prompts, Diff.-NPO a amélioré le taux de victoire ImageReward de 8,6 % et le taux de victoire du Score Esthétique de 10,8 % par rapport à Online-Diff-DPO.
- Il a également surpassé Online-DPO sur Pick-a-Pic et HPSV2.
Métriques automatiques : La méthode a montré des performances supérieures dans les métriques automatiques (PickScore, HPSV2, CLIP, ImageReward, Score Esthétique) par rapport aux bases de comparaison.
Études d'ablation :
- Ratio $\tau/\eta$ : L'étude a confirmé qu'une valeur intermédiaire (spécifiquement $\tau/\eta = 1/2$ ) produit les meilleures performances, validant l'hypothèse que s'appuyer uniquement sur la politique de référence (DPO) ou uniquement sur la politique précédente (auto-jeu pur) est sous-optimal.
- Fonction de perte : Le remplacement de l'objectif logistique par paires par un objectif de distance au carré (comme utilisé dans INPO) a entraîné une baisse substantielle des performances, soutenant le choix de conception de la perte logistique pour les classements déterministes d'oracle.
Analyse qualitative : Les comparaisons visuelles ont indiqué que Diff.-NPO produit des images avec un meilleur alignement sémantique, une correction anatomique (par exemple, portraits en pied) et une cohérence visuelle par rapport aux bases de comparaison.

Signification et affirmations

L'article affirme que Diff.-NPO fournit une approche simple et stable pour l'alignement en ligne des modèles de diffusion en optimisant directement les probabilités de préférence relative via un objectif de style auto-jeu avec régularisation de politique de référence.

Les auteurs affirment que l'apprentissage en ligne de style Nash est une alternative prometteuse aux formulations centrées sur la récompense pour l'alignement des modèles de diffusion. En s'éloignant des hypothèses transitives du modèle de Bradley–Terry, la méthode offre une perspective plus générale sur l'alignement des préférences. Ce travail établit une fondation pour les recherches futures sur l'apprentissage de style Nash pour les modèles de diffusion, démontrant que l'unification de DPO et de l'auto-jeu à travers une lentille théorique des jeux peut produire une qualité d'alignement supérieure.

L'article note modestement une limitation : la construction actuelle des préférences repose sur un rang moyen de cinq modèles de scoring, et l'intégration d'un ensemble plus large de modèles de scoring pourrait fournir un signal plus complet. Des travaux futurs sont prévus pour étendre le cadre à des stratégies de collecte de données en ligne plus robustes et à des tâches de génération et d'édition de diffusion plus larges.