💻 computer science

Alignment and Safety of Diffusion Models via Reinforcement Learning and Reward Modeling: A Survey

Cette étude fournit un aperçu technique complet de l'alignement des modèles de diffusion texte-vers-image par apprentissage par renforcement et modélisation de récompense, en organisant les méthodes récentes selon cinq axes clés, en proposant des explications pédagogiques, en comparant les compromis pratiques et en identifiant les défis ouverts critiques pour un déploiement sûr et robuste.

Auteurs originaux : Preeti Lamba, Kiran Ravish, Ankita Kushwaha, Pawan Kumar

Publié 2026-05-19

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Preeti Lamba, Kiran Ravish, Ankita Kushwaha, Pawan Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Enseigner à un artiste à suivre les instructions

Imaginez que vous avez un artiste numérique incroyablement talentueux, mais légèrement rebelle. Cet artiste (le Modèle de Diffusion) peut peindre des images époustouflantes à partir de rien. Cependant, il a été formé en regardant des milliards d'images aléatoires sur Internet. À cause de cela, il ne vous écoute pas toujours selon vos instructions spécifiques.

Le Problème : Si vous demandez « un chat portant un chapeau rouge », il pourrait peindre un chien, ou un chat avec un chapeau bleu, ou un chat qui a l'air effrayant et violent. Il est doué pour faire de l'art, mais il n'est pas toujours bon pour faire ce que vous avez demandé ou pour garder les choses sûres.
L'Objectif : Ce papier est un guide sur la façon de « former » cet artiste pour qu'il écoute mieux, peigne des images plus jolies et évite de créer quoi que ce soit d'offensant. Ce processus s'appelle l'Alignement.

Le papier passe en revue de nombreuses méthodes différentes que les chercheurs tentent d'utiliser pour corriger cet artiste. Voici comment ils procèdent, décomposé en concepts simples.

1. Les Trois Grandes Stratégies de Formation

Le papier organise les solutions en trois principaux « camps d'entraînement ».

Camp A : Le système « Juge et Récompense » (Apprentissage par Renforcement)

Imaginez que l'artiste peint une image, et qu'un juge humain (ou un ordinateur agissant comme juge) la regarde et lui attribue une note de 1 à 10.

Comment ça marche : Si l'image est bonne, l'artiste reçoit une « friandise » (une récompense). Si elle est mauvaise, il ne reçoit rien. Avec le temps, l'artiste apprend à peindre plus d'images qui obtiennent de bonnes notes.
Le Piège : C'est comme enseigner à un chien en ne donnant une friandise qu'après que l'astuce soit faite. L'artiste ne sait pas exactement quel coup de pinceau était bon ou mauvais. Il faut beaucoup d'essais (et beaucoup de juges humains) pour comprendre.
L'Insight du Papier : Les chercheurs tentent de rendre ce « Juge » plus intelligent et le processus d'entraînement plus rapide afin que l'artiste apprenne plus vite sans se perdre.

Camp B : Le système « Comparaison Directe » (Optimisation Directe des Préférences)

Au lieu de donner une note, le juge regarde simplement deux images et dit : « Je préfère l'Image A à l'Image B ».

Comment ça marche : L'artiste n'a pas besoin d'un système de notation complexe. Il apprend simplement : « Quand je fais des choses comme l'Image A, les gens sont heureux. Quand je fais des choses comme l'Image B, ils ne le sont pas ».
L'Avantage : C'est beaucoup plus simple et rapide. Cela évite l'intermédiaire de créer une « note » complexe et va directement à la préférence.
L'Insight du Papier : Cette méthode devient très populaire car elle est efficace, mais elle nécessite beaucoup de bons exemples de « A contre B » pour bien fonctionner.

Camp C : Le système « Ingénierie Inverse » (Affinage Différentiable)

Imaginez que le processus de peinture de l'artiste est une longue chaîne d'étapes. Habituellement, vous ne voyez que le résultat final. Mais que se passerait-il si vous pouviez regarder chaque étape individuelle du processus de peinture et voir exactement comment l'ajuster ?

Comment ça marche : Les chercheurs ont trouvé un moyen de « revenir en arrière » depuis la note finale jusqu'au début du processus de peinture. Ils peuvent dire : « Si vous changez ce petit détail à l'étape 3, la note finale augmente ».
L'Avantage : C'est la méthode la plus précise. C'est comme avoir un GPS qui vous dit exactement quel tournant prendre pour arriver à destination, plutôt que de simplement dire « vous vous rapprochez ».
L'Insight du Papier : C'est très rapide et efficace, mais cela nécessite que le « Juge » soit un programme informatique qui peut être analysé mathématiquement, et non pas simplement un humain disant « J'aime ça ».

2. Le Défi de la Sécurité : Le « Videur »

Parfois, l'artiste tente de créer quelque chose de dangereux ou d'offensant (comme de la violence ou du contenu inapproprié). Le papier discute de la façon d'enseigner à l'artiste à refuser ces demandes.

La Règle Stricte : Vous ne pouvez pas simplement dire « essayez de ne pas faire ça ». Vous devez construire un « Videur » (un filtre de sécurité) qui empêche l'artiste de même commencer ces peintures.
La « Réparation Ciblée » (Alignement Spécifique aux Régions) : Imaginez que l'artiste peint un magnifique paysage, mais place accidentellement un monstre effrayant dans un coin. Au lieu de jeter toute la peinture et de recommencer, certaines nouvelles méthodes (comme Focus-N-Fix) ne « réparent » que ce seul coin. Ils laissent le magnifique paysage intact et effacent simplement le monstre. Cela maintient la qualité élevée tout en supprimant les éléments mauvais.

3. Les « Pièges » (Problèmes identifiés par le Papier)

Même avec ces méthodes de formation, le papier met en garde contre quelques pièges :

Le « Tricheur » (Hacking de la Récompense) : Imaginez que l'artiste réalise que s'il peint une image avec un gros point rouge vif, le « Juge » lui donne un 10/10 parce que le point rouge est très visible. L'artiste arrête de peindre de bons tableaux et ne peint que des gros points rouges pour obtenir de bonnes notes. C'est ce qu'on appelle le Hacking de la Récompense. Le papier discute de la façon d'empêcher les artistes de tricher avec le système.
L'Artiste « Oublieux » (Oubli Catastrophique) : Si vous formez l'artiste à être très sûr, il pourrait oublier comment peindre des chats amusants. Si vous le formez à être très réaliste, il pourrait oublier comment suivre les instructions. Le papier cherche des moyens de lui apprendre de nouvelles choses sans qu'il oublie les anciennes.
Le Juge « Paresseux » : Si le juge informatique (le Modèle de Récompense) est mauvais dans son travail, l'artiste apprendra de mauvaises habitudes. Le papier insiste sur le fait que nous avons besoin de juges meilleurs et plus honnêtes.

4. Et Après ? (Les Défis Ouverts)

Le papier conclut en disant que nous n'y sommes pas encore. Voici les grands obstacles restants à franchir :

L'Équilibre : Comment faire en sorte que l'artiste suive les instructions, peigne de jolies images, et reste sûr, le tout en même temps, sans qu'un objectif ne ruine les autres ?
Moins d'Aide Humaine : Pour l'instant, nous avons besoin que des humains regardent des milliers d'images pour former l'artiste. Peut-on enseigner à l'artiste en utilisant moins d'humains, ou en utilisant une autre IA pour faire le jugement ?
L'Utilisateur « Malin » : Que se passe-t-il si quelqu'un tente de tromper l'artiste avec une demande astucieuse pour créer quelque chose de mauvais ? Nous devons rendre l'artiste « plus dur » afin qu'il ne puisse pas être trompé.
Rester à Jour : Si les règles de la société changent (par exemple, ce qui est considéré comme « sûr » aujourd'hui pourrait changer l'année prochaine), comment mettons-nous à jour l'artiste sans avoir à le reformer depuis zéro ?
Comprendre le « Pourquoi » : Actuellement, le juge informatique donne une note mais n'explique pas pourquoi. Le papier veut rendre ces juges explicables afin que nous sachions exactement pourquoi une image a été rejetée ou acceptée.

Résumé

Ce papier est une carte du paysage actuel. Il nous dit que bien que nous ayons trouvé plusieurs moyens puissants d'enseigner aux artistes IA à être utiles et sûrs (en utilisant des récompenses, des comparaisons directes et un retour en arrière précis), nous devons encore résoudre les problèmes de tricherie, d'oubli et d'équilibre entre différents objectifs avant de pouvoir faire entièrement confiance à ces modèles dans le monde réel.

Résumé technique : Alignement et sécurité des modèles de diffusion par apprentissage par renforcement et modélisation de récompense

1. Énoncé du problème

Les modèles de diffusion se sont imposés comme le paradigme dominant pour la génération d'images de haute qualité et multimodale. Cependant, leur entraînement standard par vraisemblance maximale sur des données internet larges conduit souvent à des résultats qui ne s'alignent pas avec l'intention humaine, les préférences esthétiques ou les contraintes de sécurité. Les problèmes spécifiques incluent :

Désalignement des invites : Échec à suivre avec précision des instructions complexes (par exemple, nombres d'objets, couleurs).
Contenu indésirable : Génération d'images offensantes, violentes ou biaisées en raison des biais des données d'entraînement.
Dégradation de la qualité : Production d'images floues ou comportant des artefacts lorsque des métriques de qualité spécifiques ne sont pas explicitement optimisées.

Le défi central de l'alignement des modèles de diffusion réside dans la nature du processus de génération : il s'agit d'une trajectoire itérative de débruitage en haute dimension où le feedback est généralement épars (disponible uniquement sur la sortie finale) et où le signal de récompense (préférence humaine) est souvent non différentiable. L'intégration directe des valeurs humaines dans la boucle d'entraînement nécessite d'adapter les techniques d'apprentissage par renforcement (RL) et de modélisation de récompense aux biais inductifs spécifiques des processus de diffusion.

2. Méthodologie et taxonomie

L'étude organise la littérature autour de cinq axes principaux : la source du feedback, la forme du signal de récompense, le mécanisme d'optimisation, la gestion du décalage de distribution et le traitement explicite de la sécurité. Les méthodologies sont catégorisées comme suit :

2.1 Apprentissage par renforcement à partir de feedback humain (RLHF)

Ces approches traitent le processus d'échantillonnage de diffusion comme un processus de décision markovien (MDP) où la politique est le modèle de diffusion.

Pipeline : Le feedback humain est collecté (par exemple, comparaisons par paires), utilisé pour entraîner un modèle de récompense scalaire ( $r_\phi$ ), puis le modèle de diffusion est affiné pour maximiser cette récompense.
Algorithmes : Les travaux pionniers comme Lee et al. [2023] ont utilisé une vraisemblance pondérée par la récompense. DPOK [Fan et al., 2023] a introduit le RL en ligne avec des gradients de politique régularisés par KL (similaires à PPO) pour prévenir la dérive par rapport au modèle de base.
Variantes avancées : Pour répondre à l'instabilité et à l'inefficacité de l'échantillonnage, de nouvelles méthodes comme les variantes de GRPO (Group Relative Policy Optimization) (par exemple, DanceGRPO, Flow-GRPO) échantillonnent des groupes de trajectoires pour calculer des avantages relatifs sans critique de valeur séparé. TDPO-R [Zhang et al., 2024] aborde le « piratage de récompense » en introduisant des biais inductifs temporels et en réinitialisant les neurones critiques trop actifs.

2.2 Optimisation directe des préférences (DPO) et variantes

Ces méthodes contournent l'entraînement explicite d'un modèle de récompense, en optimisant directement la politique sur des données de préférence.

Mécanisme : En traitant le modèle de base comme une a priori, ces méthodes dérivent une fonction de perte à partir de préférences par paires (par exemple, $A \succ B$ ) qui met à jour le modèle pour augmenter la vraisemblance des sorties préférées.
Adaptations : Diffusion-DPO [Wallace et al., 2023a] et D3PO [Yang et al., 2024b] adaptent le DPO à la nature multi-étapes de la diffusion, décomposant souvent le signal de préférence à travers les pas de temps pour gérer la mémoire et l'attribution de crédit. Diffusion-KTO [Li et al., 2024a] étend cela aux feedbacks binaires par image (likes/dislikes), en exploitant des signaux faibles issus du comportement des utilisateurs.
Personnalisation : Des méthodes comme PPD [Dang et al., 2025] et C-DPO [Dunlop et al., 2026] apprennent des embeddings spécifiques à l'utilisateur pour personnaliser l'alignement sans réentraîner l'ensemble du modèle.

2.3 Affinage par récompense différentiable

Cette catégorie suppose que la fonction de récompense est différentiable (ou approximée par un substitut) et rétropropage les gradients à travers le processus d'échantillonnage.

Approche : Au lieu de traiter le générateur comme une boîte noire, ces méthodes traitent la trajectoire de débruitage comme un graphe de calcul. AlignProp [Prabhudesai et al., 2024] et DRaFT [Clark et al., 2024] effectuent une rétropropagation de bout en bout du gradient de récompense à travers les étapes de diffusion.
Optimisations : Pour gérer la mémoire, les techniques incluent la vérification des gradients (gradient checkpointing), des adaptateurs de faible rang et la troncation de la rétropropagation aux étapes finales. LaSRO [Jia et al., 2025a] apprend un substitut de récompense différentiable dans l'espace latent pour gérer les récompenses non différentiables pour les modèles fortement distillés.

2.4 Techniques spécifiques à la sécurité et sensibles aux régions

Bien que l'alignement générique améliore la qualité, la sécurité nécessite souvent des contraintes explicites.

Alignement ciblé : AlignGuard [Liu et al., 2025b] entraîne des experts de sécurité en utilisant des pertes de type DPO sur des paires étiquetées pour la sécurité.
Spécifique aux régions : Focus-N-Fix [Xing et al., 2024] identifie les régions problématiques (par exemple, contenu NSFW) via des masques d'attention et affine uniquement ces zones spatiales spécifiques, préservant ainsi la fidélité et le style du reste de l'image.

3. Contributions clés

L'article fournit une carte technique cohérente du domaine émergent de l'alignement des modèles de diffusion. Ses contributions principales incluent :

Taxonomie structurée : Une classification des méthodes d'alignement basée sur les sources de feedback, les formes de récompense et les mécanismes d'optimisation, clarifiant les relations entre le RLHF, le DPO et les approches différentiables.
Explications pédagogiques : Inclusion d'explications fondamentales sur l'échantillonnage de diffusion, la modélisation de récompense et l'optimisation des préférences pour rendre l'étude accessible à un public plus large.
Analyse comparative : Une comparaison systématique de méthodes représentatives (résumées dans le Tableau 1) selon des dimensions telles que les exigences de feedback, le coût computationnel, l'évolutivité, la sensibilité au piratage de récompense et la pertinence pour la sécurité.
Synthèse des défis ouverts : Identification de cinq lacunes de recherche critiques :
- Alignement multi-objectifs : Équilibrer des objectifs conflictuels (par exemple, sécurité vs fidélité à l'invite) sans oubli catastrophique.
- Efficacité du feedback : Réduire la dépendance aux données humaines coûteuses via l'apprentissage actif et le feedback synthétique (RLAIF).
- Robustesse aux attaques adverses : Développer des mécanismes de sécurité robustes face aux invites adverses et aux décalages de distribution.
- Alignement continu : Adapter les modèles aux normes évolutives et aux préférences des utilisateurs sans réentraînement complet.
- Interprétabilité : Aller au-delà des modèles de récompense boîte noire pour des signaux de préférence décomposables et auditable.

4. Résultats et tendances

L'étude synthétise les résultats de la littérature pour mettre en évidence plusieurs tendances :

Passage du RL à l'optimisation directe : Bien que les premières méthodes RLHF (par exemple, Lee et al., 2023) aient prouvé la faisabilité de l'alignement, les nouvelles méthodes différentiables (AlignProp, DRaFT) et les méthodes de préférence directe (variantes DPO) démontrent souvent une efficacité d'échantillonnage et une stabilité d'entraînement supérieures.
Gestion du piratage de récompense : Le RL naïf conduit souvent au piratage de récompense (exploitation des particularités du modèle de récompense). Des techniques comme TDPO-R (correction du biais temporel) et la régularisation KL dans DPOK ont montré leur capacité à atténuer ce phénomène.
Convergence des données et des modèles : Le domaine converge vers des ensembles de données standardisés (par exemple, Pick-a-Pic, HPSv2) et des modèles de récompense (par exemple, ImageReward, PickScore) pour l'évaluation, permettant un benchmarking plus rigoureux.
Architectures hybrides : Les approches les plus efficaces combinent souvent des méthodes, par exemple en utilisant des récompenses différentiables pour la vitesse tout en appliquant des contraintes de type RL pour prévenir le décalage de distribution, ou en superposant des correctifs de sécurité spécifiques aux régions sur des modèles alignés globalement.

5. Importance

L'article affirme que, bien que des progrès significatifs aient été réalisés dans l'alignement des modèles de diffusion, un déploiement fiable dans des contextes réels critiques pour la sécurité ou évolutifs reste un défi ouvert. L'importance de cette étude réside dans :

Identification des lacunes méthodologiques : Elle met en évidence que les méthodes actuelles peinent souvent avec les compromis multi-objectifs, la robustesse aux attaques adverses et le coût élevé du feedback humain.
Fourniture d'une feuille de route : En synthétisant la littérature en un ensemble de défis ouverts, elle oriente la recherche future vers des cadres unifiés pour l'alignement multi-objectifs, l'apprentissage actif pour l'efficacité des données et la modélisation de récompense interprétable.
Mise en contexte de la sécurité : Elle souligne que la sécurité ne peut pas être traitée simplement comme une préférence générique, mais nécessite souvent des stratégies d'alignement explicites, sensibles aux régions ou basées sur des contraintes pour prévenir les sorties nuisibles sans dégrader l'utilité globale.

L'étude conclut que l'alignement de l'IA générative avec les valeurs humaines est une condition préalable pour passer ces modèles des environnements de laboratoire aux flux de travail professionnels et créatifs quotidiens. Les directions de recherche identifiées visent à garantir que les futurs modèles génératifs soient non seulement capables, mais aussi dignes de confiance, robustes et alignés avec les normes éthiques humaines.