💻 computer science

SafeDiffusion-R1: Online Reward Steering for Safe Diffusion Post-Training

SafeDiffusion-R1 introduit un cadre d'apprentissage par renforcement en ligne utilisant l'optimisation de politique relative par groupe et un nouveau mécanisme de récompense de guidage basé sur CLIP pour aligner efficacement les modèles de diffusion sur des contraintes de sécurité et améliorer la qualité de génération sans nécessiter de données supervisées coûteuses ni souffrir d'oubli catastrophique.

Auteurs originaux : Komal Kumar, Ankan Deria, Abhishek Basu, Fahad Shamshad, Hisham Cholakkal, Karthik Nandakumar

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Komal Kumar, Ankan Deria, Abhishek Basu, Fahad Shamshad, Hisham Cholakkal, Karthik Nandakumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux nommé Diffusion. Cet artiste a appris à peindre en regardant des millions d'images provenant de l'ensemble d'Internet. Parce qu'Internet contient tout, l'artiste a appris à peindre de beaux paysages, mais a aussi appris à peindre des choses inappropriées ou dangereuses.

Maintenant, vous voulez engager cet artiste pour peindre des images pour un magazine familial. Vous devez lui apprendre à ne jamais peindre ces mauvaises choses à nouveau, mais vous ne voulez pas non plus ruiner sa capacité à peindre de belles scènes complexes (comme un chat assis sur une chaise rouge à côté d'un chien bleu).

Ce papier présente une nouvelle méthode pour entraîner cet artiste, appelée SafeDiffusion-R1. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème avec les Anciennes Méthodes

Auparavant, essayer de « désapprendre » de mauvaises habitudes était comme essayer d'enseigner à un élève en ne lui montrant qu'un manuel d'exemples « Bons » et d'exemples « Mauvais ».

Le Problème : Vous aviez besoin d'une immense bibliothèque de ces exemples (ce qui est coûteux et difficile à obtenir).
L'Effet Secondaire : Lorsque vous tentiez de forcer l'artiste à oublier les mauvaises choses, il oubliait souvent tout le reste aussi. Il devenait confus, et ses belles peintures commençaient à paraître floues ou étranges. C'est ce qu'on appelle l'« oubli catastrophique ».

2. La Nouvelle Solution : « Le Coach en Ligne »

Au lieu d'utiliser un manuel statique, SafeDiffusion-R1 agit comme un coach en direct se tenant à côté de l'artiste pendant qu'il peint.

Apprentissage en Ligne : L'artiste essaie de peindre une image basée sur un prompt (même un risqué). Le coach examine le résultat immédiatement et donne des commentaires.
L'Astuce du « Groupe » : Le coach ne dit pas simplement « Bien » ou « Mauvais ». Au lieu de cela, il demande à l'artiste de peindre quatre versions différentes du même prompt. Ensuite, le coach les compare : « La version A est acceptable, mais la version B est terrible. » Cela aide l'artiste à apprendre la différence relative sans se confondre avec des récompenses extrêmes. C'est ce qu'on appelle l'Optimisation de Politique Relative par Groupe (GRPO).

3. L'Arme Secrète : « La Boussole » (Récompense de Direction)

C'est la plus grande innovation du papier. Habituellement, pour dire à un artiste « Ne peignez pas de nudité », vous avez besoin d'un expert spécial (un modèle de récompense) pour regarder la peinture et dire « Non ». Former cet expert est difficile.

SafeDiffusion-R1 utilise une boussole magique à la place.

Fonctionnement : Imaginez que le cerveau de l'artiste est une immense carte d'idées. Sur cette carte, les idées « Sûres » sont au Nord, et les idées « Insécurisées » sont au Sud.
L'Astuce : Le système n'a pas besoin qu'un humain vérifie chaque peinture. Il prend simplement les mots que l'utilisateur a tapés (le prompt) et utilise les mathématiques pour pousser doucement les mots vers le Nord (Sûr) avant même que l'artiste ne commence à peindre.
Le Résultat : Si quelqu'un demande une image risquée, le système modifie subtilement l'instruction dans l'esprit de l'artiste en une version sûre avant que la peinture ne commence. L'artiste peint alors une image sûre parce qu'il a reçu une instruction « sûre », et non parce qu'il a été puni pour une « mauvaise » instruction.

4. Les Résultats : Sûr, Intelligent et Précis

Le papier a testé cette méthode et a trouvé trois grands avantages :

Sécurité : Il a considérablement réduit le nombre d'images inappropriées. Si l'ancien artiste produisait 646 images inappropriées sur un ensemble de test, cette nouvelle méthode n'en produit que 15.
Généralisation : Même si l'artiste a été principalement entraîné sur des prompts de « nudité », il a appris à éviter d'autres mauvaises choses aussi (comme la violence ou les discours haineux), même s'il n'a jamais vu ces exemples spécifiques pendant l'entraînement. C'est comme enseigner à quelqu'un de ne pas manger de pommes empoisonnées, et soudainement il arrête aussi de manger des baies empoisonnées.
Qualité : Contrairement aux anciennes méthodes qui rendaient les peintures de l'artiste floues ou brisées, cette méthode a en réalité amélioré la capacité de l'artiste à suivre des instructions complexes (comme compter des objets ou les placer à des endroits spécifiques).

Résumé

SafeDiffusion-R1 est une nouvelle technique d'entraînement qui apprend aux générateurs d'images IA à être sûrs sans avoir besoin d'une immense bibliothèque d'exemples « bons vs mauvais ». Il utilise un coach en direct pour comparer plusieurs tentatives et une boussole mathématique pour orienter doucement les pensées de l'IA vers la sécurité avant même qu'elle ne commence à créer. Le résultat est une IA plus sûre, plus intelligente, et qui ne perd pas son talent artistique dans le processus.

Résumé technique : SafeDiffusion-R1

Énoncé du problème

Les modèles de diffusion texte-vers-image (T2I), entraînés sur des données web à grande échelle, ont démocratisé la génération de contenu visuel mais ont involontairement intériorisé des associations dangereuses et explicites. Les interventions de sécurité existantes présentent des limitations significatives :

Pénurie de données et coût : Les méthodes reposant sur un ajustement fin supervisé (SFT) ou un apprentissage par renforcement (RL) hors ligne nécessitent des ensembles de données coûteux et soigneusement sélectionnés de paires image-texte sûres/insécuritaires ou de paires d'images négatives/positives, ce qui est difficile à mettre à l'échelle.
Oubli catastrophique : Les approches hors ligne qui génèrent des données synthétiques ou s'appuient sur des ensembles de données fixes souffrent souvent d'un oubli catastrophique, dégradant les capacités génératives générales du modèle et la qualité compositionnelle.
Supervision statique : Les paradigmes actuels (SFT et RL hors ligne) optimisent par rapport à des exemples fixes ou des données pré-générées. Ils échouent à adapter leurs signaux d'entraînement au comportement génératif évolutif du modèle, les rendant insuffisants pour suivre et supprimer le contenu dangereux qui émerge dynamiquement pendant l'entraînement.
Surcharge du modèle de récompense : De nombreuses méthodes d'alignement de sécurité nécessitent l'entraînement ou l'ajustement fin de modèles de récompense spécialisés pour classer les images comme sûres ou insécuritaires, introduisant une surcharge computationnelle supplémentaire.

Méthodologie

Les auteurs proposent SafeDiffusion-R1, un cadre d'apprentissage par renforcement en ligne conçu pour aligner les modèles de diffusion sur des contraintes de sécurité sans données appariées supervisées ni ajustement fin de modèles de récompense spécialisés. Le cadre intègre deux composants principaux :

1. Optimisation de politique en ligne via GRPO

La méthode emploie l'Optimisation de Politique Relative par Groupes (GRPO) comme algorithme d'entraînement. Contrairement au PPO standard ou au RL hors ligne, le GRPO opère en ligne (on-policy) :

Échantillonnage dynamique : Le modèle génère continuellement des échantillons d'images à partir de prompts bénins et dangereux pendant l'entraînement.
Avantage basé sur les groupes : Pour chaque prompt, $K$ échantillons indépendants sont générés. Les avantages sont normalisés au sein du groupe ( $A_{i,k} = \frac{r_{i,k} - \bar{r}_i}{\sigma_i + \delta}$ ) plutôt que globalement. Cela atténue les écarts d'échelle de récompense entre les prompts bénins et dangereux, empêchant la sur-correction et assurant des mises à jour stables par rapport à la distribution de la politique actuelle.
Apprentissage en ligne (On-Policy) : En couplant l'optimisation de la sécurité avec la distribution d'échantillonnage évolutive du modèle, la méthode évite le décalage de distribution et préserve les capacités génératives générales tout en désapprenant progressivement les concepts dangereux.

2. Récompense de guidage consciente de la géométrie

Pour éliminer le besoin d'un classifieur séparé sûr/insécuritaire ou d'un modèle de récompense, les auteurs introduisent un mécanisme de récompense de guidage qui exploite les propriétés géométriques des plongements CLIP :

Vecteur de direction de sécurité ( $v_{safe}$ ) : Un vecteur unitaire est calculé dans l'espace des plongements textuels comme la différence normalisée entre les plongements moyens d'un petit ensemble d'ancres textuelles sûres ( $T_{safe}$ ) et d'ancres textuelles dangereuses ( $T_{unsafe}$ ) :
$v_{safe} = \frac{\bar{z}_{safe} - \bar{z}_{unsafe}}{\|\bar{z}_{safe} - \bar{z}_{unsafe}\|_2}$
Guidage conditionnel : Pour un prompt d'entrée $c$ , le plongement textuel $z_T$ est projeté sur $v_{safe}$ . Si le prompt est identifié comme dangereux (projection négative), le plongement est géométriquement guidé vers la direction sûre :
$z'_T = \text{normalize}(z_T + \alpha v_{safe})$
où $\alpha$ est un hyperparamètre de force de guidage.
Calcul de la récompense : La récompense est calculée comme la similarité cosinus entre le plongement de l'image ( $z_I$ ) et le plongement textuel guidé ( $z'_T$ ) pour les prompts dangereux, ou le plongement textuel original pour les prompts sûrs. Cela remodèle le signal d'optimisation pour encourager l'alignement avec les attributs sémantiques sûrs sans pénaliser explicitement le modèle pour la « compréhension » du prompt dangereux.

Contributions clés

Formulation de politique en ligne : L'article formule l'alignement de sécurité pour les modèles de diffusion T2I comme un problème d'optimisation de politique en ligne, introduisant un cadre basé sur le GRPO qui couple l'apprentissage de la sécurité avec la distribution générative évolutive du modèle pour prévenir l'oubli catastrophique.
Mécanisme de récompense de guidage : Une nouvelle récompense consciente de la géométrie est proposée qui représente la sécurité comme une direction dans l'espace des plongements CLIP. Cela permet la suppression de concepts sans entraîner de modèles de récompense sûrs/insécuritaires dédiés ni s'appuyer sur des données appariées supervisées.
Validation empirique : Des expériences extensives démontrent que le cadre surpasse l'ajustement fin supervisé et les méthodes d'alignement hors ligne sur les benchmarks de sécurité tout en préservant ou en améliorant la qualité de la génération compositionnelle.

Résultats expérimentaux

La méthode a été évaluée sur Stable Diffusion v1.4 en utilisant le benchmark I2P (détection de nudité) et GenEval (utilité compositionnelle).

Performance de sécurité :
- Détection de nudité : SafeDiffusion-R1 a réduit les détections de nudité à 15 (contre 646 pour la SD v1.4 de base et 66 pour la baseline RECE).
- Contenu inapproprié : La méthode a réduit le taux global de contenu inapproprié à 18,07 % (contre 48,9 % pour SD v1.4). Notamment, elle a obtenu de solides performances dans sept catégories de préjudice (Haine, Harcèlement, Violence, Auto-mutilation, Sexualité, Choc, Activité illégale) malgré un entraînement principalement sur des prompts axés sur la nudité, démontrant une forte généralisation hors distribution (OOD).
Préservation de l'utilité :
- Qualité compositionnelle : Contrairement aux bases qui dégradent l'utilité, SafeDiffusion-R1 a amélioré le score GenEval de 42,08 % (SD v1.4) à 47,83 %.
- Fidélité visuelle : L'analyse qualitative montre que le modèle préserve l'intégrité structurelle, les détails du visage et la cohérence de l'éclairage, évitant la distorsion, le lissage excessif ou l'incohérence sémantique observés dans des méthodes comme EraseDiff ou ESD.
- Score CLIP : Le modèle a maintenu des scores CLIP-T proches de la base (0,311 contre 0,313), indiquant un respect préservé des instructions.

Importance et revendications

L'article revendique que SafeDiffusion-R1 aborde le compromis critique entre sécurité et utilité dans les modèles de diffusion. En utilisant le GRPO en ligne et le guidage géométrique, l'approche :

Élimine les dépendances aux données : Elle supprime le besoin d'ensembles de données supervisées de sécurité coûteux et soigneusement sélectionnés.
Évite la surcharge du modèle de récompense : Elle contourne le coût computationnel de l'entraînement de classifieurs de récompense spécialisés.
Assure la stabilité : La formulation en ligne et la normalisation relative aux groupes préviennent l'oubli catastrophique et l'effondrement de la distribution.
Généralise de manière robuste : La méthode atteint des performances de sécurité de pointe qui se généralisent aux prompts dangereux hors distribution (OOD) à travers diverses catégories de préjudice, même lorsqu'elle est entraînée sur un ensemble restreint de concepts dangereux.

Les auteurs positionnent ce travail comme une stratégie pratique de modification post-entraînement qui ajuste directement les modèles pré-entraînés pour supprimer les concepts dangereux sans réentraînement à partir de zéro, restant compatible avec des systèmes publiés publiquement comme Stable Diffusion.