🤖 machine learning

A Unified Framework for Diffusion Model Unlearning with f-Divergence

Ce papier propose un cadre unifié pour l'oubli de concepts dans les modèles de diffusion texte-vers-image qui généralise l'objectif standard basé sur l'erreur quadratique moyenne à des $f$ -divergences arbitraires, offrant à la fois des solutions analytiques efficaces pour des divergences spécifiques comme celle d'Hellinger et une approche variationnelle min-max pour d'autres afin de mieux équilibrer l'efficacité de l'oubli avec la fidélité générative.

Auteurs originaux : Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux (un « Modèle de Diffusion ») qui a appris à peindre tout, des tableaux les plus célèbres du monde aux contenus explicites, simplement parce qu'il a été entraîné sur une immense bibliothèque non sélectionnée d'images provenant d'Internet. Parfois, vous voulez que cet artiste « oublie » des choses spécifiques — peut-être le style d'un artiste particulier, un personnage précis comme R2D2, ou des contenus inappropriés — sans avoir à le réentraîner depuis zéro (ce qui prendrait une éternité et coûterait une fortune).

Ce papier propose une nouvelle méthode, plus intelligente, pour faire oublier ces choses à l'artiste. Les auteurs appellent leur méthode f-DMU.

Voici la décomposition de leur idée en utilisant des analogies simples :

1. L'Ancienne Méthode : L'Approche « Moyenne »

Auparavant, les chercheurs tentaient de faire oublier un concept à l'artiste en lui disant : « Quand on te demande de peindre [Concept Cible], peins quelque chose qui ressemble exactement à la moyenne du [Concept Ancre]. »

Le Problème : Ils utilisaient une règle mathématique standard appelée « Erreur Quadratique Moyenne » (MSE) pour mesurer à quel point la nouvelle peinture était proche de l'ancre. Imaginez un enseignant strict qui ne se soucie que si la note finale est une moyenne. Si l'élève fait une énorme erreur sur une question difficile, l'enseignant le punit sévèrement, mais s'il fait beaucoup de petites erreurs, l'enseignant pourrait ne pas les remarquer. Cette « punition » (gradient) peut être trop dure ou trop faible, amenant l'artiste soit à planter (générer des images étranges et brisées), soit à oublier trop lentement.

2. La Nouvelle Méthode : La « Règle Flexible » (f-Divergence)

Les auteurs disent : « Pourquoi n'utiliser qu'une seule règle ? Utilisons toute une boîte à outils de règles différentes. »

En mathématiques, ces règles s'appellent des f-divergences. Le papier montre qu'en choisissant différents types de f-divergences, vous pouvez modifier la manière dont l'artiste apprend à oublier. C'est comme choisir entre une règle qui mesure la distance, une règle qui mesure le temps, ou une règle qui mesure le poids, selon ce que vous essayez de corriger.

Ils ont identifié deux principaux types de ces « règles » qui fonctionnent le mieux :

A. La « Main Douce » (Distance de Hellinger au Carré)

Comment ça marche : Cette règle est très prudente. Si l'artiste fait une énorme erreur (une grande différence entre la cible et l'ancre), cette règle dit : « D'accord, c'est un grand écart, mais ne paniquons pas. Faisons un petit pas régulier pour le corriger. »
Le Résultat : L'artiste apprend en douceur. Il ne se « choque » pas avec les grandes erreurs, donc il ne commence pas à peindre du charabia.
Idéal pour : Quand vous voulez supprimer un concept tout en conservant la capacité de l'artiste à peindre d'autres choses magnifiquement. C'est le choix « sûr » qui préserve la qualité du reste de l'art.

B. Le « Marteau Lourd » (Divergence du Chi-deux)

Comment ça marche : Cette règle est agressive. Si l'artiste fait une erreur, cette règle crie : « Corrigez ça MAINTENANT ! » Plus l'erreur est grande, plus la punition est dure.
Le Résultat : L'artiste oublie le concept très rapidement.
Idéal pour : Quand vous devez effacer quelque chose très soigneusement et que cela ne vous dérange pas si l'artiste devient un peu « nerveux » ou perd quelques détails fins dans le processus.

C. Le « Tug-of-War » (Méthodes Variationnelles)

Pour certaines règles complexes qui n'ont pas de formule simple, les auteurs ont mis en place un jeu. Ils créent un « Discriminateur » (un critique) et l'« Artiste » (le modèle).

Le Critique tente de repérer la différence entre l'ancien art et le nouvel art.
L'Artiste tente de tromper le Critique.
Ils jouent à un jeu de tir à la corde jusqu'à ce que l'Artiste ne puisse plus être distingué de la version « oubliée ». C'est puissant mais plus difficile à contrôler.

3. Ce qu'ils ont Découvert

Les auteurs ont testé ces méthodes sur différents scénarios :

Effacer des Styles : Faire oublier à l'artiste « Van Gogh » ou « Picasso ».
Effacer des Objets : Faire oublier à l'artiste « R2D2 » ou « Wall-E ».
Effacer du Contenu NSFW : Faire oublier à l'artiste la nudité.

La Conclusion Clé :
La « Main Douce » (Hellinger au Carré) a systématiquement battu l'ancienne méthode « Moyenne » (MSE).

Pourquoi ? Parce que l'ancienne méthode provoquait souvent que l'artiste devienne fou au milieu de l'entraînement, produisant des images moches et brisées avant de se stabiliser enfin. La nouvelle méthode a maintenu l'artiste stable tout au long du processus.
Le Compromis : Si vous voulez être super agressif et supprimer un concept complètement (même si l'art devient un peu rugueux), vous pouvez utiliser le « Marteau Lourd » ou la méthode « Tug-of-War ». Mais si vous voulez un résultat propre et de haute qualité où l'artiste se souvient encore parfaitement de tout le reste, la « Main Douce » est la gagnante.

Résumé

Considérez ce papier comme fournissant un nouvel ensemble d'outils d'entraînement pour les artistes IA. Au lieu d'utiliser un seul instrument brut pour faire oublier quelque chose à une IA, ils nous offrent un choix :

Utilisez la Main Douce pour un oubli fluide et de haute qualité qui conserve intactes les autres compétences de l'IA.
Utilisez le Marteau Lourd si vous devez faire exploser un concept hors de l'existence rapidement.
Utilisez le Tug-of-War si vous avez besoin d'une solution flexible pour tout type de concept.

Cela permet aux développeurs de choisir exactement l'outil nécessaire pour le travail, garantissant que lorsqu'une IA « oublie » quelque chose, elle n'oublie pas accidentellement comment être un bon artiste en même temps.

Résumé Technique : Un Cadre Unifié pour l'Oubli dans les Modèles de Diffusion par Divergence f

1. Énoncé du Problème

Les modèles de diffusion texte-vers-image (T2I) (DM), entraînés sur des données massives extraites d'Internet (par exemple, LAION-5B), ont démontré des capacités génératives remarquables mais héritent également de propriétés indésirables, notamment la capacité à générer du contenu non sûr pour le travail (NSFW), des styles artistiques protégés par le droit d'auteur et des informations personnelles. Bien que le réentraînement des modèles sur des jeux de données curatés soit la solution théorique pour effacer des concepts spécifiques, il est prohibitif en termes de calcul et souvent peu pratique en raison de contraintes de suppression de données ou de ressources.

Les algorithmes d'oubli existants reposent généralement sur un paradigme où la génération du modèle pour un concept « cible » (à effacer) est alignée sur un concept « ancre » (par exemple, un concept nul, une superclasse ou un concept sémantiquement lié). Cet alignement est presque exclusivement réalisé en minimisant l'erreur quadratique moyenne (MSE) entre les sorties du débruiteur pour la cible et l'ancre. Théoriquement, cette minimisation de la MSE correspond à la minimisation de la divergence de Kullback-Leibler (KL) entre deux distributions gaussiennes conditionnées par les concepts respectifs. Cependant, cette approche limite le paysage d'optimisation à une seule métrique de divergence, potentiellement sous-optimale pour équilibrer l'efficacité de l'oubli avec la préservation de la fidélité générative pour les concepts non cibles.

2. Méthodologie

Les auteurs proposent f-DMU, un cadre unifié qui généralise l'objectif d'oubli de la divergence KL standard vers n'importe quelle divergence f. Le cadre est fondé sur l'observation que le problème d'oubli peut être formulé comme la minimisation de la divergence entre les distributions de probabilité du modèle original $\Phi$ (conditionné par le concept ancre $c$ ) et du modèle oublié $\hat{\Phi}$ (conditionné par le concept cible $c^*$ ) à des étapes temporelles spécifiques du processus de diffusion.

L'objectif central est défini comme suit :
$\min_{\hat{\Phi}} \mathbb{E}_{c^*, c, t} \left[ D_f \left( p_{\Phi}(x_{t-1}|x_t, c) \parallel p_{\hat{\Phi}}(x_{t-1}|x_t, c^*) \right) \right]$

Le cadre offre deux approches distinctes pour résoudre cet objectif, selon les propriétés de la divergence f choisie :

A. Fonctions de Perte en Forme Close

Pour un sous-ensemble de divergences f pour lesquelles une expression en forme close existe pour les distributions gaussiennes (spécifiquement lorsque les variances sont fixes, une pratique standard dans les DM), les auteurs dérivent des fonctions de perte spécifiques. Les cas clés incluent :

Distance de Hellinger Carrée ( $H^2$ ) : Produit une fonction de perte impliquant une décroissance exponentielle de la MSE : $J_{H^2} \propto -\exp(-\text{MSE})$ . Cela résulte en des gradients bornés qui diminuent à mesure que la MSE augmente, atténuant l'impact des valeurs aberrantes et empêchant des changements brusques du modèle.
Divergence $\chi^2$ de Pearson : Produit une fonction de perte impliquant une croissance exponentielle de la MSE : $J_{\chi^2} \propto \exp(\text{MSE})$ . Cela résulte en des gradients non bornés, croissant rapidement pour les grandes erreurs, conduisant à des mises à jour plus agressives.
Divergence de Jeffreys : Se réduit à une formulation MSE standard sous des hypothèses spécifiques.

B. Fonctions de Perte Variationnelles

Pour les divergences f ne possédant pas d'expression en forme close (par exemple, la Variation Totale, ou lorsqu'une formulation plus générale est souhaitée), les auteurs utilisent la représentation variationnelle des divergences f. Cela transforme le problème en un jeu d'optimisation min-max :
$\min_{\hat{\Phi}} \max_{T} \mathbb{E} \left[ \mathbb{E}_{p_{\Phi}}[T(\Phi)] - \mathbb{E}_{p_{\hat{\Phi}}}[f^*(T(\hat{\Phi}))] \right]$
Ici, $T$ agit comme un discriminateur (paramétré par un réseau de neurones) estimant la divergence, tandis que $\hat{\Phi}$ agit comme le générateur tentant de la minimiser. Cette approche permet au cadre d'appliquer n'importe quelle divergence f à la tâche d'oubli.

3. Analyse Théorique

L'article fournit une analyse théorique rigoureuse du cadre proposé :

Dynamique des Gradients : Les auteurs analysent les magnitudes des gradients des fonctions de perte en forme close. Ils démontrent que $H^2$ et $\chi^2$ présentent des comportements opposés par rapport à la KL/MSE standard. $H^2$ supprime les gradients pour les grandes erreurs (valeurs aberrantes), tandis que $\chi^2$ les amplifie. Ce pondération par échantillon est une propriété inhérente au choix de la divergence f, distincte des planificateurs de taux d'apprentissage standard.
Propriétés de Convergence : En utilisant la théorie des systèmes dynamiques non linéaires, les auteurs prouvent la stabilité exponentielle locale de la formulation variationnelle autour des points d'équilibre. Ils dérivent des bornes sur le taux de convergence basées sur les valeurs propres de la matrice jacobienne. Crucialement, ils montrent que le choix de la divergence f impacte la vitesse de convergence ; spécifiquement, les divergences avec de plus grandes dérivées secondes de leurs conjuguées de Fenchel à l'équilibre (par exemple, $H^2$ et Jensen-Shannon) convergent théoriquement plus vite que d'autres comme KL ou $\chi^2$ .
Recherche de Modes vs Couverture de Modes : L'article discute de la manière dont différentes divergences affectent la distribution des images générées. $H^2$ et Jensen-Shannon présentent des propriétés de « recherche de modes » « moyennes », tandis que KL et $\chi^2$ sont « couvrants de modes », attribuant potentiellement une probabilité plus élevée aux zones entre les modes.

4. Résultats Expérimentaux

Le cadre a été évalué sur des modèles Stable Diffusion (v1.4, v1.5, v2.1, XL et 3) et FLUX, visant l'effacement d'objets (par exemple, R2D2), de styles artistiques (par exemple, Van Gogh, Monet) et de nudité.

Stabilité des Gradients : La validation empirique confirme que $H$ -DMU (utilisant $H^2$ ) maintient des gradients bornés tout au long de l'entraînement, évitant la génération d'images dégénérées soudaines observée dans les méthodes basées sur la MSE lors des étapes intermédiaires de réglage fin.
Efficacité de l'Oubli vs Préservation :
- Forme Close : $H$ -DMU surpasse constamment la MSE standard dans la préservation des concepts non cibles (mesurée par la Distance Inception du Noyau, KID) tout en obtenant un effacement comparable ou meilleur des concepts cibles. À l'inverse, $\chi^2$ -DMU atteint un effacement plus fort mais souvent au détriment de la qualité générative et de la préservation du prior.
- Variationnelle : Les méthodes variationnelles (par exemple, $H_v$ -DMU) tendent à être plus « agressives », obtenant un effacement rapide en moins d'itérations mais résultant souvent en des scores KID plus élevés (qualité d'image inférieure) en raison d'estimations de divergence grossières sur de petits lots.
Robustesse : Dans le contexte de l'effacement de la nudité, $H$ -DMU a démontré une robustesse supérieure face aux prompts adverses (par exemple, Ring-A-Bell, MMA-Diffusion) par rapport aux méthodes de l'état de l'art comme CAbl, DoCo et SLD, générant significativement moins d'images NSFW sous attaque.
Effacement Multi-Concept : Le cadre a géré avec succès l'effacement séquentiel de 10 styles artistiques, $H$ -DMU montrant des compromis supérieurs entre effacement et préservation par rapport à la MSE.

5. Importance et Revendications

L'article revendique présenter le premier cadre unifié pour l'oubli dans les modèles de diffusion basé sur les divergences f. Ses contributions principales sont :

Généralisation : Dépasser l'hypothèse implicite KL/MSE vers une famille flexible de divergences, permettant aux praticiens de sélectionner l'objectif optimal en fonction des objectifs d'application spécifiques (par exemple, effacement agressif vs préservation haute fidélité).
Fondement Théorique : Fournir une analyse théorique de l'échelle des gradients et des propriétés de convergence, reliant le choix de la divergence à la stabilité et à la vitesse algorithmiques.
Utilité Pratique : Démontrer que des instances spécifiques, en particulier la distance de Hellinger carrée en forme close ( $H$ -DMU), offrent un choix par défaut supérieur pour la plupart des tâches d'oubli en équilibrant la suppression efficace des concepts avec la préservation des capacités génératives du modèle.

Les auteurs soulignent que leur cadre est agnostique au modèle (applicable aux modèles basés sur le flux également) et ne nécessite pas de réentraînement à partir de zéro, offrant une alternative computationnellement efficace et théoriquement solide aux techniques d'effacement de concepts existantes.