🤖 machine learning

Locality-Aware Continual Unlearning for Diffusion Models

Cet article propose le Locality-Aware Continual Unlearning (LACU), un cadre qui surmonte l'instabilité des méthodes d'oubli séquentiel existantes dans les modèles de diffusion en employant une sélection de cibles et un rejeu sensibles à la localité afin de minimiser les dommages collatéraux sur les concepts sémantiquement voisins, permettant ainsi un retrait de concept stable sur dix étapes séquentielles tout en préservant la performance de rétention.

Auteurs originaux : Naveen George, Naoki Murata, Yuhta Takida, Konda Reddy Mopuri, Yuki Mitsufuji

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Naveen George, Naoki Murata, Yuhta Takida, Konda Reddy Mopuri, Yuki Mitsufuji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un chef étoilé (le Modèle de Diffusion) capable de cuisiner n'importe quel plat que vous lui demandez, de « un chat sur un skateboard » à « un portrait d'un acteur célèbre ».

Maintenant, imaginez qu'au fil du temps, vous devez dire à ce chef d'arrêter de cuisiner certaines choses. Peut-être qu'une célébrité vous poursuit en justice, ou qu'un fruit spécifique devient dangereux à présenter. C'est ce qu'on appelle « l'oubli ciblé » (unlearning).

Le problème est que la plupart des méthodes actuelles sont comme une masse de démolition maladroite. Si vous dites au chef d'arrêter de faire de la « Tarte aux Pommes », il pourrait accidentellement oublier comment faire de la « Tarte aux Cerises », de la « Tarte aux Poires » ou même de la « Salade de Fruits » parce que ces recettes sont stockées dans la même partie de son cerveau. Si vous devez faire cela 10 fois de suite (oublier 10 choses différentes), le chef finit par tout oublier et ne peut plus rien cuisiner de bon.

Ce document présente une nouvelle méthode appelée LACU (Locality-Aware Continual Unlearning) qui agit comme un scalpel plutôt que comme une masse. Voici comment elle fonctionne, en utilisant des analogies simples :

Les deux grands problèmes des anciennes méthodes

Les auteurs ont découvert que les anciennes méthodes échouent pour deux raisons principales :

La carte « Taille unique » :
- Le Problème : Si vous dites au chef d'arrêter de faire des « Pommes », les anciennes méthodes forcent chaque demande de pomme à devenir une « Orange » générique. Peu importe si la demande était « Pomme sur un ordinateur portable » ou « Pomme dans une tarte », elles sont toutes forcées de devenir « Orange ».
- Le Résultat : C'est un saut mental énorme pour le chef. C'est comme essayer de transformer une voiture en bateau instantanément. Faire cela 10 fois de suite brise le cerveau du chef.
La zone de « Dommages collatéraux » :
- Le Problème : Quand vous forcez le chef à oublier la « Pomme », les concepts les plus proches de celle-ci (comme la « Poire » ou la « Pêche ») sont ceux qui sont le plus touchés. Les anciennes méthodes essaient de protéger le chef en lui faisant pratiquer des recettes aléatoires (comme « Voiture » ou « Montagne »), mais elles ignorent les recettes de « Poire » et de « Pêche » qui sont réellement en danger.
- Le Résultat : Le chef oublie les voisins avant d'oublier la cible.

La solution LACU : Une approche intelligente et locale

LACU corrige cela avec deux astuces intelligentes, toutes deux basées sur la façon dont le cerveau du chef fonctionne réellement, et non pas seulement sur la façon dont les mots apparaissent sur le papier.

1. L'astuce du « Voisin sûr le plus proche » (Sélection de cible sensible à la localité)

Au lieu de forcer chaque demande de « Pomme » à devenir une « Orange » générique, LACU demande : « Quelle est la chose la plus similaire que nous POUVONS encore faire et qui ressemble à cette demande spécifique ? »

L'Analogie : Si la demande est « Pomme sur un ordinateur portable », LACU ne la transforme pas en « Orange ». Il la transforme en « Pêche sur un ordinateur portable ».
Pourquoi ça marche : « Pêche sur un ordinateur portable » est très proche de « Pomme sur un ordinateur portable » dans l'esprit du chef. Le saut mental est minuscule. En effectuant des ajustements précis et de petite taille pour chaque demande spécifique, le cerveau du chef n'est pas secoué.

2. L'astuce de la « Protection du voisinage » (Rejeu sensible à la localité)

Lorsque le chef s'entraîne à oublier la « Pomme », LACU sait que la « Pêche » et la « Poire » sont celles qui risquent le plus d'être confondues.

L'Analogie : Au lieu de pratiquer des recettes aléatoires comme « Grille-pain » ou « Bicyclette », LACU force le chef à pratiquer la confection de « Pêches » et de « Poires » encore et encore pendant qu'il apprend à oublier la « Pomme ».
Pourquoi ça marche : Cela place un bouclier protecteur autour des voisins les plus vulnérables. C'est comme renforcer les murs d'une maison située juste à côté de l'endroit où vous creusez un trou, afin que le trou ne provoque pas l'effondrement de toute la maison.

Comment ils mesurent la « Proximité »

Le document souligne que vous ne pouvez pas simplement regarder les mots (comme utiliser un dictionnaire pour voir si « Pomme » et « Poire » sont similaires). Vous devez regarder comment le chef cuisine réellement.

L'Analogie : Deux recettes peuvent sembler similaires dans un livre, mais en cuisine, elles nécessitent des techniques totalement différentes. LACU mesure la « distance » en observant comment les mains du chef bougent lorsqu'il cuisine les deux. Si les mouvements des mains sont similaires, les concepts sont « proches ». Cela garantit que les changements sont toujours petits et sûrs.

Le Résultat

En utilisant ces deux astuces ensemble, LACU permet au chef d'oublier 10 choses différentes à la suite sans perdre sa capacité à cuisiner quoi que ce soit d'autre.

Anciennes Méthodes : Après 3 ou 4 suppressions, le chef est confus et ne peut plus bien cuisiner.
LACU : Après 10 suppressions, le chef cuisine toujours parfaitement la « Pêche », la « Poire » et la « Banane », tout en ayant réussi à oublier les articles interdits.

En résumé, LACU est une méthode qui oublie les choses de manière locale et précise, protégeant le reste des connaissances du chef contre tout dommage collatéral.

Résumé Technique : Locality-Aware Continual Unlearning pour les Modèles de Diffusion

1. Énoncé du Problème

Le déploiement des modèles de diffusion texte-image dans des scénarios réels nécessite un Oubli Continuel (Continual Unlearning - CUL) : la suppression séquentielle de concepts spécifiques (par exemple, pour des raisons de confidentialité, de droit d'auteur ou de sécurité) tout en préservant la capacité du modèle à générer tout autre contenu.

Les méthodes d'oubli existantes sont principalement conçues pour une suppression en une seule étape (one-shot). Lorsqu'elles sont appliquées de manière séquentielle, ces méthodes présentent une instabilité rapide, s'effondrant généralement après seulement 3 à 5 étapes. Les auteurs identifient trois facteurs cumulatifs responsables de cet échec :

Cibles de Cartographie Grossières : Les méthodes actuelles redirigent des prompts de suppression divers vers une ancre fixe unique (par exemple, une chaîne vide ou un concept générique). Cela force des déplacements inutilement importants dans le champ de score du modèle pour chaque prompt, causant une dégradation cumulative de la fidélité générative.
Absence de Protection Locale : L'oubli induit un « effet de ricochet » (ripple effect), où les concepts sémantiquement voisins (ceux partageant des représentations internes) subissent les dommages collatéraux les plus importants. Les stratégies de rejeu global existantes distribuent la régularisation de manière uniforme, échouant à protéger ces voisinages locaux vulnérables.
Décalage entre l'Espace Textuel et l'Espace du Modèle : Les méthodes reposant sur la similitude dans l'espace textuel (par exemple, les embeddings CLIP) ne reflètent pas précisément la manière dont le modèle de diffusion traite les prompts en interne. Des prompts proches dans l'espace CLIP peuvent induire des prédictions de bruit très différentes, menant à une sélection de cible sous-optimale qui aggrave les erreurs au fil des étapes séquentielles.

2. Méthodologie : Locality-Aware Continual Unlearning (LACU)

Les auteurs proposent LACU, un cadre qui fonde à la fois la sélection de la cible et le rejeu sur un principe unique et conscient du modèle : la Distance de Prédiction de Score (Score-Prediction Distance). Cette métrique mesure la différence de prédiction de bruit entre deux prompts sur des états latents bruités partagés, quantifiant ainsi efficacement la proximité au sein du propre paysage de débruitage du modèle.

Le cadre fonctionne comme un processus enseignant-élève à objectifs multiples à chaque étape continue $i$ , où le modèle précédent gelé $\hat{\theta}_{i-1}$ agit comme l'enseignant et le modèle mis à jour $\theta_i$ est l'élève. La perte totale est définie par :
$\mathcal{L}_{\text{total}} = \lambda_{\text{unlearn}} \mathcal{L}_{\text{unlearn}} + \lambda_{\text{retain}} \mathcal{L}_{\text{retain}} + \lambda_{\text{reg}} \mathcal{L}_{\text{reg}}$

Composants Clés :

Sélection de Cible Sensible à la Localité (Locality-Aware Target Selection) :
- Au lieu de mapper tous les prompts à oublier vers une ancre fixe, LACU génère des remplacements de candidats préservant le contexte pour chaque prompt spécifique à oublier.
- Il sélectionne le candidat présentant la distance de prédiction de score minimale par rapport au prompt original à oublier.
- Objectif : Minimiser la perturbation du champ de score appris pour chaque étape, garantissant que les mises à jour soient aussi petites et ciblées que possible.
Rejeu Sensible à la Localité (Locality-Aware Replay) :
- Le cadre identifie les concepts à conserver qui sont les plus proches du concept à oublier dans l'espace de prédiction de bruit du modèle (en utilisant la même métrique de distance de prédiction de score).
- Ces voisins les plus proches sont rejoués comme un régularisateur fonctionnel local.
- Objectif : Protéger directement le voisinage sémantique le plus vulnérable de l'effet de ricochet, plutôt que de compter sur un rejeu global qui sous-investit dans ces régions fragiles.
Mécanismes de Stabilisation :
- Distillation Enseignant-Élève : L'élève imite le comportement de l'enseignant tant sur les cibles de mapping sélectionnées que sur les voisins de rejeu locaux.
- Régularisation $\ell_2$ Légère : Un terme de pénalité ( $\|\theta_i - \hat{\theta}_{i-1}\|_2^2$ ) limite la dérive cumulative des paramètres au fil des étapes séquentielles.

3. Principales Contributions

Diagnostic de l'Instabilité Séquentielle : L'article trace l'effondrement des méthodes existantes en CUL à la cartographie grossière, l'absence de protection locale et l'insuffisance des métriques de similitude de l'espace textuel.
Métrique de Localité Consciente du Modèle : Introduction de la Distance de Prédiction de Score comme une métrique supérieure pour mesurer la proximité des concepts, remplaçant les similitudes d'embeddings textuels (comme CLIP) par des mesures directes du comportement de débruitage du modèle.
Cadre à Double Composant : Intégration de la Sélection de Cible Sensible à la Localité et du Rejeu Sensible à la Localité, couplés via la même métrique, pour minimiser simultanément l'amplitude de la mise à jour et protéger les voisins vulnérables.
Oubli Stable en 10 Étapes : Démonstration que LACU maintient des performances stables sur 10 étapes d'oubli séquentielles, un régime où la plupart des bases échouent.

4. Résultats Expérimentaux

Les auteurs ont évalué LACU sur Stable Diffusion v1.5, en oubliant séquentiellement 10 concepts divers (objets, styles artistiques et individus) à travers 5 ordonnancements aléatoires.

Performance vs Baselines :
- Rétention : LACU surpasse significativement les bases récentes (ex: ESD, UCE, AGE, DUGE) en termes de Précision de Rétention Liée (RRacc) et de Précision de Rétention Générale (GRacc). Alors que les bases agressives atteignent une haute précision d'oubli mais souffrent d'un effondrement de la rétention (RRacc/GRacc chutant près de 0 après 5–10 étapes), LACU maintient des scores de rétention élevés (ex: RRacc $\approx$ 0,72, GRacc $\approx$ 0,87 après 10 étapes).
- Efficacité de l'Oubli : LACU atteint une haute Précision d'Oubli (Uacc $\approx$ 0,90–0,99), supprimant efficacement les concepts cibles sans sacrifier la capacité à générer du contenu non lié.
Études d'Ablation :
- Choix de la Métrique : L'utilisation de la distance de prédiction de score pour la sélection offre une stabilité à long terme supérieure par rapport aux sélections basées sur CLIP ou à la sélection par ancre fixe naïve.
- Contribution des Composants : Supprimer le composant de rejeu local conduit à un effondrement de la rétention dû aux effets de ricochet cumulatifs. Supprimer la régularisation mène à une dérive des paramètres. La combinaison des deux est nécessaire pour l'équilibre observé.
Analyse Qualitative : Les comparaisons visuelles montrent que tandis que les bases dégradent la qualité des concepts conservés (par exemple, échouant à générer le "style Van Gogh" après avoir oublié "Van Gogh"), LACU préserve la qualité générative des concepts conservés tout en effaçant avec succès la cible.

5. Signification et Revendications

L'article affirme que la conception sensible à la localité est la clé de la stabilité dans l'oubli séquentiel. En traitant l'oubli comme une série de perturbations minimales et ciblées dans l'espace de représentation propre au modèle — plutôt qu'une redirection globale — le cadre prévient l'accumulation d'erreurs qui mène à l'effondrement du modèle.

Les auteurs soulignent que leur approche ne nécessite pas de réentraînement complet et est compatible avec les architectures de diffusion existantes. Cependant, ils notent des limites :

La méthode repose actuellement sur un LLM pour générer des prompts candidats, bien que la logique de sélection centrale soit agnostique au modèle.
Les concepts de style restent difficiles à oublier en raison de caractéristiques largement partagées.
Le déploiement réel pourrait nécessiter de passer à des centaines ou des milliers de suppressions séquentielles, ce qui reste un défi ouvert.
Le cadre enseignant-élève nécessite de maintenir une copie gelée du modèle, augmentant la charge mémoire et computationnelle par rapport aux approches à modèle unique.

Le code est disponible à l'adresse https://github.com/SonyResearch/LACU.