Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

Résumé Technique : Tout temps et toute fréquence ne doivent pas être oubliés dans la diffusion de l'oubli (Diffusion Unlearning)

Énoncé du Problème
L'oubli de données (data unlearning) dans les modèles de diffusion vise à supprimer l'influence d'échantillons d'entraînement spécifiques (l'ensemble à oublier ou « forget set ») d'un modèle pré-entraîné, tout en préservant l'utilité des données restantes (l'ensemble à conserver ou « retain set »). Les approches actuelles de fine-tuning, telles que l'Ascension de Gradient (GA) ou l'Optimisation de Préférence Négative (NPO), reposent généralement sur la maximisation de la perte sur l'ensemble à oublier. Cependant, ces méthodes souffrent souvent de deux problèmes critiques :

1. Oubli incomplet : Le modèle peut échouer à effacer complètement l'instance spécifique.
2. Dégradation de la qualité : Un oubli agressif entraîne souvent des générations bruitées, esthétiquement médiocres ou déformées pour l'ensemble à conserver.

Les méthodes existantes traitent généralement de manière uniforme tous les pas de temps (time steps) et toutes les composantes de fréquence de la diffusion lors du processus d'oubli. Cet article soutient qu'un tel traitement uniforme ignore la dynamique intrinsèque des modèles de diffusion, où les différentes étapes du processus inverse (du bruit vers les données) et les différentes composantes de fréquence contribuent de manière inégale à l'identité sémantique, à la mémorisation au niveau de l'instance et aux détails fins.

Méthodologie
Les auteurs proposent un cadre d'Oubli Sélectif dans le Temps et la Fréquence qui cible des régions spécifiques du processus de diffusion plutôt que d'appliquer des mises à jour uniformes.

1. Oubli Sélectif dans le Temps :

   • Analyse : L'article s'appuie sur la compréhension théorique de la dynamique de diffusion, identifiant deux points de transition critiques : le Temps de Spéciation ($t_S$) et le Temps de Collapsus ($t_C$).
     • Phase I ($t > t_S$) : Capture la sémantique grossière et l'identité de la classe.
     • Phase II ($t_C < t < t_S$) : Implique l'attraction au niveau de l'instance et la formation de détails spécifiques.
     • Phase III ($t < t_C$) : Affine les détails et les textures fines.
   • Stratégie :
     • Pour l'Oubli Inconditionnel, la méthode se concentre sur la Phase II (étapes de temps intermédiaires), où l'attraction au niveau de l'instance est la plus forte, évitant ainsi la dégradation des détails fins de la Phase III.
     • Pour l'Oubli Conditionnel (texte-vers-image), la méthode cible la Phase I ($t > t_S$), où le guidage conditionnel domine la trajectoire avant que la spéciation ne se produise.
   • Implémentation : Une fonction de pondération temporelle $P(t)$ est appliquée à la fonction de perte, attribuant une probabilité plus élevée à des intervalles spécifiques (par exemple, $[t_C, t_S]$ ou $[t_S, T]$) tout en supprimant les mises à jour dans les autres. Une méthode adaptative est également proposée pour rechercher le point de transition optimal $\tau$ (analogue à $t_S$) basé sur la magnitude du guidage.

2. Oubli Sélectif dans la Fréquence :

   • Analyse : L'analyse spectrale empirique révèle que l'oubli introduit souvent un bruit haute fréquence indésirable, dégradant la qualité des échantillons. La distribution haute fréquence de l'ensemble à conserver doit rester largement inchangée.
   • Stratégie : Un filtre passe-bas est appliqué au résidu de la perte pendant l'oubli. Le signal du gradient est projeté pour supprimer les composantes haute fréquence de l'ensemble à oublier, tandis que l'entrée du débruiteur reste l'échantillon bruité naturel.
   • Implémentation : En utilisant la Transformée de Fourier Rapide (FFT), le résidu de la perte est masqué pour exclure les fréquences au-dessus d'un rayon de coupure $r_t$. Cela garantit que le processus d'oubli ne perturbe pas les détails haute fréquence essentiels à la qualité de l'image.

3. Justification Théorique :

   • Les auteurs formulent une fonction d'utilité d'oubli-préservation $J_\beta(m)$ basée sur la divergence de Kullback-Leibler (KL) entre les mesures de chemin originales et oubliées.
   • Ils prouvent que l'oubli sélectif (mise à jour uniquement dans la région $S$) produit un écart d'utilité strictement positif par rapport à l'oubli total, à condition que les mises à jour sélectives amplifient les changements dans la région cible ($\mu \ge 1$) et suppriment les changements dans les régions non cibles ($\eta \le 1$).

4. Métrique d'Évaluation :

   • L'article introduit $SSCD_{norm}$, une métrique améliorée qui normalise la distance de perturbation. Contrairement au SSCD standard, qui peut être artificiellement bas pour des images floues ou dégradées, $SS \text{ } CD_{norm}$ tient compte de la qualité de l'image générée, garantissant qu'une faible dissimilarité n'est pas obtenue au prix d'une dégradation esthétique.

Résultats Clés
La méthode proposée a été évaluée sur CelebA-HQ (inconditionnel) et Stable Diffusion v1.4 (conditionnel texte-vers-image) à travers diverses lignes de base (GA, SISS, DPO, KTO).

• Oubli Inconditionnel : L'application de la sélection temporelle (se concentrant sur $t \in [250, 750]$) et de la sélection fréquentielle (filtre passe-bas avec $r_t=0.15$) a considérablement amélioré le $SSCD_{norm}$ et les Scores Esthétiques par rapport aux lignes de base. Par exemple, avec SISS, le score esthétique s'est amélioré de ~34,8 % à $t=250$ et de ~25,8 % à $t=500$, tout en maintenant ou en améliorant les métriques d'oubli.
• Oubli Conditionnel : Sur Stable Diffusion, l'approche sélective a atteint un taux de succès d'oubli plus élevé et une convergence plus rapide que la ligne de base SISS. Elle a réussi à supprimer les prompts mémorisés tout en maintenant des scores de qualité CLIP-IQA plus élevés.
• Attaques d'Inférence d'Appartenance (MIA) : Les méthodes existantes ont montré une vulnérabilité extrême aux MIA (erreurs relatives jusqu'à $\times 10^7$), indiquant un sur-oubli. La méthode proposée a considérablement atténué cette distorsion collatérale (réduisant les erreurs à $\times 5,76$ et $\times 53,20$), suggérant une meilleure préservation de la variété des données (data manifold).
• Généralisation : La méthode a démontré son efficacité sur différents backbones (U-Net et Diffusion Transformer) et scénarios d'oubli de concepts (par exemple, détection de la nudité).

Signification et Revendications
L'article affirme fournir des perspectives pratiques pour comprendre et améliorer l'oubli de données dans les modèles de diffusion en démontant que l'oubli n'est pas un processus uniforme. Les principales contributions sont :

1. Étude Systématique : Une analyse détaillée de la manière dont les pas de temps et les domaines spectraux contribuent différemment à la mémorisation et à l'utilité.
2. Cadre Simple : Une approche d'oubli sélectif qui est compatible avec les objectifs existants (GA, SISS, DPO, KTO) et nécessite des changements architecturaux minimaux.
3. Préservation de la Qualité : La capacité d'atteindre des taux de succès d'oubli élevés sans la sévère dégradation de la qualité typiquement associée à l'oubli par gradient.
4. Évaluation Améliorée : L'introduction de $SSCD_{norm}$ pour empêcher l'évaluation de méthodes d'oubli qui reposent sur la dégradation de l'image comme substitut de l'oubli.

Les auteurs notent modestement que bien que leur méthode identifie efficacement les régions optimales basées sur les limites théoriques existantes, elle ne fournit pas encore une méthode entièrement automatisée pour découvrir ces régions optimales pour chaque ensemble de données spécifique sans connaissance préalable ou surcharge de recherche adaptative. Néanmoins, ce travail souligne que l'oubli ciblé dans des fenêtres temporelles et fréquentielles spécifiques est crucial pour équilibrer le compromis entre la confidentialité (oubli) et l'utilité (qualité de génération).