Résumé Technique : TILDE (TILt-based Distributional Erasure for Concept Unlearning)

Énoncé du Problème

L'oubli de concepts dans les modèles de diffusion texte-image est essentiel pour répondre aux préoccupations liées à la confidentialité, au droit d'auteur et à la sécurité, nécessissant que les modèles suppriment des concepts indésirables spécifiques (par exemple, des artistes, des personnages ou des objets spécifiques) après l'entraînement. Cependant, les méthodes existantes font face à un compromis critique : un oubli efficace entraîne souvent un « échec de rétention », où le modèle se dégrade lors de la génération de prompts bénins, sémantiquement liés ou généraux.

Les approches actuelles reposent généralement sur :

• La suppression directe : Pénaliser les scores de concepts, ce qui endommage souvent des concepts bénins adjacents (dommages collatéraux).
• L'édition basée sur des ancres : Mapper le concept à oublier vers un concept cible, ce qui introduit de l'instabilité et des biais, en particulier lors de demandes de suppression séquentielles.
• L'optimisation basée sur des récompenses : Maximiser une récompense d'oubli scalaire, ce qui provoque souvent un effondrement de la diversité en concentrant la génération sur un ensemble étroit de sorties sûres.

Le problème fondamental est que ces méthodes ne définissent pas explicitement la distribution post-oubli. Par conséquent, la rétention est traitée comme une conséquence implicite de la règle de mise à jour plutôt que comme un objectif contrôlé, conduisant à une fidélité distributionnelle sous-optimale par rapport à un modèle hypothétique « de rétention seule » entraîné à partir de zéro sans les données indésirables.

Méthodologie : TILDE

Les auteurs proposent TILDE (TILt-based Distributional Erasure), qui reformule l'oubli de concepts comme un problème d'alignement distributionnel contraint. Au lieu d'une suppression locale ou d'un remplacement d'ancre, TILDE cherche la distribution conditionnelle qui minimise l'écart avec le modèle préentraîné tout en satisfaisant une contrainte d'oubli.

1. Formulation Théorique

La cible est définie comme la solution d'une projection de Kullback-Leibler (KL) contrainte :
$$p^*_C = \arg \min_{p} \mathbb{E}_{y \sim \pi} [KL(p(\cdot | y) \parallel p_{pre}(\cdot | y))]$$
Sous réserve de :
$$\mathbb{E}_{y \sim \pi, x \sim p(\cdot|y)} [E_C(x)] \le \delta_C$$

Où :

• $p_{pre}$ est la distribution conditionnelle préentraînée.
• $E_C(x)$ est une « énergie d'oubli » quantifiant la présence du concept $C$ dans l'image $x$.
• La solution prend la forme d'une distribution de Gibbs par inclinaison d'énergie (energy-tilted Gibbs distribution) :
  $$p^*_C(x | y) \propto p_{pre}(x | y) \exp(-\beta E_C(x))$$

Cette formulation garantit que les images exprimant le concept sont pondérées à la baisse, tandis que les images bénignes préservent leurs probabilités préentraînées relatives (sans ancre).

2. Substitut Pratique : Énergie CLIP avec Seuil

Pour instancier l'énergie abstraite $E_C$, TILDE utilise un substitut basé sur CLIP avec seuillage :

• Sondes de concepts : Un ensemble de descripteurs textuels $Q_C$ (par exemple, « Pikachu », « une photo de Pikachu ») est utilisé pour calculer le score de similarité CLIP moyen $s_C(x)$.
• Seuillage : Une énergie d'oubli $eE_C(x)$ est définie de telle sorte qu'elle est nulle si $s_C(x) \le \tau$ (région bénigne) et augmente exponentiellement si $s_C(x) > \tau$.
• Signification : Le seuil $\tau$ crée une région « sans pénalité », empêissant les gradients d'affecter les images bénines ayant une faible similarité de concept, préservant ainsi la rétention locale.

3. Optimisation via $\nabla$-GFlowNet Résiduel

Pour réaliser cette distribution inclinée dans un modèle de diffusion, TILDE emploie l'entraînement par $\nabla$-GFlowNet résiduel :

• Objectif : Apprendre la correction de score requise pour transformer l'échantillonneur préentraîné en la cible d'énergie inclinée.
• Mécanisme : Au lieu d'entraîner un échantillonneur complet à partir de zéro, le modèle apprend un score de continuation résiduel $h_\phi$ qui ajuste la trajectoire de débruitage.
• Fonction de perte : L'entraînement minimise une perte directe et inverse ($L_{fwd}, L_{rev}$) pour imposer une cohérence locale entre le débruiteur adapté et le débruiteur préentraîné, guidée par l'énergie d'oubli terminale.
• Implémentation : Les mises à jour sont restreintes à des adaptateurs LoRA sur les couches d'attention, assurant l'efficacité des paramètres et un biais de mise à jour minimal.

Contributions Clés

1. Formulation Distributionnelle : L'article formule l'oubli de concepts comme un problème d'alignement distributionnel contraint, dérivant une cible de Gibbs explicite, sans ancre et à déviation minimale.
2. Algorithme TILDE : Il introduit une instanciation pratique utilisant l'énergie CLIP avec seuillage et l'entraînement $\nabla$-GFlowNet résiduel dans l'espace latent de diffusion.
3. Validation Empirique : La méthode est évaluée sur des objets, des styles artistiques et des personnages, démontrant des améliorations de l'efficacité de l'oubli tout en maintenant une rétention et une fidélité distributionnelle plus élevées par rapport aux bases de référence précédentes.

Résultats Expérimentaux

Les auteurs ont évalué TILDE sur Stable Diffusion v1.5 sur environ 60 concepts (objets, personnages, styles, nudité).

• Performance : TILDE atteint un oubli quasi complet (par exemple, 0,99 de précision d'oubli pour les personnages) tout en surpassant de manière significative les bases de référence en Rétention Liée (préservation des concepts sémantiquement adjacents) et en Rétention Générale.
• Comparaison :
  • Érasement Dur (ex: MACE) : Atteint un oubli élevé mais détruit la rétention (la Rétention Liée chute à ~0,17).
  • Suppression Douce (ex: ESD) : Préserve la rétention mais échoue souvent à atteindre un oubli suffisant.
  • Basé sur l'Ancre (ex: CA, UCE) : Améliore la qualité mais repose sur des ensembles de rétention explicites et laisse encore des traces résiduelles du concept.
  • TILDE : Se place sur la frontière de Pareto, atteignant un oubli élevé sans nécessiter de supervision de rétention explicite ou de concepts ancres.
• Études d'Ablation :
  • Le retrait de la forme $\nabla$ (utilisation de cibles de flux absolues) provoque l'effondrement des performances d'oubli.
  • Le retrait de la composante résiduelle force le champ de score complet à absorber la mise à jour, dégradant la rétention générale.
  • Le retrait du seuil d'énergie provoque un effondrement catastrophique de la rétention, confirmant la nécessité de la région « sans pénalité ».
• Métriques Distributionnelles : TILDE présente des scores FADE (Distance d'Alignement Fonctionnel) et FID plus faibles par rapport aux bases de référence, indiquant un meilleur alignement avec la distribution idéale de « rétention seule ».

Signification et Revendications

L'article affirme que TILDE résout le « échec de rétention » inhérent aux méthodes d'oubli actuelles en définissant explicitement la distribution post-oubli. En formulant l'oubli comme un alignement distributionnel à déviation minimale, TILDE évite les pièges de :

• Le dommage collatéral causé par la suppression directe.
• L'effondrement de la diversité causé par la maximisation de la récompense.
• L'instabilité causée par les mappages d'ancres fixes.

Les auteurs soutiennent que TILDE représente la « modification minimale naturelle » d'un modèle préentraîné satisfaisant les contraintes d'oubli. L'utilisation de l'énergie avec seuillage garantit que les concepts bénins ne sont pas pénalisés, tandis que le cadre $\nabla$-GFlowNet résiduel fournit un mécanisme efficace pour réaliser cette cible distributionnelle dans des espaces latents de haute dimension. Ce travail suggère que la recherche future sur l'oubli devrait prioriser la définition de la distribution cible avant de sélectionner les règles de mise à jour.