Filtering Memorization from Parameter-Space in Diffusion Models

Résumé Technique : Filtrage de la Mémorisation dans l'Espace des Paramètres des Modèles de Diffusion

Énoncé du Problème

L'adaptation de faible rang (LoRA - Low-Rank Adaptation) est devenue le mécanisme standard pour la personnalisation des modèles de diffusion, permettant aux utilisateurs d'injecter de nouveaux styles ou concepts via des mises à jour de paramètres légères. Cependant, un risque significatif existe où les LoRA mémorisent les images d'entraînement, conduisant à la reproduction de contenus protégés par le droit d'auteur ou sensibles. Ce problème est particulièrement aigu dans les écosystèmes ouverts (ex. : Hugging Face, CivitAI) où les utilisateurs distribuent des poids LoRA entraînés sans publier les données d'entraînement sous-jacentes.

Les stratégies de mitigation existantes sont largement inapplicables dans ce scénario de « boîte noire » :

• Les interventions au moment de l'entraînement (ex. : déduplication des données, confidentialité différentielle) nécessitent un accès au pipeline d'entraînement et aux données, ce qui est indisponible pour les utilisateurs en aval ou les plateformes d'hébergement.
• Les défenses au moment de l'inférence (ex. : optimisation de prompt, guidage anti-mémorisation) nécessitent souvent la connaissance du contenu mémorisé ou le contrôle du processus d'échantillonnage, ce qui ne peut être imposé au niveau de la plateforme.
• Les approches dans l'espace des paramètres (ex. : effacement de concept) nécessitent généralement une connaissance préalable des concepts ou des prompts spécifiques à effacer.

Le défi central abordé par cet article est : Comment la mémorisation peut-elle être identifiée et filtrée lorsque seuls les poids LoRA publiés et le modèle de base pré-entraîné sont disponibles, sans accès aux données d'entraînement, à la procédure d'entraînement, ni au contenu spécifique mémorisé ?

Méthodologie : Base-Anchored Filtering (BAF)

Les auteurs proposent le Base-Anchored Filtering (BAF), un cadre de travail sans entraînement et sans données (training-free, data-free) qui opère directement dans l'espace des paramètres. La méthode repose sur une intuition géométrique concernant la structure spectrale des poids du modèle.

1. Intuition Géométrique
Les auteurs émettent l'hypothèse que les adaptations généralisables (ex. : un nouveau style artistique) s'alignent sur les directions spectrales dominantes (sous-espace principal) du modèle de base pré-entraîné, tandis que la mémorisation introduit des directions spécifiques à l'instance et faiblement alignées.

• Adaptation Généralisable : Réside dans des sous-espaces de faible dimension alignés avec les directions principales du modèle pré-entraîné.
• Mémorisation : Se manifeste sous forme de canaux spectraux faiblement alignés avec le modèle de base pré-entraîné.

2. Score d'Ancrage (Anchoring Score)
Pour quantifier cet alignement, la méthode décompose la matrice de mise à jour LoRA $\Delta W$ via la décomposition en valeurs singulières (SVD) en canaux spectraux. Pour chaque canal $i$ avec les vecteurs singuliers $u_i$ et $v_i$, un score d'ancrage $a_i$ est calculé :
$$a_i = \|P_L u_i\|_2 \cdot \|P_R v_i\|_2$$
où $P_L$ et $P_R$ sont des projections orthogonales sur les $K$ premiers sous-espaces principaux gauche et droit de la matrice de poids pré-entraînée $W^*$.

• Un score élevé ($a_i \approx 1$) indique que le canal se situe dans le sous-espace pré-entraîné (généralisable).
• Un score faible ($a_i \approx 0$) indique que le canal est orthogonal à la structure pré-entraînée (mémorisation potentielle).
• Une ligne de base de projection aléatoire ($a_{null} = K^2/mn$) sert de seuil pour distinguer l'alignement structuré du bruit.

3. Algorithme de Filtrage
BAF applique une fonction de porte aux canaux spectraux de la mise à jour LoRA :

• BAF-Hard : Une porte binaire qui supprime les canaux où $a_i < a_{null}$.
• BAF-Soft : Une porte continue $g(a_i) = a_i^\alpha$ qui atténue les canaux à faible alignement plutôt que de les supprimer entièrement, permettant un compromis entre la force de suppression et la qualité de génération.

4. Sélection de Sous-espace Adaptative
Pour gérer l'hétérogénéité de la décroissance spectrale à travers différents niveaux et architectures, la dimension $K$ du sous-espace principal est sélectionnée de manière adaptative basée sur une règle d'énergie adaptative. $K$ est choisi de telle sorte que l'énergie cumulée des $K$ premières valeurs singulières des poids pré-entraînés dépasse un seuil $\tau_{energy}$.

Contributions Clés

1. Formulation du Problème : Les auteurs formulent une atténuation de la mémorisation post-hoc pour les LoRA de diffusion sous des contraintes strictes d'inaccessibilité des données, un contexte pertinent pour les écosystèmes de partage de modèles actuels.
2. Intuition Géométrique : Ils valident l'hypothèse selon laquelle la mémorisation est concentrée dans les directions spectrales faiblement alignées avec le sous-espace principal pré-entraîné, tandis que les adaptations généralisables sont fortement alignées.
3. Cadre BAF : Ils introduisent une méthode sans entraînement et sans données qui supprime sélectivement les directions spectrales liées à la mémorisation en utilisant uniquement la structure de l'espace des paramètres.
4. Validation Empirique : Des expériences approfondies démontrent que BAF réduit la mémorisation tout en préservant ou en améliorant la qualité de génération, surpassant les stratégies existantes qui reposent sur des informations indisponibles.

Résultats Expérimentaux

Les auteurs ont évalué BAF sur Stable Diffusion v1.5 et SDXL en utilisant des LoRA entraînés sur les jeux de données Pokémon, CelebA-HQ et LAION-Art. La mémorisation a été simulée en dupliquant des images « canary » pendant l'entraînement.

• Réduction de la Mémorisation : Les variantes de BAF (Hard et Soft) ont systématiquement obtenu les scores SSCD (Similarity to Self-Consistent Detection) les plus bas parmi les méthodes comparables, réduisant considérablement la reproduction des images d'entraînement.
• Qualité de Génération : Contrairement à de nombreuses stratégies de mitigation qui dégradent la qualité de sortie, BAF améliore souvent les scores esthétiques (AES) et les scores CLIP. Les auteurs suggèrent que la suppression des canaux faiblement ancrés élimine les directions de paramètres bruyantes.
• Comparaison : BAF a surpassé les lignes de base d'inférence (RTA, Optimisation de Prompt, CFG-Reverse) et les lignes de base d'entraînement (Dédoublonnage, DP-LoRA) dans le contexte d'inaccessibilité des données. Il s'est approché des performances de AMG (Anti-Memorization Guidance), qui nécessite l'accès aux images d'entraînement, mais sans cette dépendance aux données.
• Simulation Réelle : Sur 20 LoRA réels protégés par le droit d'auteur téléchargés sur CivitAI (couvrant des personnages d'anime, des célébrités et des styles), BAF a été jugé par des évaluateurs humains comme la méthode la plus efficace pour supprimer la reproduction de personnages tout en maintenant la qualité visuelle, surpassant toutes les lignes de base d'inférence.

Signification et Revendications

L'article affirme que la structure de l'espace des paramètres seule fournit des signaux forts pour distinguer la mémorisation de l'adaptation utile. En exploitant la relation géométrique entre les mises à jour LoRA et le modèle de base pré-entraîné, BAF offre une solution pratique pour atténuer les risques liés au droit d'auteur et à la confidentialité dans les écosystèmes de modèles ouverts où les données d'entraînement sont indisponibles.

Les auteurs positionnent ce travail comme une étape vers des mécanismes de sécurité sans données pour les écosystèmes ouverts. Ils soulignent que leur approche ne nécessite ni réentraînement, ni accès aux données originales, ni connaissance du contenu spécifique mémorisé, ce qui la rend directement applicable tant aux plateformes d'hébergement qu'aux utilisateurs en aval souhaitant déployer des LoRA en toute sécurité.