Filtering Memorization from Parameter-Space in Diffusion Models

Technische Samenvatting: Filteren van Memorisatie uit de Parameterruimte in Diffusiemodellen

Probleemstelling

Low-Rank Adaptation (LoRA) is de standaardmethode geworden voor het aanpassen van diffusiemodellen, waardoor gebruikers nieuwe stijlen of concepten kunnen injecteren via lichtgewicht parameterupdates. Er bestaat echter een aanzienlijk risico waarbij LoRAs trainingsafbeeldingen memoriseren, wat leidt tot de reproductie van auteursrechtelijk beschermde of gevoelige inhoud. Dit probleem is bijzonder acuut in open ecosystemen (bijv. Hugging Face, CivitAI) waar gebruikers getrainde LoRA-gewichten distribueren zonder de onderliggende trainingsdata vrij te geven.

Bestaande mitigatiestrategieën zijn grotendeels onbruikbaar in dit "black-box"-scenario:

• Interventies tijdens de training (bijv. datadeduplicatie, differential privacy) vereisen toegang tot de trainingspipeline en de data, die niet beschikbaar zijn voor downstream-gebruikers of hostingplatforms.
• Defensieve maatregelen tijdens de inferentie (bijv. promptoptimalisatie, anti-memorization guidance) vereisen vaak kennis van de gememoriseerde inhoud of controle over het samplingsproces, wat op platformniveau niet kan worden afgedwongen.
• Benaderingen in de parameterruimte (bijv. concept erasure) vereisen doorgaans voorafgaande kennis van de specifieke concepten of prompts die gewist moeten worden.

De kernuitdaging die dit artikel aanpakt is: Hoe kan memorisatie worden geïdentificeerd en gefilterd wanneer alleen de vrijgegeven LoRA-gewichten en het voorgetrainde backbone-model beschikbaar zijn, zonder toegang tot de trainingsdata, de trainingsprocedure of de specifieke gememoriseerde inhoud?

Methodologie: Base-Anchored Filtering (BAF)

De auteurs stellen Base-Anchored Filtering (BAF) voor, een training-vrije en data-vrije framework dat direct in de parameterruimte opereert. De methode berust op een geometrisch inzicht met betrekking tot de spectrale structuur van modelgewichten.

1. Geometrisch Inzicht
De auteurs hypothetiseren dat generaliseerbare adaptaties (bijv. een nieuwe kunststijl) uitlijnen met de dominante spectrale richtingen (principale subspace) van de voorgetrainde backbone, terwijl memorisatie zorgt voor zwak uitgelijnde, instantie-specifieke richtingen.

• Generaliseerbare Adaptatie: Bevindt zich in laagdimensionale subspaces die uitgelijnd zijn met de principale richtingen van het voorgetrainde model.
• Memorisation: Manifesteert zich als spectrale kanalen die zwak uitgelijnd zijn met de voorgetrainde backbone.

2. Anchoring Score
Om deze uitlijning te kwantificeren, decomponeert de methode de LoRA-update-matrix $\Delta W$ via Singular Value Decomposition (SVD) in spectrale kanalen. Voor elk kanaal $i$ met singuliere vectoren $u_i$ en $v_i$, wordt een anchoring score $a_i$ berekend:
$$a_i = \|P_L u_i\|_2 \cdot \|P_R v_i\|_2$$
waarbij $P_L$ en $P_R$ orthogonale projecties zijn op de top-$K$ linker en rechter principale subspaces van de voorgetrainde gewichtsmatrix $W^*$.

• Een hoge score ($a_i \approx 1$) geeft aan dat het kanaal binnen de voorgetrainde subspace ligt (generaliseerbaar).
• Een lage score ($a_i \approx 0$) geeft aan dat het kanaal orthogonaal is aan de voorgetrainde structuur (potentiële memorisatie).
• Een random-projectie baseline ($a_{null} = K^2/mn$) dient als drempelwaarde om gestructureerde uitlijning van ruis te onderscheiden.

3. Filteralgoritme
BAF past een gating-functie toe op de spectrale kanalen van de LoRA-update:

• BAF-Hard: Een binaire gate die kanalen verwijdert waar $a_i < a_{null}$.
• BAF-Soft: Een continue gate $g(a_i) = a_i^\alpha$ die kanalen met een lage uitlijning onderdrukt in plaats van ze volledig te verwijderen, waardoor een afweging kan worden gemaakt tussen onderdrukkingssterkte en generatiekwaliteit.

4. Adaptieve Subspace Selectie
Om om te gaan met heterogene spectrale verval over verschillende lagen en architecturen, wordt de dimensie $K$ van de principale subspace adaptief gekozen op basis van een energie-adaptieve regel. $K$ wordt gekozen zodanig dat de cumulatieve energie van de top-$K$ singuliere waarden van de voorgetrainde gewichten een drempelwaarde $\tau_{energy}$ overschrijdt.

Belangrijkste Bijdragen

1. Probleemformulering: De auteurs formuleren post-hoc mitigatie van memorisatie voor diffusie-LoRA's onder strikte beperkingen van niet-beschikbare data, een setting die relevant is voor huidige model-sharing ecosystemen.
2. Geometrisch Inzicht: Zij valideren de hypothese dat memorisatie geconcentreerd is in spectrale richtingen die zwak uitgelijnd zijn met de voorgetrainde principale subspace, terwijl generaliseerbare adaptaties sterk uitgelijnd zijn.
3. BAF Framework: Zij introduceren een training-vrije, data-vrije methode die selectief memorisatie-gerelateerde spectrale richtingen onderdrukt met behulp van enkel de parameterruimte-structuur.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat BAF memorisatie vermindert terwijl de generatiekwaliteit behouden blijft of zelfs verbetert, waarbij het bestaande strategieën die afhankelijk zijn van onbeschikbare informatie overtreft.

Experimentele Resultaten

De auteurs evalueerden BAF op Stable Diffusion v1.5 en SDXL met LoRA's getraind op Pokémon, CelebA-HQ en LAION-Art datasets. Memorisatie werd gesimuleerd door "canary" afbeeldingen te dupliceren tijdens de training.

• Reductie van Memorisatie: BAF-varianten (Hard en Soft) behaalden consistent de laagste SSCD (Similarity to Self-Consistent Detection) scores onder vergelijkbare methoden, wat de reproductie van trainingsafbeeldingen aanzienlijk verminderde.
• Generatiekwaliteit: In tegenstelling tot veel mitigatiestrategieën die de outputkwaliteit verslechteren, verbeterde BAF vaak de esthetische scores (AES) en CLIP-scores. De auteurs suggereren dat het verwijderen van zwak verankerde kanalen ruisgevoelige parameterrichtingen elimineert.
• Vergelijking: BAF presteerde beter dan inference-time baselines (RTA, Prompt Optimization, CFG-Reverse) en training-time baselines (Deductie, DP-LoRA) in de data-inaccessible setting. Het benaderde de prestaties van AMG (Anti-Memorization Guidance), die toegang vereist tot de originele trainingsafbeeldingen, maar deed dit zonder die data-afhankelijkheid.
• Real-World Simulatie: Op 20 echte auteursrechtelijk beschermde LoRA's gedownload van CivitAI (variërend van anime-personages en beroemdheden tot stijlen), werd BAF door menselijke beoordelaars als de meest effectieve methode beoordeeld voor het onderdrukken van karakterreproductie terwijl de visuele kwaliteit behouden bleef, waarbij het alle inference-time baselines overtrof.

Betekenis en Claims

Het artikel claimt dat de structuur van de parameterruimte alleen al sterke signalen biedt om memorisatie te onderscheiden van nuttige adaptatie. Door gebruik te maken van de geometrische relatie tussen LoRA-updates en de voorgetrainde backbone, biedt BAF een praktische oplossing voor het mitigeren van copyright- en privacyrisico's in open model-ecosystemen waar trainingsdata niet beschikbaar is.

De auteurs positioneren dit werk als een stap naar data-vrije veiligheidsmechanismen voor open ecosystemen. Ze benadrukken dat hun aanpak geen hertraining, toegang tot de originele data of kennis van de specifieke gememoriseerde inhoud vereist, wat het direct toepasbaar maakt voor zowel hostingplatforms als downstream-gebruikers die LoRA's veilig willen inzetten.