Bypassing Copyright Protection in Diffusion-based Customization via Two-Stage Latent Feature Optimization

Technische Samenvatting: Omzeilen van auteursrechtbescherming in diffusie-gebaseerde aanpassing via twee-fasen latente feature-optimalisatie

Probleemstelling
De snelle vooruitgang van diffusie-gebaseerde generatieve modellen, met name door aanpassingstechnieken zoals DreamBooth en Textual Inversion, heeft geleid tot aanzienlijke risico's voor intellectueel eigendom. Kwaadwillende actoren kunnen deze modellen finetunen op auteursrechtelijk beschermde afbeeldingen om visuele inhoud te vervalsen of identiteiten na te bootsen. Als reactie hierop hebben onderzoekers defensieve mechanismen ontwikkelt (bijv. AdvDM, SimAC, DisDiff) die gerichte perturbaties in invoerafbeeldingen injecteren. Deze perturbaties beogen het vermogen van het model om gepersonaliseerde concepten te leren te verstoren, waardoor ongeautoriseerde generatie wordt onderdrukt. De auteurs observeren echter dat deze defensies vertrouwen op een specifieke kwetsbaarheid: ze verstoren de stabiele semantische mapping tussen de invoerafbeelding en de latente representaties binnen Latent Diffusion Models (LDMs). Hoewel effectief tegen naïeve aanvallen, introduceren deze defensies hoogfrequente ruis en corrumperen ze de latente features, wat een kans creëert voor een gerichte omzeiling.

Methodologie: Twee-fasen Latente Feature-optimalisatie (TS-LFO)
Het artikel stelt TS-LFO voor, een aanvalsframework ontworpen om de verstoorde latente-afbeelding mapping te herstellen en state-of-the-art (SOTA) auteursrechtelijke defensies te omzeilen. De methode werkt onder een white-box dreigingsmodel waarbij de aanvaller toegang heeft tot de beschermde afbeelding ($x_{adv}$) en de architectuur van de LDM (VAE en Unet), maar niet tot de oorspronkelijke schone afbeelding ($x$) of de specifieke defensieparameters.

Het framework bestaat uit twee opeenvolgende optimalisatiefasen:

1. Latente Denoising-fase:
   Het primaire doel is om hoogfrequente adversariële perturbaties te elimineren en de semantische consistentie tussen de latente code en de invoerafbeelding te herstellen. De auteurs introduceren een gezamenlijk optimalisatiedoel:

• Latent-Image Alignment Loss ($\mathcal{L}_{align}$): Deze loss minimaliseert de discrepantie tussen de beschermde afbeelding ($x_{adv}$) en de reconstructie van de geoptimaliseerde latente feature ($z$) via de VAE-decoder. Verrassend genoeg stellen de auteurs vast dat traditionele Mean Squared Error (MSE) beter presteert dan perceptuele metrieken zoals LPIPS of SSIM in deze context, omdat geavanceerde metrieken adversariële perturbaties als legitieme features kunnen interpreteren.
• Latent Diffusion Loss ($\mathcal{L}_{DM}$): Deze loss simuleert de trainingsdynamiek van de downstream Unet. Het minimaliseert de ruisvoorspellingsfout van een bevroren, vooraf getrainde Unet bij het verwerken van de verruiste versie van de geoptimaliseerde latente feature. Door deze proxy-trainingsloss te verlagen, zorgt de aanval ervoor dat de latente feature "gemakkelijk te leren" is voor het diffusiemodel.
• Tijdstap-variërende Weging: Om deze twee losses te balanceren, gebruiken de auteurs een lineair variërende wegingsfactor ($\lambda_t$) die afhankelijk is van de diffusie-tijdstap. Dit voorkomt dat de optimalisatie tijdens verschillende stadia van het denoising-traject één loss-term boven de andere prioriteert.

2. Latente Reconstructie-fase:
   Na de denoising-fase kan de geoptimaliseerde latente feature nog steeds een gebrek aan hoogwaardige structurele details vertonen of residuele perturbaties bevatten. Deze fase past pixel-niveau beperkingen toe om de latente representatie te verfijnen:

• De latente feature wordt gedecodeerd naar de beeldruimte, afgeklemd binnen een kleine range ($\epsilon_{rec}$) rond de oorspronkelijke beschermde afbeelding om de semantische getrouwheid te bewaren, en vervolgens opnieuw gecodeerd. Deze stap herstelt laagfrequente semantische informatie en zorgt ervoor dat de uiteindelijke latente feature geschikt is voor hoogwaardige generatie zonder significant af te wijken van de broninhoud.

Belangrijkste Bijdragen

• Nieuw Aanvalsframework: Het artikel introduceert TS-LFO, een twee-fasen aanval die specifiek gericht is op het mechanisme waarmee auteursrechtelijke defensies de latent-image mappings verstoren. Het maakt gebruik van een combinatie van alignment en diffusion losses met dynamische wegting om deze mappings te herstellen.
• Mechanistische Analyse: De auteurs bieden een theoretische en empirische analyse die aantoont dat bestaande defensies werken door de latente representatie van de encoder te corrumperen en de training loss van de Unet te verhogen. TS-LFO is ontworpen om deze specifieke effecten te reverseren.
• Uitgebreide Evaluatie: De studie evalueert TS-LFO tegen meerdere SOTA-defensies (Anti-DreamBooth, AdvDM, SimAC, DisDiff, PhotoGuard) en vergelijkt de prestaties met geavanceerde aanvals-baselines (DiffPure, GrIDPure, IMPRESS) over diverse datasets (CelebA-HQ, LSUN-Cat, LSUN-Sheep).

Experimentele Resultaten
Uit uitgebreide experimenten blijkt dat TS-LFO consequent beter presteert dan bestaande auteursrechtelijke aanvallengestructuren:

• Omzeilen van Defensie: TS-LFO vermindert de effectiviteit van SOTA-defensies aanzienlijk. In Textual Inversion-experimenten herstelt de methode bijvoorbeeld de FID-scores (een maatstaf voor generatiekwaliteit) naar bijna baseline-niveaus, terwijl gedefende modellen zonder aanval een significante degradatie vertonen.
• Superieur aan Baselines: Vergeleken met DiffPure, GrIDPure en IMPRESS bereikt TS-LFO een lagere FID (betere kwaliteit), hogere CLIP image similarity en betere identiteitsconsistentie (gemeten via ISM) op gezicht-datasets.
• Generalisatie: De methode blijkt effectief over verschillende beelddistributies (gezichten, katten, schapen) en verschillende aanpassingstechnieken (DreamBooth en Textual Inversion).
• Ablatiestudies: De auteurs valideren de noodzaak van elk onderdeel, waarbij zij aantonen dat de tijdstap-variërende gewichten en de specifieke keuze van MSE voor de alignment loss cruciaal zijn voor optimale prestaties. Ze merken ook op dat hoewel TS-LFO ongeveer 6 minuten per afbeelding vereist, dit acceptabel is vergeleken met de 15–30 minuten die nodig zijn voor de werkelijke aanpassings-training.

Betekenis en Claims
Het artikel claimt dat TS-LFO een significante uitdaging vormt voor de robuustheid van huidige adversariële auteursrechtelijke beschermingsstrategieën. Door de specifieke kwetsbaarheid van de verstoring in de latente ruimte uit te buiten, demonstreren de auteurs dat huidige defensies systematisch omzeild kunnen worden om hoogwaardige ongeautoriseerde generatie te bereiken.

De auteurs positioneren dit werk niet als een aanmoediging voor auteursrechtinbreuk, maar als een noodzakelijke stresstest voor het vakgebied. Zij argumenteren dat beschermingsonderzoek vaak focust op traditionele aanvallen en de robuustheid tegen geavanceerde, gerichte aanvallen zoals TS-LFO over het hoofd ziet. Bijgevolg roept het artikel op tot de ontwikkeling van meer geavanceerde defensiemechanismen die rekening houden met feature-kwetsbaarheden in latente ruimtes en benadrukt het de noodzaak van ethische kaders om auteursrechtelijke bescherming te balanceren met open innovatie in generatieve AI. De auteurs maken hun broncode publiekelijk beschikbaar om verder onderzoek naar robuuste defensies te faciliteren.