Technische Samenvatting: Efficiënte, Robuuste en Anti-Collusie Fingerprinting van Image Diffusion Modellen

1. Probleemstelling

De snelle vooruitgang van Text-to-Image (T2I) diffusiemodellen heeft aanzienlijke risico's gecreëerd voor intellectueel eigendom (IP), met name met betrekking tot ongeautoriseerde herdistributie van modellen. Hoewel bestaande fingerprinting-methoden gebruikersspecifieke identifiers in de output van modellen inbedden om traceerbaarheid te garanderen, lijden ze aan een kritieke, voorheen onverkende kwetsbaarheid: collusie-aanvallen (samensweringsaanvallen).

In een collusie-aanval combineren meerdere kwaadwillende gebruikers die over verschillende gefingerprinte kopieën van een model beschikken, hun modelparameters (bijvoorbeeld via eenvoudige middeling) om een nieuw "gecolludeerd" model te creëren. Bestaande methoden falen in het voorkomen hiervan omdat:

1. Parameterinterpolatie: Diepe neurale netwerken vertonen vaak mode-connectiviteit, waarbij lineaire interpolatie tussen onafhankelijk getrainde modellen functionele oplossingen oplevert.
2. Zero-Cost Verwijdering: Aanvallers kunnen parameters middelen om de unieke fingerprints van individuele gebruikers effectief te wissen, terwijl de hoogwaardige beeldgeneratiecapaciteiten van het model behouden blijven.
3. Gebrek aan Proactieve Defensie: Huidig onderzoek vertrouwt op post-hoc attributie (het identificeren van colluders achteraf) in plaats van het voorkomen van de creatie van een functioneel gecolludeerd model.

2. Methodologie

Het voorgestelde framework introduceert een robuust fingerprinting-systeem voor T2I-modellen dat drie kerncomponenten integreert: een Personalized Normalization Module (PNM), een Worst-Case Optimization strategie, en een Anti-Collusion Transformation (ACT).

A. Framework Overzicht

De workflow bestaat uit drie fasen:

1. Fine-tuning: Een basis T2I-model (specifiek de VAE-decoder) wordt gefine-tuned om fingerprints in te bedden.
2. Initialisatie: Unieke gefingerprinte kopieën worden gegenereerd voor gebruikers zonder hertraining.
3. Verificatie: Fingerprints worden geëxtraheerd uit gegenereerde afbeeldingen om eigendom te verifiëren.

B. Personalized Normalization Module (PNM)

In plaats van het volledige model te wijzigen, voegt de methode een lichtgewicht PNM toe aan de decoder van de Variational Autoencoder (VAE).

• Structuur: De PNM volgt een Conv–Norm–Conv structuur.
• Mechanisme: Een fingerprint-bericht $m$ (een binaire string) wordt ingevoerd in twee encoding-netwerken ($F_\gamma$ en $F_\beta$) om schalings- ($\gamma$) en verschuivingsparameters ($\beta$) te genereren. Deze parameters moduleren de normalisatielaag binnen de PNM.
• Efficiëntie: Zodra de encoders en het basismodel zijn getraind, kunnen nieuwe gebruikerskopieën worden gemaakt door simpelweg nieuwe $\gamma$- en $\beta$-vectoren te genereren vanuit de unieke fingerprint van de gebruiker, wat de noodzaak voor hertraining elimineert.

C. Anti-Collusion Transformation (ACT)

Om collusie proactief te bestrijden, past de methode een verliesloze, functie-invariante transformatie toe op de PNM-parameters die specifiek zijn voor elke gebruiker. Deze transformatie zorgt ervoor dat hoewel het model correct functioneert voor een enkele gebruiker, het combineren van parameters van verschillende gebruikers de bruikbaarheid van het model vernietigt.
De ACT bestaat uit drie opeenvolgende operaties:

1. Channel-wise Permutation (CP): Herrangschikt de filters en normalisatieparameters op basis van een gebruikersspecifieke permutatiefunctie $\pi$.
2. Parameter Scaling (SC): Schalt convolutionele kernels en normalisatieparameters door vectoren $\alpha$ zodanig dat het product van de schalingsfactoren over de laag gelijk is aan 1, waardoor de outputfunctie behouden blijft.
3. Sign Flip (SF): Keert de tekens van specifieke parameters om (een speciaal geval van schaling waarbij de factoren $\{-1, 1\}$ zijn).

Theoretische Basis: Deze transformaties doorbreken de "mode connectivity" tussen verschillende gebruikersmodellen. Hoewel elk getransformeerd model identieke outputs produceert aan zijn ongetransformeerde tegenhanger, worden hun parameters bijna orthogonaal. Bij consequent gevolg landt lineaire interpolatie (collusie) tussen twee ACT-beschermde modellen in een gebied met een hoge loss in de parameterruimte, wat leidt tot catastrofale mislukking in beeldgeneratie.

D. Worst-Case Optimization

Om de robuustheid tegen model-niveau aanvallen (zoals fine-tuning, pruning) te verbeteren, bevat de trainingsdoelstelling een worst-case regularisatieverlies.

• Het model wordt geoptimaliseerd om de fingerprinting-loss te minimaliseren onder de aanname van de worst-case parameterperturbatie ($\delta^*$) binnen een gedefinieerde buurt.
• Dit wordt benaderd via een single-step gradient ascent op de loss, wat het model stimuleert om te convergeren naar een "vlak" minimum dat minder gevoelig is voor parameterwijzigingen.

3. Belangrijkste Bijdragen

1. Proactieve Anti-Collusie Defensie: Het artikel presenteert het eerste T2I fingerprinting-framework dat expliciet is ontworpen om gecolludeerde modellen onbruikbaar te maken. Door de integratie van ACT resulteert elke poging om modellen te mergen in een ernstige degradatie van de beeldkwaliteit (hoge FID, lage PSNR), wat de aanval effectief neutraliseert.
2. Efficiënte, Retraining-Vrije Implementatie: De PNM-architectuur stelt ontwikkelaars in staat om direct duizenden unieke, gefingerprinte modelkopieën te genereren voor duizenden gebruikers door de normalisatielagen te herparametriseren, zonder de computationele kosten van hertraining.
3. Verbeterde Robuustheid: De introductie van een worst-case optimalisatiestrategie verbetert de veerkracht tegen model-niveau aanvallen, inclus\u00a1 fine-tuning en pruning, aanzienlijk, waardoor een hoge fingerprint extractie nauwkeurigheid behouden blijft, zelfs na significante parameterperturbaties.
4. Uitgebreide Evaluatie: De studie biedt een rigoureuze evaluatie over meerdere datasets (COCO, ImageNet, MagicBrush, InstructPix2Pix) en taken (generatie en bewerking), waarmee nieuwe baselines worden vastgesteld voor beveiliging tegen collusie.

4. Experimentele Resultaten

De methode is geëvalueerd op Stable Diffusion v2 en InstructPix2Pix modellen.

• Fidelity en Kwaliteit: De voorgestelde methode behoudt een hoge beeldkwaliteit. Op de COCO-dataset is de FID-score (24.03) vergelijkbaar met state-of-the-art VAE-gebaseerde methoden (bijv. Per. Norm., Sta. Sig.) en aanzienlijk beter dan U-Net-gebaseerde watermerkmethoden. Het visuele verschil tussen gefingerprinte en niet-gefingerprinte afbeeldingen is verwaarloosbaar.
• Fingerprint Extractie Nauwkeurigheid: De methode bereikt een Bit Accuracy van >99,5% over alle datasets en taken, waarmee zij bestaande methoden overtreft.
• Robuustheid tegen Aanvallen:
  • Afbeeldingsniveau: De methode blijft robuust tegen Gaussische ruis, vervaging, cropping en JPEG-compressie, vooral wanneer een noise layer augmentatie tijdens de training wordt gebruikt.
  • Modelniveau: Onder fine-tuning aanvallen (10.000 stappen) blijft de Bit Accuracy boven de 90%, wat aanzienlijk beter is dan concurrenten die onder de 70% zakken.
• Anti-Collusie Prestaties:
  • 2-Party Collusie: Wanneer twee gebruikers hun modellen middelen, behouden bestaande methoden een hoge beeldkwaliteit (FID ~24) maar verliezen ze de geldigheid van de fingerprint (TPR daalt naar ~0,4). In tegen staat veroorzaakt de voorgestelde methode met ACT de FID te laten stijgen naar 79,51 en de PSNR drastisch te laten dalen, waardoor het gecolludeerde model onbruikbaar wordt.
  • Multi-Party Collusie: Naarmate het aantal colluders toeneemt (tot 20), behouden bestaande methoden een hoge fidelity. De voorgestelde methode veroorzaakt een continue degradatie in kwaliteit (PS%， PSNR daalt naar ~11 dB voor 10 colluders), wat de synthese van een functioneel model voorkomt.
  • Niet-lineaire Aanvallen: De methode blijft effectief tegen geavanceerde niet-lineaire collusie-strategieën (Random selection, Power mean, Max-absolute-value), waar alle geteste strategieën falen om zowel beeldkwaliteit als fingerprint integriteit te behouden.

5. Betekenis en Claims

Het artikel beweert een fundamentele kloof in de beveiliging van generatieve modellen aan te pakken: de kwetsbaarheid voor collusie. De auteurs stellen dat terwijl traditionele media fingerprinting vertrouwt op traitor-tracing codes om aanvallers te identificeren na een inbreuk, generatieve model fingerprinting een proactieve aanpak vereist.

De betekenis van dit werk ligt in de verschuiving van het paradigma van attributie naar afschrikking. Door ervoor te zorgen dat de handeling van collusie zelf de bruikbaarheid van het model vernietigt, voorkomt de methode effectief ongeautoriseerde herdistributie. De auteurs benadrukken dat dit wordt bereikt zonder de efficiëntie van modeldistributie (geen hertraining) of de kwaliteit van de gegenereerde content voor legitieme gebruikers in gevaar te brengen.

Het werk concludeert dat de combinatie van PNM-gebaseerde embedding, worst-case optimalisatie en ACT een robuuste, schaalbare oplossing biedt voor het beschermen van het intellectueel eigendom van T2I-modellen in commerciële en gelicentieerde omgevingen.