GoodDiffusion: Proactive Copyright Protection for Diffusion Bridge Models via Learnable Sample-specific Signatures

Technische Samenvatting van GoodDiffusion

Probleemstelling
Het artikel behandelt de kritieke uitdaging van het ontwikkelen van een proactief auteursrechtbeschermingsmechanisme (CP) voor diffusion bridge-modellen (DBM's), specifiek voor Image-to-Image (I2I) taken. Bestaande verdedigingen zijn grotende-ende post-hoc (bijv. watermerken en fingerprinting), die pas bewijs van ongeautoriseerd gebruik leveren nadat de generatie heeft plaatsgevonden, of degradatie-gebaseerde strategieën (bijv. PCDiff), die de outputkwaliteit verminderen maar ongeautoriseerde generatie niet volledig kunnen voorkomen. De auteurs stellen dat deze methoden onvoldoende zijn voor de praktijk, waar ongeautoriseerde afgeleiden zich kunnen verspreiden voordat detectie plaatsvindt. Het kernprobleem is het ontwerpen van een mechanisme dat ongeautoriseerde generatie op modelleniveau volledig voorkomt, terwijl de outputkwaliteit voor geautoriseerde gebruikers hoog blijft, zelfs in een white-box scenario waarbij een tegenstander volledige toegang heeft tot de modelparameters en de architectuur.

Methodologie: GoodDiffusion
Het voorgestelde framework, GoodDiffusion, is geïnspireerd door backdoor-mechanismen, maar keert hun doelstelling om: in plaats van een foutieve output te forceren met een trigger, dwingt het een hoogwaardige output af alleen wanneer een geldige handtekening aanwezig is.

1. Kernmechanisme (Backdoor voor het Goede):
   De methode traint de DBM om twee verschillende gedragingen te vertonen op basis van de input:

   • Geautoriseerd traject: Als de input een geldige handtekening bevat, volgt het model een diffusion bridge om hoogwaardige doelafbeeldingen te genereren.
   • Ongeautoriseerd traject: Als de input "schoon" is (zonder geldige handtekening), wordt het model gestuurd om een vooraf gedefinieerde waarschuwingsafbeelding te genereren (bijv. een afbeelding met waarschuwingstekst), wat ongeautoriseerd gebruik effectief blokkeert.

2. Naïeve Implementatie (Statische Handtekeningen):
   Aanvankelijk onderzoeken de auteurs een naïeve benadering met behulp van een vast perturbatiepatroon (statische handtekening $k$) die in de input wordt geïnjecteerd. Het model wordt getraind op een mix van geautoriseerde inputs ($x_1 + k$) en ongeautoriseerde inputs ($x_1$) die worden gemapt naar een waarschuwingstarget.

   • Kwetsbaarheid: Het artikel toont theoretisch aan (Theorema 4.1) dat statische handtekeningen fundamenteel fragiel zijn in white-box scenario's. Een tegenstander met toegang tot het model kan efficiënt een surrogaat-handtekening ($N^*$) terugwinnen via gradiëntgebaseerde optimalisatie die het effect van de oorspronkelijke handtekening nabootst, waardoor de bescherming wordt omzeild.

3. Voorgestelde Oplossing (Learnable Signature Network - LSN):
   Om de kwetsbaarheid van statische handtekeningen aan te pakken, introduceert GoodDiffusion steekproefspecifieke handtekeningen.

   • Architectuur: Een Learnable Signature Network (LSN), aangeduid als $g_\phi(\cdot)$, wordt getraind om een unieke handtekening $k(x_1)$ te genereren die geconditioneerd is op elke specifieke input $x_1$.
   • Injectie: De geautoriseerde input wordt gevormd als $\tilde{x}_1 = \gamma \cdot x_1 + (1-\gamma) \cdot k(x_1)$, waarbij de originele semantische informatie wordt vermengd met de dynamische handtekening.
   • Beveiligingslogica: In tegen tegenstelling tot statische handtekeningen, die een vaste vectorverschuiving in de pixelruimte vertegenwoordigen, creëren steekproefspecifieke handtekeningen een niet-lineair vervormd beeld-manifold. Dit ontwerp doorbreekt de "universaliteit" van de handtekening; een surrogaat-handtekening die voor één input is teruggewonnen, kan niet worden overgedragen naar een andere input. Hierdoor faalt de handtekening er zelfs als een tegenstander een handtekening voor een specifiek monster terugwint, in het voorkomen van de bescherming van andere inputs. Dit voorkomt de omzeiling van het beschermingsmechanisme.

Belangrijkste Bijdragen

• Proactieve Controle op Modelleniveau: GoodDiffusion wordt gepresenteerd als een eerste stap naar het verschuiven van auteursrechtbescherming van post-hoc outputanalyse naar geïnternaliseerde preventie op modelleniveau. Het handhaaft een "No Ticket, No Ride"-beleid waarbij ongeautoriseerde gebruikers slechts een waarschuwingsafbeelding ontvangen.
• Theoretisch Inzicht in Statische Handtekeningen: Het artikel biedt een theoretisch bewijs dat naïeve ontwerpen van statische handtekeningen kwetsbaar zijn voor gradiëntgebaseerde surrogaat-reconstructie in white-box omgevingen, wat de noodzaak van dynamische, input-afhankelijke ontwerpen benadrukt.
• Learnable Signature Network (LSN): De introductie van de LSN om input-afhankelijke handtekeningen te genereren, wat de overdraagbaarheid van surrogaat-handtekeningen effectief vermindert en de beveiliging tegen white-box tegenstanders versterkt.
• Uitgebreide Evaluatie: Uitgebreide experimenten op CelebA en ImageNet voor drie I2I-taken (Super-Resolutie, Inpainting, Deblurring) met diverse DBM's (DDBM, I2SB, DBIM).

Experimentele Resultaten

• Effectiviteit van de Bescherming: GoodDiffusion bereikt een Abuse Rate (AR) van bijna 0% (bijv. < 0,06% op CelebA) voor ongeautoriseerde inputs, wat betekent dat het model er succesvol in slaagt om geen hoogwaardige doelafbeeldingen te genereren zonder geldige handtekeningen. In contrast hiermee schiet de AR naar ~98% wanneer een tegenstander een teruggewonnen surrogaat-handtekening gebruikt op het statische ontwerp, wat de kwetsbaarheid van statische handtekeningen bevestigt.
• Generatiekwaliteit: Voor geautoriseerde gebruikers (met een geldige handtekening) behoudt het model een bevredigende generatiekwaliteit. Hoewel er een lichte prestatiedaling is vergeleken met ongebeschermde baselines (gemeten via FID, PSNR en SSIM), blijven de resultaten competitief. Zo overtreft de SSIM bij Super-Resolutie op CelebA met DDBM-VP zelfs licht de baseline.
• Foutpercentage: Het Error Rate (ER)—het deel van de geautoriseerde verzoeken dat onterecht is geblokkeerd—wordt zeer laag gehouden (bijv. 0,06% tot 0,25%), wat wijst op een hoge betrouwbaarheid voor legitieme gebruikers.
• Validatie van Beveiliging: Experimenten die white-box aanvallen simuleren, laten zien dat hoewel statische handtekeningen gemakkelijk worden omzeild door teruggewonnen surrogaat-handtekeningen, het ontwerp met steekproefspecifieke handtekeningen resulteert in een slechte generatiekwaliteit (hoge FID, lage PSNR), zelfs wanneer een tegenstander probeert een surrogaat te optimaliseren, wat de afwezigheid van een universele surrogaat bevestigt.

Betekenis en Claims
Het artikel claimt dat GoodDiffusion een praktische, proactieve oplossing biedt voor modeldiefstal die bestaande softwarematige beschermingen (zoals authenticatie) complementeert. Door de modelimplementatie te scheiden van de handtekeningservice (die door de eigenaar wordt beheerd), zorgt de methode ervoor dat zelfs als een model wordt gestolen en de dief volledige white-box toegang heeft, hij het niet kan gebruiken voor hoogwaardige generatie zonder de dynamische handtekeningen. De auteurs positioneren dit werk als een belangrijke stap voorwaarts in het beveiligen van diffusion-modellen als waardevolle intellectuele eigendommen, waarbij de focus verschuift van passieve detectie naar actieve preventie van ongeautoriseerde inferentie. De code is beschikbaar gesteld om verder onderzoek op dit gebied te faciliteren.