Technische Samenvatting: TrajPrint – Verliesvrije Copyrightbescherming via Intrinsieke Modelvingerafdrukken

Probleemstelling

Diffusiemodellen zijn waardevol intellectueel eigendom geworden vanwege de substantiële computationele middelen en data die nodig zijn voor hun training. De open-source aard van modelgewichten en de proliferatie van distillatietechnieken maken deze modellen echter kwetsbaar voor ongeautoriseerde replicatie en toeëigening. Bestaande strategieën voor copyrightbescherming kampen met significante trade-offs:

• Inference Interventie: Methoden die signalen injecteren in de denoising-loop (bijv. Tree-Ring, Gaussian Shading) verstoren vaak natuurlijke diffusietrajecten, wat artefacten introduceert en de diversiteit van generatie beperkt.
• Model Fine-tuning: Benaderingen die modelparameters aanpassen om watermerken in te bedden (bijv. Stable Signature, SleeperMark) verhogen de trainingskosten en wijken af van de vooraf getrainde optimale distributie, waardoor de generatieprestaties worden verslechterd.
• Black-Box Incompatibiliteit: Veel bestaande fingerprinting-methoden vereisen fijnmazige interventie in tussenliggende denoising-stappen, waardoor ze incompatibel zijn met black-box API's waar alleen atomaire inference (input-output) toegankelijk is.

Bovendien missen huidige methoden vaak strikte statistische criteria, waardoor ze niet in staat zijn om kwantificeerbaar bewijs voor betrouwbare verificatie te leveren.

Methodologie: TrajPrint

De auteurs stellen TrajPrint voor, een volledig verliesvrij en training-vrij framework dat de copyright van een model verifieert door unieke manifold-vingerafdrukken te extraheren die gevormd worden tijdens deterministische generatie. De kerninzicht is dat het deterministische generatieve proces van een diffusiemodel een unieke hoogdimensionale manifold-mapping vormt, wat dient als een intrinsiek identiteitskenmerk.

Het framework werkt in twee hoofdfasen:

1. Fingerprint Ruisgeneratie

Het doel is om een specifieke fingerprint ruis $z^*$ te construeren die fungeert als een unieke trigger voor het doelmodel $G_\theta$.

• Watermarked Anchor: Een drager-afbeelding wordt voorzien van een discrete binaire copyright-boodschap om een "watermarked anchor" ($I_w$) te creëren.
• Trajectory Inversion: Met behulp van deterministische DDIM-inversie wordt de anchor teruggekaatst naar de oorspronkelijke latente ruis ($x_T$). Deze stap legt het intrinsieke generatieve gedrag van het model vast door het pad van het beelddomein naar het ruisdomein te traceren.
• Joint Optimization: Om discretisatiefouten door inversie te mitigeren en de specificiteit te verhogen, gebruikt een gezamenlijke optimalisatiestrategie de uiteindelijke fingerprint ruis $z^*$. Dit maakt gebruik van dual-end anchoring:
  • Perceptual Manifold Alignment (Output End): Een reconstructieverlies ($L_{rec}$) dwingt semantische consistentie af, waardoor wordt gewaarborgd dat de gegenereerde afbeelding overeenkomt met de watermarked anchor $I_w$. Dit dwingt de optimalisatie om ruis te ontdekken die aansluit bij het unieke denoising-pad van het doelmodel.
  • Latent Trajectory Regularization (Input End): Een regularisatieverlies ($L_{reg}$) beperkt de geoptimaliseerde ruis $z^*$ zodat deze binnen de lokale buurt van het traject-oorsprong $x_T$ blijft. Dit voorkomt de generatie van universele adversariële perturbaties die over verschillende modellen heen zouden kunnen transfereren.
  • Watermark Recovery: Een watermark recovery verlies ($L_w$) stuurt de optimalisatie aan om te garanderen dat de ingebedde boodschap succesvol kan worden geëxtraheerd.

De totale verliesfunctie is een gewogen som van deze doelstellingen, die exclusief wordt geoptimaliseerd op de latente input $z$ terwijl de modelparameters bevroren blijven.

2. Verificatie

In de verificatiefase bevraagt de verdediger een verdacht black-box model met de geoptimaliseerde fingerprint ruis $z^*$.

• Atomaire Inference: Het proces vereist alleen standaard input-output interactie, wat compatibel is met geïncaseleerde API's.
• Statistische Testen: De geëxtraheerde watermark boodschap wordt vergeleken met de originele. De bit nauwkeurigheid (BA) wordt berekend, en er wordt een een-steekproef t-test uitgevoerd tegen de nulhypothese (willekeurige gokken, $\mu=0.5$). Een statistisch significante p-waarde levert geloofwaardig bewijs van inbreuk.

Belangrijkste Bijdragen

1. Lossless en Training-Free Verificatie: TrajPrint extraheert intrinsieke modelvingerafdrukken zonder de modelgewichten of architectuur te wijzigen, wat zorgt voor nul degradatie van de generatiekwaliteit.
2. Black-Box Compatibiliteit: Door te vertrouwen op atomaire inference en deterministische traject-inversie, functioneert de methode in scenario's waar tussenliggende staten ontoegankelijk zijn, in tegenstelling tot eerdere fingerprinting-technieken.
3. Manifold-Specifieke Fingerprinting: De methode brengt de unieke generatieve manifold in kaart naar een specifieke fingerprint ruis via traject-retracing, waardoor een trigger-verificatie paar wordt geconstrueerd dat valse positieven op niet-doelmodellen voorkomt.
4. Statistische Rigor: Het framework introduceert een statistisch hypothese-testprotocol om kwantificeerbaar, juridisch robuust bewijs van copyrightinbreuk te leveren.

Experimentele Resultaten

Uitgebreide experimenten zijn uitgevoerd over diverse latente diffusiemodellen (Stable Diffusion v1.5, v2.1, XL, DeciDiffusion, en Pixart-$\alpha$) en diverse aanvalsscenario's.

• Specificiteit: TrajPrint bereikte een bit nauwkeurigheid (BA) van meer dan 0,96 op doelmodellen met p-waarden $< 10^{-3}$. Bij cross-model verificatie daalde de nauwkeurigheid naar ongeveer 0,55 (kans op willekeurige gok), wat een gebrek aan transferabiliteit aantoont en valse beschuldigingen effectief voorkomt. In contrast hiermee vertoonden baselines die gebruikmaken van willekeurige ruisoptimalisatie een hoge cross-model transferabiliteit (BA ~0,7), wat leidde tot valse positieven.
• Robuustheid: De methode toonde uitzonderlijke veerkracht tegen:
  • Parameter Fine-tuning: Behield een hoge BA (>0,91), zelfs na LoRA en DreamBooth fine-tuning (tot 5000 stappen).
  • Quantisatie: Presteerde robuust onder FP16 en BFloat16 precisie (BA > 0,95).
  • Pruning: Weerstond ongestructureerde magnitude pruning tot 10% sparsity (BA > 0,8).
• Ablatie Studies: Het verwijderen van de dual-end anchoring constraints resulteerde in een sterke stijging van de cross-model nauwkeurigheid (~0,7), wat de noodzaak van traject-anchoring voor specificiteit bevestigt. De methode bleef stabiel over verschillende deterministische samplers en sampling stappen (20–100) en ondersteunde watermark payloads tot 128 bits.

Betekenis en Beperkingen

Het paper stelt dat TrajPrint een praktische oplossing biedt voor copyrightverificatie in real-world omgevingen waar modeleigenaren geen toegang hebben tot interne parameters of modelgewichten kunnen wijzigen. Het vermogen om te opereren via atomaire inference maakt het uniek geschikt voor het verifiëren van modellen die zijn uitgerold als black-box API's.

Beperkingen:
De auteurs merken een specifieke beperking op: de doelomgeving moet ondersteuning bieden voor aangepaste initiële ruisinjectie (bijv. via interfaces zoals ComfyUI of Stable Diffusion WebUI). Bij gevolg is de methode mogelijk niet toepasbaar op API-scenario's die initiële ruis niet direct als inputparameter accepteren.