🤖 machine learning

Watermark Forensics for Generative Models: An Information-Theoretic Perspective

Dit artikel vestigt een fundamenteel informatietheoretisch kader voor watermerken in generatieve modellen, waarbij wordt bewezen dat statistisch distortievrije multi-user attributie en payload-extractie steekproeflengtes vereisen die proportioneel zijn aan de entropie van het geheim gedeeld door de entropierate van de bron, terwijl inherente afruilmechanismen tussen detectie, attributie en lokalisatie worden onthuld.

Oorspronkelijke auteurs: Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu

Gepubliceerd 2026-07-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaoyu Li, Zheng Gao, Xiaoyan Feng, Jiaojiao Jiang, Yulei Sui, Jiankun Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische fontein hebt die verhalen, plaatjes of liedjes uitspuugt. En stel je nu voor dat de eigenaar van de fontein wil weten: "Heeft een mens dit geschreven, of een machine?" Nog beter: "Welke specifieke mens heeft de machine gevraagd om dit te schrijven?" en "Kunnen we het verborgen geheime bericht vinden dat de mens erin heeft verstopt?"

Dit artikel behandelt deze vragen als een forensische ladder. Je kunt de ladder trede voor trede beklimmen, maar hier komt de twist: elke stap omhoog kost meer "tokens" (de kleine bouwstenen van tekst of afbeeldingen). Hoe hoger je wilt klimmen, hoe langer het verhaal moet zijn.

Het Magische Grootboek: Het "Informatieprofiel"

De auteurs ontdekten dat al deze forensische vragen eigenlijk gewoon verschillende manieren zijn om één enkele, onzichtbare kaart te lezen, genaamd het Informatieprofiel.

Denk aan het geheim (zoals een gebruikersnaam of een verborgen bericht) als een zware rugzak. Het "Informatieprofiel" is een kaart die precies laat zien waar die rugzak in het verhaal is geplaatst.

De Massa: Hoeveel van de rugzak is er? (Dit betaalt voor Attributie en Extractie).
De Vorm: Waar zit de rugzak? Is hij verspreid over het hele verhaal, of verborgen op slechts een paar plekken? (Dit betaalt voor Lokalisatie).

Het artikel stelt dat je de wiskunde niet kunt bedriegen. De hoeveelheid informatie die de machine op het moment van creatie daadwerkelijk in het verhaal legt, is de enige valuta die je hebt. Je kunt niet meer uitgeven dan je hebt gestort.

De Ladder van Vragen

Trede 0: Detectie (Is het AI?)

De Vraag: "Is dit verhaal door een machine gemaakt?"
De Kosten: Dit is de goedkoopste trede. Het kost slechts een heel klein beetje "vervorming" (het verhaal iets anders maken dan een natuurlijk verhaal).
De Catch: Alleen omdat je kunt detecteren dat het AI is, betekent niet dat je weet wie het gemaakt heeft. Het artikel bewijst dat er een "blind spot" venster is: een verhaal kan luid genoeg zijn om te schreeuwen "Ik ben AI!", maar nog steeds te kort om te fluisteren "Ik ben gemaakt door Gebruiker #42."

Trede 1: Attributie (Wie heeft het gemaakt?)

De Vraag: "Welke van de $N$ gebruikers heeft dit gegenereerd?"
De Kosten: Dit wordt snel duur. Om één gebruiker te identificeren uit een menigte van $N$ , moet het verhaal ongeveer $\log N$ tokens lang zijn.
De Verrassing: Het artikel vond een "valstrik" in hoe mensen normaal gesproken tellen. Als je alleen zoekt naar sleutels die perfect overeenkomen met de tekst, heb je misschien 1,6 keer meer tokens nodig dan nodig is (specifiek de ratio van de entropierate van de bron $h$ tot de Rényi-2 rate $r_2$ ). De auteurs laten zien dat een slimmere manier van tellen je die extra 60% aan kosten bespaart.

Trede 2: Extractie (Wat is het geheim?)

De Vraag: "Wat is het verborgen bericht?"
De Kosten: Vergelijkbaar met attributie. Als je een bericht van $\ell$ bits wilt verbergen, heb je een verhaal nodig dat lang genoeg is om dat gewicht te dragen.

Trede 3: Lokalisatie (Waar is de markering?)

De Vraag: "Welk specifiek deel van het verhaal bevat het geheim?"
De Kosten: Dit is het moeilijkste deel. Het artikel bewijst een strikte regel: Je kunt geen minuscule, verborgen markering hebben die bij het bijsnijden (cropping) overleeft.
De Analogie: Stel je voor dat je probeert een geheim te verbergen in een enkel korreltje zand op een strand. Als iemand een stuk van het strand wegneemt (bijsnijdt), kunnen ze jouw korrel meenemen en de rest achterlaten. Om elke inkeping te overleven, moet je geheim over het hele strand verspreid zijn. Als je een kleine voetafdruk én een fijne resolutie wilt hebben, kun je dat niet tegelijkertijd hebben. Als je de plek precies wilt kunnen aanwijzen, moet de markering overal zijn.

De Twee Soorten Watermerken

Het artikel verdeelt watermerken in twee kampen, die fungeren als twee verschillende manieren om die rugzak te dragen:

Het "Biasing" Watermerk (De Dunne Verspreiding):
- Hoe het werkt: Het fluistert een klein geheim in elke enkele token van het verhaal. Het is subtiel overal.
- De Kosten: Omdat het geheim zo dun is, heb je een zeer lang verhaal nodig om het duidelijk genoeg te horen om de gebruiker te identificeren. De kosten zijn gekoppeld aan hoeveel je de tekst mag vervormen.
- Real-world voorbeelden: De meeste huidige tekstwatermerken (zoals de "green-list" methode) zijn als deze. Ze zijn overal, maar hebben lange teksten nodig voor attributie.
Het "Embedding" Watermerk (De Luide Stempel):
- Hoe het werkt: Het roept het geheim hardop in slechts een paar specifieke plekken (zoals de eerste paar woorden).
- De Kosten: Dit is goedkoop! Je kunt de gebruiker identificeren met een zeer korte tekst omdat het geheim luid en duidelijk is.
- De Catch: Het is fragiel. Als iemand de tekst bewerkt of bijsnijdt, is het geheim weg.
- Real-world voorbeelden: Het artikel vond dat bijna geen enkel echt watermerk deze "kleine voetafdruk" truc effectief gebruikt. De meeste "embedding" watermerken (zoals die voor afbeeldingen) verspreiden het geheim eigenlijk over de hele afbeelding om bewerking te overleven, wat ze in feite "biasing" watermerken maakt.

Wat het Artikel Uitsluit

De "Magic Bullet": Het artikel zegt expliciet dat je niet tegelijkertijd een watermerk kunt hebben dat klein is (kleine voetafdruk), onzichtbaar (geen vervorming) én bewerkingsbestendig (crop-robust) is. De wiskunde verbiedt dit. Als je bewerking wilt overleven, moet de markering groot zijn.
De "Gratis Lunch": Je kunt attributie (het identificeren van de gebruiker) niet gratis krijgen. Het kost altijd meer tokens dan eenvoudige detectie. Er is een gegarandeerde kloof waarbij een tekst detecteerbaar is als AI, maar nog steeds niet toeschrijfbaar aan een specifiek persoon.

Hoe Zeker Zijn Ze?

De auteurs zijn zeer zelfverzekerd over de wiskunde. Ze hebben de kosten van de "ladder" bewezen met strikte informatietheorie (zoals het bewijzen van een natuurwet).

Bewezen: De kosten voor detectie, attributie en het "onzekerheidsprincipe" tussen voetafdruk en lokalisatie zijn wiskundig bewezen.
Gesimuleerd: Ze hebben deze theorieën getest op echte AI-modellen (GPT-2, Pythia, Qwen2.5) en vonden dat de cijfers perfect overeenkwamen. Bijvoorbeeld, ze bevestigden de "1.6x overcharge" valstrik in echte taalmodellen.
Open Vraag: Ze geven toe dat hoewel ze de wiskunde hebben bewezen voor "perfect uitgelijnde" tekst, ze nog niet volledig hebben opgelost hoe dit werkt als de tekst wordt bewerkt (zoals wanneer iemand een zin verwijdert). Dat deel is nog een mysterie waar ze aan werken.

De Kernboodschap

Watermerken zijn geen magische stickers die je overal op kunt plakken. Het is een afweging.

Wil je weten of het AI is? Makkelijk, korte tekst.
Wil je weten wie het gemaakt heeft? Je hebt een langere tekst nodig.
Wil je weten waar de markering is? Dan moet de markering overal zijn, anders verdwijnt hij als de tekst wordt ingekort.

Het artikel geeft ons de exacte prijslijst voor deze geheimen, en laat zien dat in de wereld van AI, je niet alles kunt hebben zonder de "token-belasting" te betalen.

Technische Samenvatting: Watermerkforensica voor Generatieve Modellen: Een Informatietheoretisch Perspectief

Probleemstelling
Het artikel behandelt de forensische capaciteiten van watermerken in generatieve modellen, waarbij het verder gaat dan de binaire vraag "is deze content door een machine gemaakt?" (detectie) naar een hiërarchie van complexere taken: attributie (identificeren welke van de $N$ gebruikers de content heeft gegenereerd), extractie (het herstellen van een verborgen payload) en lokalisatie (het identificeren van de specifieke regio in de content die het watermerk draagt). De auteurs stellen dat de bestaande literatuur deze als uiteenlopende problemen behandelt met ad-hoc oplossingen, waarbij vaak het mechanisme van inbedding (bijv. het "inbedden" van een patroon versus het "biasen" van een distributie) wordt verward met de fundamentele informatietheoretische limieten van wat kan worden hersteld. De centrale vraag is: wat is de steekproefcomplexiteit (lengte $n$ ) die vereist is voor elke forensische taak, en hoe verhouden deze kosten zich tot de kwaliteitseisen van het watermerk (getrouwheid, distortiebudget of entropie)?

Methodologie en Raamwerk
De auteurs introduceren een verenigd raamwerk dat georganiseerd is rond één enkel object: het informatieprofiel $\nu(t)$ .

Definitie: $\nu(t) := I(S; X_t | X_{<t})$ , waarbij $S$ het geheim is (gebruikersidentiteit of payload), $X$ de gegenereerde drager is (sequentie van tokens), en $X_{<t}$ de voorgaande tokens vertegenwoordigt. Dit meet de informatie over $S$ die door de $t$ -de token wordt onthuld, geconditioneerd op het verleden.
De Forensische Ladder: Het artikel modelleert forensische taken als een ladder van statistische problemen:
- Niveau 0 (Detectie): Is het merk aanwezig? (Mechanisme-onafhankelijke baseline).
- Niveau 1 (Attributie): Welke van de $N$ gebruikers?
- Niveau 2 (Extractie): Wat is de $\ell$ -bit payload?
- Niveau 3 (Lokalisatie): Waar is het merk? (Robuust tegen bijsnijden/cropping).
Kwaliteitsmodellen: Het raamwerk verenigt twee verschillende kwaliteitsmodellen uit de literatuur als "norm-caps" op hetzelfde profiel $\nu$ $ν$ :
1. Bounded-Distortion (Biasing) $B(\Delta)$ : Het merk is subtiel op elke token, wat een $L_\infty$ cap oplegt ( $\nu(t) \le \Delta$ ). Voorbeelden zijn Green-list watermerken.
2. Footprint (Embedding) $E(m)$ : Het merk is geconcentreerd op een kleine set posities (footprint $T$ met $|T| \le m$ ), wat een $L_0$ cap oplegt ( $\nu(t) = 0$ voor $t \notin T$ ). Voorbeelden zijn Tree-Ring.
Het Forensisch-Herstelbudget: Door de dataverwerkingsongelijkheid (data processing inequality) wordt de totale herstelbare informatie begrensd door de massa van het profiel: $\Phi(n) = \|\nu\|_1 = I(S; X)$ . Dit budget financiert zowel attributie als extractie.

Belangrijkste Bijdragen en Resultaten

Het sluiten van de Entropiekolom (Attributie in Distortievrije Regimes):
- Het artikel stelt de eerste nauwe steekproefcomplexiteitswet vast voor multi-user attributie in statistisch distortievrije schema's (waar de gemiddelde output over alle sleutels heen ononderscheidbaar is van de natuurlijke distributie).
- Resultaat: Voor een stationaire-ergodische bron met entropierate $h$ , kost het attribueren van een tekst aan één van $N$ gebruikers $n_{att} = \Theta(\log N / h)$ tokens.
- Mechanisme: De auteurs stellen een surprisal-threshold decoder voor. In tegenstelling tot naïeve "consistentie" decoders die overeenkomende sleutels tellen (die lijden onder de "collision trap" en $n \approx \log N / r_2$ vereisen, waarbij $r_2$ de Rényi-2 rate is), accepteert de surprisal decoder alleen een sleutel als de gerealiseerde surprisal $-\log p_{nat}(X)$ een drempelwaarde $\tau = \log(N/\delta)$ overschrijdt. Dit bereikt de Shannon-rate $h$ met een exacte, niet-asymptotische per-onschuldige foutpositieve garantie ( $\delta/N$ ).
- Significantie: Dit lost de kloof op tussen de converse (Fano-bound) en de bereikbaarheid (achievability), waarbij wordt aangetoond dat de Shannon entropierate, en niet de collision rate, de beslissingscomplexiteit bepaalt.
De Forensische Kloof (Detectie versus Attributie):
- Het artikel bewijst dat detectie en attributie fundamenteel verschillende kosten hebben. Detectie is een vaste tweepunts-test die $\Theta(1/\Delta)$ kost (of $\Theta(\lambda/h)$ voor distortievrije schema's), onafhankelijk van $N$ . Attributie vereist het extraheren van $\log N$ nats aan identiteit.
- Resultaat: Er bestaat een "forensische kloof"-venster waarin een tekst detecteerbaar is (fout $\to 0$ ) maar niet attribuutbaar (fout $\to 1$ ). Specifiek voor biasing-schema's vereist attributie $n \approx \log N / \Delta$ , terwijl detectie veel eerder verzadigt.
- Implicatie: Een tekst kan bewezen machine-gegenereerd zijn zonder dat deze aan een specifieke gebruiker kan worden toegewezen.
Ontkoppeling via Footprint (De Twee Kwaliteitsmodellen):
- Het artikel formaliseert het onderscheid tussen "biasing" (volledige ondersteuning) en "embedding" (kleine footprint) schema's.
- Resultaat:
  - Biasing ( $B(\Delta)$ ): Attributie kost $\Theta(\log N / \Delta)$ . De kosten zijn gekoppeld aan het distortiebudget; het onzichtbaarder maken van het merk ( $\Delta \to 0$ ) maakt attributie oneindig duur.
  - Embedding ( $E(m)$ ): Attributie kost $\Theta(\log N / \log q)$ , onafhankelijk van een per-token distortiecap. Onzichtbaarheid wordt bereikt door een verdwijnende footprint ( $m/n \to 0$ ), niet door subtiele per-token distortie.
- Beperking: Het artikel merkt op dat hoewel de informatietheoretische ontkoppeling bestaat, de enige bekende getuige (een "digit stamp") niet robuust is tegen bewerkingen (editing). Bruikbare schema's die lokaliseren (bijv. SEAL, EditGuard) blijken full-support (biasing) te zijn, maar bereiken lokalisatie via fijne uitlezing, niet via kleine footprints.
Lokalisatie en het Onzekerheidsprincipe:
- Het artikel leidt een footprint-resolutie onzekerheidsprincipe af voor crop-robuuste lokalisatie.
- Resultaat: Om een merk robuust te lokaliseren binnen een venster van grootte $w$ tegen bijsnijden, moet de drager-footprint voldoen aan $|R| \cdot w = \Omega(n)$ .
- Implicatie: Een klein-footprint embedding-schema ( $m = o(n)$ ) kan niet crop-robuust zijn bij een fijne resolutie. Lokalisatie met een fijne resolutie dwingt het merk om een volledige ondersteuning te hebben (biasing), wat kleine-footprint schema's effectief uitsluit voor robuuste lokalisatietaken.
Empirische Validatie:
- De auteurs valideren de "collision trap" op echte taalmodellen (GPT-2, Pythia-410M, Qwen2.5). Ze meten de ratio $h/r_2 \approx 1.6$ over verschillende modellen, wat bevestigt dat naïeve consistentie-gebaseerde decoders de kosten met een factor 1.6 overschatten vergeleken met de optimale surprisal-threshold decoder.
- Experimenten met het Green-list watermerk bevestigen de forensische kloof: detectie verzadigt bij $\approx 28$ tokens, terwijl de attributienauwkeurigheid aanzienlijk achterblijft en lineair groeit met $\log N$ .

Significantie en Claims
Het artikel claimt de eerste strakke, tweezijdige informatietheoretische wetten te bieden voor de steekproefcomplexiteit van attributie en extractie in generatieve modellen.

Unificatie: Het verenigt uiteenlopende forensische taken (detectie, attributie, extractie, lokalisatie) en kwaliteitsmodellen (biasing versus embedding) onder één enkele maatstaf: het informatieprofiel $\nu(t)$ .
Regulatieve Impact: De auteurs betogen dat huidige regelgeving (bijv. de EU AI Act) vaak een "extraheerbaar object" veronderstelt (embedding ontologie). De resultaten van het artikel tonen aan dat voor biasing watermerken (de dominante klasse in de praktijk), dergelijke mandaten gepaard gaan met een divergerende steekproefkost ( $\Theta(\log N / \Delta)$ ) naarmate het merk onzichtbaarder wordt, terwijl embedding-schema's een vaste kost bieden maar momenteel beperkt zijn door robuustheidsbeperkingen.
Openstaande Problemen: Het artikel identificeert expliciet het gebrek aan een distortievrij, edit-robuust attributieschema als het scherpste openstaande probleem. Hoewel de theoretische rate $\Theta(\log N / h)$ is opgelost, is de bestaande getuige (exacte uitlijning) niet robuust tegen bewerkingen. Het blijft een open vraag of een edit-robuuste decoder deze rate kan bereiken of dat deze gedwongen wordt terug te keren naar de hogere Rényi-2 kosten.

Samenvattend stelt het artikel dat de forensische kracht van een watermerk niet wordt bepaald door de mechanica van de inbedding, maar door de informatie die het herstelbaar maakt (het profiel $\nu$ ) en de geometrie van de footprint. De "prijzen" van forensische taken worden strikt beheerst door deze informatietheoretische grootheden.