TokenTrace: Multi-Concept Attribution through Watermarked Token Recovery

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een kunstenaar bent die een unieke stijl hebt ontwikkeld. Je leert een slimme computer (een AI) om in jouw stijl te tekenen. Maar nu is er een probleem: de AI maakt een prachtig schilderij, maar niemand weet meer wie de oorspronkelijke maker is. Het is alsof iemand je handtekening op een brief heeft gezet, maar die handtekening is zo onzichtbaar dat je hem niet kunt zien, en als iemand de brief een beetje knipt of inkt eroverheen giet, is de handtekening weg.

Dit is het probleem dat TokenTrace oplost. Het is een nieuwe manier om AI-kunst te "watermerken" (van een onzichtbaar stempel voorzien), zodat je altijd kunt bewijzen wie de maker is, zelfs als er meerdere ideeën in één plaatje zitten.

Hier is hoe het werkt, uitgelegd met een paar creatieve vergelijkingen:

1. Het oude probleem: De "Grote Hoed"

Vroeger probeerden mensen een watermerk in het beeld zelf te verstoppen (in de pixels).

De analogie: Stel je voor dat je een briefje met je naam in de hoek van een schilderij plakt. Als iemand het schilderij nu ineenvouwt, knipt of er een glas water overheen schenkt (zoals compressie of filteren), valt dat briefje eraf.
Het andere probleem: Wat als het schilderij twee dingen bevat? Bijvoorbeeld een rode auto in de stijl van Van Gogh. Een oud watermerk was als één groot stempel over het hele schilderij. Als je probeerde te bewijzen dat de auto van jou was, kon je het Van Gogh-gedeelte niet losmaken. Het was allemaal één grote, onoplosbare boel.

2. De oplossing van TokenTrace: De "Twee Sleutels"

TokenTrace doet iets heel slim. In plaats van het watermerk in het schilderij te plakken, verandert het de instructies die de AI krijgt voordat het schilderij überhaupt begint te ontstaan.

Ze gebruiken een dubbele sleutel-methode:

De Taal-Sleutel (Semantisch): Ze veranderen heel subtiel de woorden die de AI leest. Het is alsof je de AI fluistert: "Teken deze auto, maar onthoud dat deze auto van jou is." Ze verstoren de betekenis van het woord 'auto' in de hersenen van de AI, zodat het een geheim draagt.
De Ruimte-Sleutel (Latent): Ze veranderen ook de eerste "ruis" of het beginpatroon waar de AI mee start. Het is alsof je de grond waarop het schilderij wordt gebouwd, een heel klein beetje verschuift, zodat de fundamenten alleen passen bij jouw geheime code.

Waarom is dit beter?
Omdat het watermerk nu diep in de instructies en de basis van het schilderij zit, is het onmogelijk om het weg te wissen zonder het hele schilderij te vernietigen. Zelfs als je het beeld knipt of van formaat verandert, blijft het geheim in de structuur van het beeld zitten.

3. De Magische Vraag: Het Loskoppelen

Dit is het meest revolutionaire deel. Stel je voor dat je een schilderij hebt met een rode auto in Van Gogh-stijl.

Oude methode: Je probeert het watermerk te lezen en krijgt een rommelig antwoord: "Iets van auto en iets van Van Gogh."
TokenTrace methode: Je gebruikt een vraag (een query).
- Vraag je: "Wie heeft de auto getekend?" -> De AI leest het watermerk en zegt: "Dat is Li!"
- Vraag je: "Wie heeft de stijl bepaald?" -> De AI leest het andere watermerk en zegt: "Dat is Van Gogh!"

Het is alsof je twee verschillende sleutels hebt voor één deur. Als je de sleutel voor de "auto" gebruikt, opent hij alleen het compartiment met de auto-informatie. Als je de sleutel voor de "stijl" gebruikt, opent hij alleen het compartiment met de stijl-informatie. Ze verstoren elkaar niet.

4. Waarom is dit belangrijk?

Bescherming voor kunstenaars: Als iemand jouw unieke stijl of ideeën gebruikt om een AI te trainen, kun je nu bewijzen: "Kijk, dit beeld bevat mijn geheime code. Ik heb dit gemaakt."
Onzichtbaar: Het schilderij ziet er precies hetzelfde uit. Je kunt het watermerk niet zien met het blote oog, net als een onzichtbare inkt.
Robuust: Zelfs als iemand het plaatje op Facebook deelt (waar het vaak wordt gecomprimeerd) of er een filter overheen legt, blijft het bewijs intact.

Samenvattend

TokenTrace is als het geven van een onvervalst paspoort aan elk idee dat een AI produceert. In plaats van een stempel op het paspoort te plakken (wat eraf kan vallen), schrijven ze de code direct in het DNA van het paspoort. En het beste van alles: je kunt vragen om alleen het paspoort van de "auto" te controleren, of alleen dat van de "stijl", en ze geven je precies het juiste antwoord, zonder dat ze elkaar verwarren.

Het is een slimme manier om eerlijkheid en eigendom te garanderen in een wereld waar AI steeds meer kunst maakt.

Each language version is independently generated for its own context, not a direct translation.

1. Het Probleem

Generatieve AI-modellen (zoals diffusion-modellen) vormen een grote uitdaging voor intellectueel eigendom (IP), omdat ze unieke artistieke stijlen en concepten kunnen repliceren zonder attributie. Hoewel watermerken een mogelijke oplossing bieden, hebben bestaande methoden ernstige beperkingen in complexe scenario's:

Pixel-domein methoden (bijv. ProMark) zijn vaak fragiel en overleven geen veelvoorkomende transformaties zoals compressie of bijsnijden.
Latent-domein methoden zijn robuuster, maar ze embedden meestal één holistisch watermerk. Ze kunnen geen onderscheid maken tussen meerdere concepten die in één afbeelding zijn samengesteld (bijv. een specifiek object in een unieke stijl).
Het kernprobleem: Bestaande methoden kunnen niet meerdere, overlappende concepten individueel attribueren uit één gegenereerde afbeelding, wat leidt tot een tekortkoming in het beschermen van creators' IP.

2. Methodologie: TokenTrace

TokenTrace is een proactief watermerksysteem dat watermerken in het semantische domein embedt in plaats van in de pixelruimte. Het systeem bestaat uit twee hoofdfasen: Concept Encoding en Concept Decoding.

A. Concept Encoding (Watermerken)

In plaats van één watermerk toe te voegen, gebruikt TokenTrace een dual-conditioning strategie om een geheim (een bit-sequentie) te koppelen aan de semantiek van een specifiek concept:

Semantische Perturbatie: Een concept encoder ( $f_{enc}$ ) perturbeert de tekst-prompt embedding. Specifiek wordt een verstoring toegevoegd aan de token-embedding van het doelconcept (bijv. <sks-object>), terwijl de rest van de prompt intact blijft.
Latente Perturbatie: Een secret mapper ( $f_{map}$ ) genereert een gestructureerd ruispatroon dat wordt gecombineerd met de initiële Gaussische ruis ( $z_T$ ) die de diffusion-model start.
Generatie: Het diffusion-model genereert de afbeelding ( $I_{wm}$ ) op basis van deze twee geperturbeerde inputs (de tekst en de initiële ruis). Hierdoor is het watermerk diep verweven in het generatieproces en zowel semantisch als latent verankerd.

B. Concept Decoding (Retrieval)

Om het watermerk te verifiëren, gebruikt TokenTrace een query-based module:

Input: De gegenereerde afbeelding en een tekstuele query die specificeert welk concept moet worden opgehaald (bijv. "een foto van <sks-object>").
TokenTrace Module: Deze module gebruikt bevroren CLIP-encoders (voor afbeelding en tekst) en trainbare projectie- en attentielagen. Het fuseert de visuele kenmerken van de afbeelding met de semantische betekenis van de query.
Output: De module voorspelt de concept-embedding, die vervolgens door een secret decoder wordt vertaald naar het originele bit-geheim.
Voordeel: Omdat de query specifiek is, kan het systeem meerdere concepten in één afbeelding ontkoppelen en individueel verifiëren, zonder dat ze elkaar verstoren.

C. Trainingsdoel

Het model wordt getraind met een samengestelde loss-functie ( $L_{total}$ ) die vier doelen balanceren:

Retrieval Accuracy: Cross-entropy loss tussen het originele en voorspelde geheim.
Visuele Fideliteit: Contrastive Style Descriptor (CSD) loss en $L_2$ loss om te zorgen dat het watermerk onzichtbaar is en de stijl behouden blijft.
Embedding Accuratie: Regularisatie loss om te zorgen dat de voorspelde embedding dicht bij de ground truth ligt.

3. Belangrijkste Bijdragen

Dual-Domain Embedding: Een nieuw raamwerk dat watermerken in zowel de tekstuele semantiek als de latente ruis embedt, wat zorgt voor robuustheid en concept-scheiding.
Query-based Ontkoppeling: Een innovatieve module die het mogelijk maakt om meerdere, overlappende concepten (objecten én stijlen) onafhankelijk te attribueren uit één afbeelding, een taak waar eerdere methoden in faalden.
State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat TokenTrace superieur is aan bestaande passieve en proactieve baselines, zowel voor enkelvoudige als samengestelde concepten, zonder in te leveren op beeldkwaliteit.

4. Resultaten

De auteurs hebben TokenTrace getest op diverse datasets (WikiArt voor stijlen, ImageNet voor objecten, en aangepaste multi-concept prompts):

Enkelvoudige Concepten: Op de WikiArt-dataset bereikte TokenTrace een attributie-accuraatheid van 91,67% (tegenover 87,19% voor ProMark en 89,25% voor CustomMark). Op ImageNet was de score 90,43%.
Multi-Concept Attributie: Bij het attribueren van twee of vier concepten in één afbeelding (bijv. een object in een specifieke stijl) presteerde TokenTrace significant beter dan CustomMark.
- Voor 2 aangepaste concepten: 88,62% accurate attributie (vs. 85,14% voor CustomMark).
- Voor 4 algemene concepten: 81,57% (vs. 72,78% voor CustomMark).
Robuustheid: Het systeem behoudt hoge accuratie (>82%) na transformaties zoals JPEG-compressie, rotatie, bijsnijden en zelfs tegen gerichte adversarial attacks.
Beeldkwaliteit: De visuele kwaliteit blijft hoog (FID-score van 14,98, vergelijkbaar met de originele LDM en veel beter dan pixel-based methoden).
Scalabiliteit: Het systeem kan nieuwe concepten leren via sequentieel leren zonder volledige hertraining, met minimale "catastrophic forgetting".

5. Betekenis en Conclusie

TokenTrace lost een fundamenteel probleem op in de bescherming van intellectueel eigendom voor generatieve AI: het vermogen om te traceren welke specifieke concepten bijdragen aan een gegenereerde afbeelding, zelfs als deze concepten visueel overlappen.

Door watermerken te koppelen aan de tekstuele semantiek van het concept in plaats van aan pixels, creëert het systeem een watermerk dat niet alleen robuust is tegen manipulatie, maar ook semantisch "ontkoppelbaar" is. Dit maakt TokenTrace een cruciale stap voorwaarts voor het rechtvaardig toekennen van auteursrechten en het traceren van de oorsprong van creatieve content in een wereld waar AI steeds meer wordt gebruikt om complexe, samengestelde kunstwerken te maken. De methode biedt een praktische, schaalbare oplossing die zowel de creator beschermt als de kwaliteit van de gegenereerde kunst behoudt.