🤖 AI

CSF: Black-box Fingerprinting via Compositional Semantics for Text-to-Image Models

Dit artikel introduceert CSF, een zwarte-kas methode die compositional semantiek gebruikt om fine-tuned tekst-naar-beeldmodellen via alleen query-toegang toe te schrijven aan hun oorspronkelijke lijnen, waardoor intellectuele-eigendomsrechten ook bij commerciële API-implementaties afdwingbaar worden.

Oorspronkelijke auteurs: Junhoo Lee, Mijin Koo, Nojun Kwak

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junhoo Lee, Mijin Koo, Nojun Kwak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

CSF: De "Digitale DNA-Test" voor AI-Beeldgeneratoren

Stel je voor dat je een heel beroemd schilderij hebt gemaakt. Iemand steelt je idee, past het een beetje aan (misschien verandert hij de kleuren of de stijl), en verkoopt het nu als zijn eigen werk via een geheim kanaal. Hoe bewijs je dat het jouw origineel is, als je geen toegang hebt tot de originele verfdoos of het canvas? Je kunt alleen kijken naar het eindresultaat.

Dat is precies het probleem waar deze wetenschappers van de Seoul National University een oplossing voor hebben bedacht. Ze noemen hun methode CSF (Compositional Semantic Fingerprinting). Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Onzichtbare Dief"

Vroeger probeerden mensen een onzichtbaar watermerk in een AI-model te stoppen (zoals een stempel in het papier). Maar dat werkt niet meer goed.

Het watermerk-probleem: Als je een watermerk in het model stopt, kan de dief het eruit wassen door het model opnieuw te trainen.
De API-barrière: Veel AI-modellen zijn nu alleen beschikbaar via een "knop" (een API). Je kunt niet naar binnen kijken om te zien hoe ze werken; je kunt alleen een opdracht geven en een plaatje krijgen. Het is alsof je een restaurant hebt, maar je mag alleen naar buiten kijken en niet de keuken in.

2. De Oplossing: De "Onmogelijke Vraag"

Deze nieuwe methode, CSF, werkt niet door te kijken naar de kleur van het plaatje (want die kan de dief veranderen), maar naar de keuzes die de AI maakt als het niet zeker weet wat het moet doen.

Stel je voor dat je twee mensen vraagt: "Teken een dier."

Beide tekenen misschien een hond. Dat zegt niets over wie ze zijn.
Maar stel je nu een heel rare, specifieke vraag voor: "Teken een gevaarlijk, donker dier in een donkere studio."

Dit is de kern van CSF: Compositional Semantics (Samengestelde Betekenis).
Ze stellen de AI een vraag die bestaat uit onderdelen die normaal gesproken zelden samen voorkomen in de leerboeken van de AI.

"Dier" is normaal.
"Gevaarlijk" is normaal.
"In een donkere studio" is normaal.
Maar "Een gevaarlijk dier in een donkere studio"? Dat is een heel specifieke, zeldzame combinatie.

3. De Analogie: De "Vergeten Herinnering"

Wanneer een AI-model wordt "gefine-tuned" (aangepast door de dief), leert hij nieuwe dingen, zoals "teken in anime-stijl" of "teken realistische foto's". Hij vergeet echter zijn oude, ingebouwde voorkeuren voor rare combinaties niet.

De Dief: Hij probeert alle mogelijke vragen te leren die hij denkt dat je gaat stellen, om zijn diefstal te verbergen. Maar dat is onmogelijk! Er zijn oneindig veel rare combinaties.
De Eigenaar (Jij): Jij kunt op elk moment een nieuwe, nog rare combinatie bedenken. "Teken een vrolijk dier op een roze vloer."

Omdat deze specifieke combinatie zelden voorkomt in de nieuwe training van de dief, blijft de AI terugvallen op zijn oorspronkelijke "instincten" (de basis van het originele model). Het is alsof je iemand vraagt: "Wat is je favoriete gerecht als je in een storm zit?" Zelfs als de persoon een nieuw restaurant heeft geopend, zal zijn antwoord nog steeds lijken op wat hij als kind at, omdat die specifieke situatie zo zeldzaam is.

4. Hoe Werkt Het In De Praktijk?

De Test: De eigenaar stuurt 42 verschillende, rare vragen naar de verdachte AI (bijvoorbeeld via de website).
De Reactie: De AI maakt 30 plaatjes per vraag.
De Analyse: De computer kijkt niet naar de plaatjes zelf, maar vraagt: "Wat is dit eigenlijk?" (Bijvoorbeeld: Is het een leeuw, een tijger of een wolf?).
De DNA-Test: De eigenaar vergelijkt de antwoorden van de verdachte AI met die van het originele model. Als de verdachte AI precies dezelfde rare keuzes maakt als het origineel (bijvoorbeeld: "Bij een gevaarlijk dier in de studio kiezen we altijd voor een tijger, terwijl andere modellen een beer kiezen"), dan is het bewijs compleet.

5. Waarom Is Dit Zo Slim?

Het is een "Black-Box" test: Je hebt geen toegang nodig tot de geheime code van de AI. Alleen de uitkomsten zijn genoeg.
Het is onverslaanbaar: De dief kan niet alle mogelijke rare vragen van tevoren leren. De eigenaar heeft altijd de "asymmetrische voordeel": hij kan nieuwe vragen bedenken die de dief nog nooit heeft gezien.
Het is goedkoop: Het kost ongeveer 50 dollar om een model te testen, wat veel goedkoper is dan het kopen van de hele AI.

Conclusie

CSF is als een digitale vingerafdruk die niet afveegbaar is. Zelfs als een dief de AI verkleedt in een nieuw pakje (nieuwe stijl), blijft de "geest" van het originele model zichtbaar in de rare, specifieke keuzes die het maakt. Het geeft auteurs en bedrijven een krachtig wapen om hun intellectueel eigendom te beschermen in een wereld waar AI-modellen steeds vaker worden verkocht als een dienst.

1. Probleemstelling

De snelle commercialisering van Text-to-Image (T2I) modellen (zoals Stable Diffusion, Flux, Kandinsky) heeft geleid tot een dringende behoefte aan intellectuele eigendomsrechten (IP) bescherming. Veel modellen worden verspreid onder restrictieve licenties die verbieden dat ze worden gefinetuned en commercieel worden gedistribueerd via API's.

Het huidige probleem is dat bestaande methoden voor modelidentificatie ontoereikend zijn voor dit scenario:

Watermerking: Vereist toegang tot het model voor de implementatie om triggers in te voegen. Dit is onmogelijk bij bestaande, reeds gedistribueerde API's. Bovendien kunnen watermerken worden verwijderd door finetuning of door de aanvallers te verwijderen zodra ze bekend zijn.
Traditionele Fingerprinting: Vereist vaak "white-box" of "gray-box" toegang (bijv. gewichten, activeringen, interne latent spaces). Bij commerciële API's heeft de verdediger echter alleen query-only toegang (tekst-in, beeld-uit).
Uitdaging: Finetuning verandert de visuele stijl, kleurenpaletten en content-bias drastisch, waardoor traditionele pixel-gebaseerde of visuele kenmerken (zoals CLIP-embeddings) de onderliggende "stamboom" (lineage) van het model niet meer kunnen onderscheiden.

2. Methodologie: Compositional Semantic Fingerprinting (CSF)

CSF is de eerste zwarte-bus (black-box) methode die een model kan attribueren aan een beschermde stamboom uitsluitend via API-query's, zonder training of interne toegang.

Kernprincipes:

Semantische Abstractie: In plaats van te kijken naar pixels, behandelt CSF het T2I-model als een generator van semantische categorieën. Het analyseert niet hoe een afbeelding eruitziet, maar welke semantische interpretaties het model maakt bij een onbepaalde prompt.
Compositional Underspecification: De methode gebruikt prompts die semantisch onbepaald zijn maar bestaan uit zeldzame combinaties van attributen.
- Voorbeeld: "Een foto van een gevaarlijk dier in een donkere studio".
- De individuele componenten (dier, studio) zijn vaak aanwezig in finetuning-data, maar de specifieke combinatie (gevaarlijk + dier + donkere studio) is zeldzaam.
- Volgens het principe van "backdoor watermerken" blijven het gedrag van het model op zeldzame, niet-trainingsdata gebaseerde conditioneringen behouden na finetuning. De basisstamboom-bias blijft dus intact.
Asymmetrisch Voordeel:
- Een aanvallers moet alle mogelijke zeldzame combinaties anticiperen en onderdrukken, wat een exponentieel grote ruimte is.
- De verdediger kan na de implementatie willekeurig nieuwe, zeldzame composities genereren om het model te testen.
Implementatie:
- Voor elke prompt worden $N=30$ afbeeldingen gegenereerd.
- Elke afbeelding wordt geclassificeerd via Zero-shot CLIP-classificatie naar een vooraf gedefinieerde set semantische categorieën (bijv. "tijger", "leeuw", "wolf" voor het concept "dier").
- Dit resulteert in een kansverdeling over categorieën voor het model.
- De afstand tussen de verdeling van een verdacht model en een referentie-basemodel wordt gemeten met de Wasserstein-afstand (die de geometrische structuur van de kansruimte beter behoudt dan JSD).

Bayesiaanse Attributie:
De resultaten van meerdere prompts worden geaggregeerd via een Bayesiaans raamwerk. Dit levert een posterior-verdeling op die de waarschijnlijkheid berekent dat het verdachte model tot een specifieke stamboom behoort, met gecontroleerde risico's en betrouwbaarheidsintervallen.

3. Belangrijkste Bijdragen

Eerste Black-box Fingerprinting: CSF is de eerste methode die modelattribution mogelijk maakt in de meest restrictieve setting (alleen API-toegang) zonder training of interne toegang.
Robuustheid tegen Finetuning: De methode is getest op diverse finetuning-technieken, waaronder LoRA, model merging, DPO (Direct Preference Optimization), distillatie en volledige hertraining. De semantische bias blijft behouden zelfs bij agressieve aanpassingen.
Statistische Garantie: In plaats van een heuristische vergelijking, biedt CSF statistisch onderbouwde beslissingen met kwantificeerbare onzekerheid (95% betrouwbaarheidsintervallen).
Kosten-effectiviteit: De methode is "train-free" en kost slechts ongeveer $50 per model om te verifiëren via commerciële API's.

4. Resultaten

De auteurs hebben CSF geëvalueerd op 6 model-families (FLUX, Kandinsky, SD1.5/2.1/3.0/XL) en 13 finetuned varianten.

Hoog Succespercentage: Alle 13 finetuned varianten voldeden aan de "Dominance test" (de posterior kans dat het correcte basemodel wordt geïdentificeerd, is >50% met een ondergrens van het betrouwbaarheidsinterval >0.5).
Vergelijking met Baselines:
- Naive prompts (uit LAION-2B) faalden volledig; gebruikers konden in een menselijke studie de basis niet identificeren (18% nauwkeurigheid, onder toeval).
- CSF-prompten leverden 71% nauwkeurigheid op in menselijke studies, wat aantoont dat de signalen ook perceptueel robuust zijn.
- CSF presteerde aanzienlijk beter dan methoden die op Jensen-Shannon Divergence (JSD) of visuele clustering gebaseerd zijn.
Robuustheid tegen Aanvallen: Zelfs bij het verwijderen van specifieke concepten (via Unified Concept Editing) bleef de attributie stabiel, omdat CSF werkt op brede semantische categorieën in plaats van enkele triggers.

5. Betekenis en Conclusie

CSF biedt een praktische oplossing voor de bescherming van intellectueel eigendom in het tijdperk van API-gedistribueerde generatieve AI. Het keert de asymmetrie van watermerking om: terwijl watermerken kwetsbaar zijn voor ontdekking en verwijdering, kunnen IP-eigenaren oneindig veel nieuwe semantische composities genereren om overtredingen te detecteren.

De methode is bijzonder relevant omdat het de enige bekende manier is om de oorsprong van een model te traceren wanneer alleen de eindgebruikers-API beschikbaar is, wat de realiteit is voor de meeste commerciële T2I-diensten. Dit stelt rechters en IP-eigenaren in staat om juridisch onderbouwde claims te doen over modelafstamming, zelfs zonder toegang tot de broncode of gewichten van het verdachte model.