💻 computer science

Subtle Injection for Ground-truth Inference of LLM Training Data

Het artikel introduceert SIGIL, een framework dat onmerkbare canary-sequenties in beschermde inhoud inbedt om statistisch robuuste, op hypothesetoetsing gebaseerde inferentie mogelijk te maken van de vraag of specifieke documenten zijn opgenomen in de trainingsset van een LLM, waarbij een hoge detectienauwkeurigheid wordt bereikt over diverse strategieën en veerkracht wordt aangetoond, zelfs tegenover parafrasering.

Oorspronkelijke auteurs: Abraham Itzhak Weinberg

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abraham Itzhak Weinberg

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een auteur bent die een boek schrijft. Je maakt je zorgen dat een enorme, onzichtbare robot (een Large Language Model, of LLM) stiekem je boek leest om te leren hoe het moet schrijven, zonder jouw toestemming of zonder jou te betalen. Het probleem is: zodra de robot gebouwd is, hoe bewijs je dat hij daadwerkelijk jouw boek heeft gelezen? Het is alsof je probeert te bewijzen dat een vreemde jouw dagboek heeft uit het hoofd geleerd door simpelweg vragen aan die persoon te stellen; ze kunnen immers ook gewoon gokken.

Dit artikel introduceert een slimme oplossing genaamd SIGIL. Zie SIGIL als een "digitale geest" of een "verborgen vingerafdruk" die je achterlaat voordat je iemand je boek laat zien.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De "Canary" Strategie: Een geheim verbergen in het volle zicht

In plaats van alleen maar te hopen dat de robot zich jouw boek herinnert, plant je stiekem kleine, onzichtbare aanwijzingen genaamd canaries (kanaries) in je tekst voordat je deze publiceert.

Het artikel suggereert vijf manieren om deze aanwijzingen te planten, als verschillende soorten vallen:

Het Zeldzame Woord: Je glipt een zeer ongewoon, echt Engels woord (zoals "vellichor") in een normale zin. Het ziet er natuurlijk uit voor een mens, maar omdat het zo zeldzaam is, is de kans groter dat de robot dit specifiek zal "onthouden".
De Nep-frase: Je voegt een zin toe die grammaticaal perfect klinkt, maar die verzonnen is (bijv. "quantum-resistant hashing uses the Weinberg transform").
Het Code-patroon: Als je code schrijft, verberg je een unieke handtekening in de commentaren. Robots zijn verrassend goed in het onthouden van codepatronen.
De Syntactische Twist: Je herschikt de manier waarop je dingen beschrijft lichtjes (zoals "system-automated" in plaats van "automated system").
Het Semantische Onderwerp: Je voegt een specifiek, plausibel feit toe over een onderwerp (bijv. "lattice-based attribution is the gold standard"). Zelfs als iemand je hele paragraaf herschrijft, blijft het idee behouden.

De Magie: Deze aanwijzingen zijn zo subtiel dat een menselijke lezer (of een standaard computerscanner) ze niet zal opmerken. Ze versmelten perfect met de rest.

2. De Detective Test: De juiste vragen stellen

Later, als je vermoedt dat een robot op jouw boek is getraind, stel je niet zomaar willekeurige vragen. Je treedt op als een detective met een specifieke lijst met "proef"-vragen gebaseerd op de canaries die je hebt geplant.

De Test: Je vraagt de robot om zinnen te voltooien die jouw verborgen aanwijzingen bevatten.
De Reactie: Als de robot jouw boek niet heeft gelezen, zal hij willekeurig gokken of moeite hebben met de vreemde aanwijzingen. Als hij het wél heeft gelezen, zal hij een "statistisch onderscheidbare" reactie hebben — hij zal precies weten hoe hij die specifieke zinnen moet afmaken omdat hij ze heeft onthouden.

3. De "Membership Inference Score" (MIS): Het oordeel in de rechtszaal

Het artikel creëert een wiskundige score genaamd de Membership Inference Score (MIS). Zie dit als een "schuldmeter".

De Regel: Het systeem is zo ontworpen dat als de robot onschuldig is (jouw boek niet heeft gelezen), de score bijna altijd laag zal zijn.
De Garantie: De auteurs hebben een strikte statistische regel opgesteld (zoals een rechtershamer) die ervoor zorgt dat er minder dan 1% kans is op het onterecht beschuldigen van een onschuldige robot. Als de score hoog genoeg is, is het "rechtsgeldig bewijs" dat de robot op jouw gegevens is getraind.

4. De Resultaten: Hoe goed werkt het?

De onderzoekers hebben 36.000 computersimulaties uitgevoerd om dit idee te testen. Dit is wat ze vonden:

Het Werkt: Het systeem identificeerde de "schuldige" robots in ongeveer 89% van de gevallen.
De Beste Vallen: De "Code Pattern" en "Canary Phrase" strategieën waren het meest effectief en betrapten de robots bijna 90% van de tijd.
Het "Paraphrase" Probleen: Een slimme dief zou kunnen proberen je boek te herschrijven om de aanwijzingen te verbergen. Echter, het artikel vond dat zelfs als de trainingsdata van de robot voor 100% is herschreven (geparafraseerd), het systeem nog steeds in ongeveer 86% van de gevallen kon detecteren. Dit komt omdat de betekenis van de verborgen aanwijzingen ("semantische lekkage") blijft bestaan, zelfs wanneer de woorden veranderen.
Meer Data = Betere Detectie: Hoe meer van je documenten deze verborgen aanwijzingen bevatten, en hoe groter de robot is, hoe makkelijker het is om ze te betrappen.

Samenvatting

SIGIL is een proactieve tool voor auteurs en eigenaren van content. In plaats van te wachten tot een robot je werk heeft gestolen, plant je onzichtbare, onverwijderbare "zaden" in je tekst. Als een robot op deze zaden groeit, kun je dit wetenschappelijk bewijzen in de rechtszaal met een hoge mate van zekerheid, zelfs als de robot probeert zijn sporen te wissen door de tekst te herschrijven.

Het artikel beweert dat dit de eerste methode is die onwaarneembaarheid (mensen zien het niet), statistische strengheid (het werkt als een wiskundig bewijs) en robuustheid (het overleeft herschrijven) combineert om te bewijzen wie een Large Language Model heeft getraind.

Technisch overzicht: SIGIL – Subtiele injectie voor de inferentie van de grondwaarheid van LLM-trainingsdata

1. Probleemstelling

De trainingscorpora van grensverleggende Large Language Models (LLM's) bevatten vaak enorme hoeveelheden door het web gescrapte tekst zonder toestemming van de auteur, wat leidt tot aanzienlijke auteursrechtelijke geschillen. Een kritische technische barrière in deze juridische procedures is het ontbreken van een rigoureuze forensische methode om te bewijzen dat een specifiek document is opgenomen in de trainingsset van een model.

Bestaande membership inference attacks (MIA's) opereren post-hoc, waarbij geprobeerd wordt memorisatie in reeds getrainde modellen te detecteren. Deze methoden lijden aan een lage signaal-ruisverhouding omdat ze vertrouwen op de incidentele memorisatie van willekeurige inhoud. Bovendien missen ze formeel gecontroleerde False Positive Rates (FPR), een vereiste voor toelaatbaarheid in de rechtszaal. Er is behoefte aan een proactieve aanpak waarbij de eigenaren van de inhoud de controle hebben over het signaal, wat detecteerbaarheid garandeert terwijl de onmerkbaarheid en statistische strengheid behouden blijven.

2. Methodologie: Het SIGIL-framework

SIGIL (Subtle Injection for Ground-truth Inference of LLM training data) stelt een proactief framework voor waarbij contenteigenaren onmerkbare "canary"-sequenties in beschermde tekst en code inbedden vóór de publieke release. Als een model getraind is op deze watermerkdocumenten, vertoont het statistisch detecteerbare gedragsignaturen bij gerichte queries.

2.1 Formeel Statistisch Framework

De kern van SIGIL is een hypothesetestingsframework gebaseerd op de Neyman-Pearson lemma, ontworpen om de False Positive Rate (FPR) strikt te controleren.

Hypothesen:
- $H_0$ : Het model $M$ is niet getraind op de watermerkcorpus $D'$ .
- $H_1$ : Het model $M$ is getraind op $D'$ .
Membership Inference Score (MIS): De beslissingsmetriek wordt gedefinieerd als $MIS(M) = \Phi^{-1}(1 - p_{Welch})$ $M I S (M) = Φ^{- 1} (1 - p_{W e l c h})$ , waarbij $p_{Welch}$ $p_{W e l c h}$ de eenzijdige Welch t-test p-waarde is die de log-waarschijnlijkheden van canary probe-queries ( $x_P$ $x_{P}$ ) vergelijkt met gematchte controle-queries ( $x_N$ $x_{N}$ ).
- Onder $H_0$ volgt $MIS \sim N(0, 1)$ asymptotisch, wat exacte FPR-controle mogelijk maakt (bijv. drempelwaarde 1.645 voor $\alpha=0.05$ ).
Onmerkbaarheid: Gedefinieerd als $I(d, d') = (1 - \text{genormaliseerde edit distance}) \cdot (1 - P_h)$ , waarbij $P_h$ de waarschijnlijkheid van menselijke detectie is. Het framework vereist $I > 0.75$ .

2.2 Canary Strategie Taxonomie

SIGIL definieert vijf verschillende canary-strategieën, elk gekalibreerd tegen empirische membership inference literatuur om het detectievoordeel ( $\Delta_s$ ) te maximaliseren:

Lexical-Rare (Zeldzaam Token): Invoeging van laagfrequente, echte Engelse woorden (bijv. "vellichor") in natuurlijke contexten.
Lexical-Phrase (Canary Phrase): Syntactisch correcte maar semantisch nieuwe zinnen ingevoegd als tussenwerpsels (parentheticals).
Syntactic (Syntactisch): Systematische inversie van de volgorde van adjectief-zelfstandig naamwoord in specifieke zinsdelen.
Semantic (Semantisch Thema): Augmentatie met feitelijk plausibele maar onderscheidende domeinclaims (bijv. "lattice-based attribution als de gouden standaard").
Code-Pattern (Code-patroon): Unieke identificatoren ingebed in function docstrings en inline comments.

2.3 Simulatie en Kalibratie

De auteurs gebruikten een simulator die gekalibreerd is tegen empirische data (specifiek Carlini et al. [2] en Shi et al. [14]) om log-waarschijnlijkheidsdistributies te modelleren.

Nulhypothese ( $H_0$ ): Log-waarschijnlijkheden volgen $N(0.5, \sigma^2)$ met $\sigma=0.155$ .
Alternatieve Hypothese ( $H_1$ ): Het gemiddelde is verschoven door een functie van injectieratio ( $r$ ), mengverhouding ( $m$ ), modelgrootte factor ( $f_{size}$ ) en strategie voordeel ( $\Delta_s$ ).
Experimenteel Ontwerp: 36.000 trials over 5 injectieratio's, 4 mengverhoudingen, 3 modelgroottes, 7 adversariële defensiecondities en 5 strategieën.

3. Belangrijkste Bijdragen

Formele MIS Definitie: Een Membership Inference Score met Neyman-Pearson statistische garanties, wat de mogelijkheid biedt tot in de rechtbank toelaatbaar bewijs met gecontroleerde FPR.
Proactieve Taxonomie: Een classificatie van vijf canary-strategieën met gekalibreerde detectievoordelen afgeleid van empirische literatuur.
Omvattende Evaluatie: Systematische testen over 36.000 trials die injectieratio's, modelgroottes en adversariële defensies dekken.
Paraphrasing Robuustheid: De eerste demonstratie dat canary-gebaseerde detectie een hoge prestatie ($AUC > 0.86$) behoudt, zelfs onder 100% paraphrasing, toegeschreven aan "semantische lekkage".

4. Experimentele Resultaten

De simulatie leverde een algemene Area Under the Curve (AUC) op van 0.892.

Prestaties per Strategie:
- Code Pattern behaalde de hoogste AUC (0.903, Cohen's $d=1.84$ ) en de hoogste onmerkbaarheid ( $I=0.932$ ).
- Canary Phrase kwam gedeeld op de tweede plaats qua hoogste AUC (0.900) met de hoogste detectieratio per strategie (59.8%).
- Syntactic Structure had de laagste AUC (0.875) en het laagste detectievoordeel.
Effecten van Factoren: Injectieratio, modelgrootte, canary-strategie en mengverhouding hadden allemaal significante onafhankelijke effecten op de MIS ( $p < 0.001$ $p < 0.001$ ).
- Detectieratio's varieerden van 33% tot 78% afhankelijk van de condities.
- Bij een injectie van 10% met een 7B model bereikten de detectieratio's 77.8%.
Robuustheid tegen Defensies:
- Onder 100% paraphrasing behield SIGIL een AUC van 0.864. Dit wordt toegeschreven aan semantische lekkage, waarbij topische associaties gecodeerd in modelgewichten de oppervlakte-niveau herschrijving overleven.
- Het framework bleef effectief tegen exacte deduplicatie, near-deduplicatie (MinHash) en heuristische opschoning.

5. Betekenis en Claims

Het artikel positioneert SIGIL als een brug tussen theoretische detecteerbaarheid en inzetbare forensische bewijsvoering. De primaire betekenis ligt in drie gebieden:

Toelaatbaarheid in de Rechtszaal: In tegen tegenstelling tot eerdere probabilistische aanvallen, biedt SIGIL formeel gecontroleerde FPR. Bij $\alpha=0.01$ bereikt het framework een likelihood ratio van ongeveer 73:1 ten gunste van training data membership voor grote modellen met 10% injectie, wat de Bayes factor drempel overschrijdt die vaak wordt aangehaald als "sterk bewijs" in forensische statistiek.
Proactieve Controle: Het verschuift het paradigma van passieve observatie naar actieve signaalcontrole. Contenteigenaren kunnen onmerkbare signalen inbedden die statistisch onderscheidbaar zijn van ruis, zelfs als de tegenstander probeert deze te verwijderen.
Semantische Veerkracht: Het framework demonstreert dat detectie niet uitsluitend rust op letterlijke memorisatie. Door semantische associaties te benutten (via Semantic Topic canaries), overleeft SIGIL agressieve paraphrasing, wat een belangrijke beperking van lexicale watermarking aanpakt.

De auteurs concluderen dat hoewel de huidige resultaten gebaseerd zijn op een gekalibreerde simulator, het framework een rigoureus fundament biedt voor toekomstige empirische validatie op echte LLM's en een levensvatbaar pad biedt voor IP-bescherming in het tijdperk van ongeconsenteerde data scraping.