📊 statistics

A Training-free Method for LLM Text Attribution

Deze paper introduceert een trainingsvrije, statistische methode voor het betrouwbaar identificeren van de herkomst van tekst gegenereerd door specifieke Large Language Models, zelfs zonder toegang tot hun interne parameters.

Oorspronkelijke auteurs: Tara Radvand, Mojtaba Abdolmaleki, Mohamed Mostagir, Ambuj Tewari

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tara Radvand, Mojtaba Abdolmaleki, Mohamed Mostagir, Ambuj Tewari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briefje leest. Het is zo perfect geschreven, zo vloeiend en grammaticaal correct, dat je niet kunt zeggen of het door een mens is geschreven of door een slimme computer (een 'Large Language Model' of LLM). Vandaag de dag is dit steeds vaker het geval.

Deze paper van onderzoekers van de Universiteit van Michigan lost een groot probleem op: Hoe weten we zeker wie de schrijver is, zonder dat we de computer hoeven te "trainen" of te "leren"?

Hier is de uitleg, vertaald naar alledaags taalgebruik met een paar creatieve vergelijkingen.

1. Het Probleem: De "Valse Vriend"

Stel je voor dat je in een klaslokaal zit. Iedereen moet een opstel schrijven. Maar een paar studenten gebruiken een AI om hun werk te doen. De leraar wil weten wie echt heeft geschreven en wie de AI heeft gebruikt.

Het probleem is dat de AI zo goed is dat het opstel eruitziet als menselijk werk. Als de leraar een fout maakt en zegt: "Jij hebt een AI gebruikt!" terwijl de student het zelf heeft gedaan, is dat een valse beschuldiging (een "False Positive"). Dat is erg onrechtvaardig en kan leiden tot onnodige straffen.

De onderzoekers zeggen: "We hebben een manier nodig die wiskundig bewijst dat een tekst van een AI komt, maar die bijna nooit een mens ten onrechte beschuldigt."

2. De Oplossing: De "Stijl-Check" (Zonder Training)

De meeste oude methoden waren zoals een detective die duizenden voorbeelden van menselijke en AI-teksten heeft geleerd om patronen te herkennen. Maar als de AI verandert, moet de detective opnieuw leren. Dat is traag en onbetrouwbaar.

Deze nieuwe methode is training-vrij. Het werkt als een stijl-ontdekker die direct kijkt naar hoe de tekst is opgebouwd.

De Vergelijking: De "Voorspelbare Voetbalwedstrijd"
Stel je voor dat je een voetbalwedstrijd bekijkt.

De AI (Model A): Een AI is als een team dat speelt volgens een heel strak, voorspelbaar plan. Ze weten precies wat ze moeten doen in elke situatie. Als je kijkt naar hun bewegingen, zijn ze heel logisch en consistent.
De Mens (Model B): Een mens is als een speler die soms creatief is, maar ook soms een rare beslissing neemt die niet in het plan staat.

De onderzoekers hebben een nieuwe manier bedacht om te kijken of de tekst "voorspelbaar" is voor de AI die we testen.

3. Hoe werkt het? (De Magie van de "Log-Perplexity")

De kern van hun methode draait om een concept dat ze Log-Perplexity noemen. Laten we dit simpel houden:

Stel je voor dat je een raadsel oplost.

Als je een tekst leest die door Model A is geschreven, en je vraagt aan Model A zelf: "Hoe waarschijnlijk is dit woord?", dan zal het antwoord zijn: "Heel waarschijnlijk! Dit past perfect bij mijn stijl." De tekst voelt voor de AI als een bekende, comfortabele wandeling.
Als je een tekst leest die door Model B (een andere AI of een mens) is geschreven, en je vraagt aan Model A: "Hoe waarschijnlijk is dit woord?", dan zal het antwoord zijn: "Ehm, dit is een beetje raar. Dit had ik niet verwacht." De tekst voelt voor Model A als een onverwachte, vreemde wandeling.

Het Geniale Inzicht:
De onderzoekers bewijzen wiskundig dat als een tekst lang genoeg is, de "onverwachtheid" (de perplexity) van een tekst die door Model B is geschreven, altijd zal verschillen van de "onverwachtheid" van een tekst die door Model A is geschreven.

Het is alsof je een vingerafdruk zoekt.

Als Model A de tekst schrijft, is de "vingerafdruk" (de statistische onzekerheid) perfect in balans.
Als Model B de tekst schrijft, is er een disbalans. De tekst past niet perfect in het patroon van Model A.

4. Waarom is dit zo veilig? (De "Exponentiële Veiligheid")

De grootste angst is: "Wat als de AI de tekst zo goed nabootst dat we het niet kunnen zien?"

De onderzoekers zeggen: "Hoe langer de tekst, hoe makkelijker het is om de AI te betrappen."
Ze hebben bewezen dat de kans op een fout exponentieel afneemt naarmate de tekst langer wordt.

Bij een heel kort zinnetje (bijv. "Hallo") is het lastig om zeker te zijn.
Bij een tekst van 100 woorden wordt de kans dat je een fout maakt al heel klein.
Bij een tekst van 500 woorden is de kans op een fout zo klein dat het statistisch bijna onmogelijk is om een mens ten onrechte te beschuldigen.

De Analogie:
Stel je voor dat je een munt opgooit.

Als je 3 keer opgooit en 3 keer kop krijgt, denk je misschien: "Misschien is dit een eerlijke munt."
Maar als je 100 keer opgooit en 100 keer kop krijgt, weet je 100% zeker dat de munt vals is.
Deze methode gebruikt diezelfde logica. Hoe meer "woorden" (muntworpen) je hebt, hoe zekerder je kunt zijn.

5. Wat betekent dit voor de wereld?

Deze methode is belangrijk voor drie redenen:

Scholen en Universiteiten: Leraren kunnen nu met zekerheid zeggen of een student een AI heeft gebruikt, zonder dat ze een student onterecht straffen. De "valse alarmen" zijn bijna uitgesloten.
Bedrijven: Bedrijven kunnen controleren of hun werknemers alleen de goedgekeurde, veilige AI gebruiken, of dat ze gevaarlijke, externe AI's gebruiken die data kunnen lekken.
Nieuws en Desinformatie: We kunnen sneller zien of een schokkend nieuwsbericht door een AI is gegenereerd om mensen te manipuleren.

Samenvatting in één zin

De onderzoekers hebben een wiskundige "luchtdruktest" bedacht die kijkt of een tekst perfect past in het patroon van een specifieke AI; als de tekst niet perfect past, weten we met bijna 100% zekerheid dat het niet door die AI is geschreven, en hoe langer de tekst, hoe onmogelijker het is om een fout te maken.

Het is als het controleren van een handtekening: hoe meer letters je ziet, hoe makkelijker het is om te zien of het echt is of een vervalsing.

Titel: Een trainingsvrije methode voor LLM-tekstattributie

Auteurs: Tara Radvand, Mojtaba Abdolmaleki, Mohamed Mostagir, en Ambuj Tewari (University of Michigan).

1. Het Probleem

Met de snelle opkomst van Large Language Models (LLM's) is het steeds moeilijker geworden om menselijk gegenereerde tekst te onderscheiden van door AI gegenereerde tekst. Dit vormt een groot risico voor de integriteit van digitale communicatie in sectoren zoals onderwijs, media en het bedrijfsleven.

De huidige uitdagingen zijn:

Verificatie van herkomst: Het is cruciaal om te bepalen of tekst door een specifiek LLM is gegenereerd, bijvoorbeeld om ongeautoriseerd gebruik van interne modellen te detecteren of om auteurschap in academische werken te verifiëren.
Beperkingen van bestaande methoden:
- Leer-gebaseerde methoden: Vereisen training op gelabelde data, generaliseren slecht naar nieuwe modellen en hebben vaak hoge vals-positieve rates (false positives), wat leidt tot onterechte beschuldigingen.
- Watermerking: Vereist samenwerking van de AI-aanbieder om het watermerk in te bouwen, wat vaak niet gebeurt vanwege concurrentie- en openheidsoverwegingen.
- Bestaande zero-shot methoden: Gebaseerd op heuristieken (zoals perplexiteit) zonder theoretische garanties voor de foutkans, vooral bij korte teksten.

Het artikel richt zich op de vraag: Kunnen we, gegeven een stuk tekst, bepalen of het door een specifiek LLM is geproduceerd, terwijl we een gegarandeerd lage vals-positieve rate (Type I-fout) waarborgen, zelfs voor korte teksten?

2. Methodologie

De auteurs presenteren een trainingsvrije (zero-shot) statistische test die geen voorbeelden van menselijke of AI-tekst vereist. In plaats daarvan maken ze gebruik van de inherente statistische eigenschappen van de tekst.

Kernconcepten:

Model: LLM-tekst wordt gemodelleerd als een sequentieel stochastisch proces met volledige afhankelijkheid van de geschiedenis (autoregressief). Elke token hangt af van alle voorgaande tokens en de prompt.
Statistische Metrieken:
1. Log-perplexiteit ( $l_A$ ): Een maat voor hoe "verrassend" een tekst is voor een evaluator-model $A$ . Het is de gemiddelde negatieve log-likelihood die model $A$ toekent aan de tekst.
2. Gemiddelde Cross-Entropy ( $h_N$ ): De verwachte log-perplexiteit van tekst gegenereerd door een bron $B$ wanneer geëvalueerd door model $A$ .
Het Principe van Convergentie:
De kern van de methode is dat de log-perplexiteit van een tekst gegenereerd door model $B$ $B$ , wanneer geëvalueerd door model $A$ $A$ , convergeert naar de gemiddelde cross-entropy tussen $B$ $B$ en $A$ $A$ naarmate de tekstlengte ( $N$ $N$ ) toeneemt.
- Als $A = B$ (dezelfde model), convergeert de log-perplexiteit naar de entropie van $A$ .
- Als $A \neq B$ , convergeert de log-perplexiteit naar de cross-entropy $H(B, A)$ .
- Het verschil tussen deze waarden vormt het detectiesignaal.

Wiskundige Innovatie:

Omdat LLM-tokens niet onafhankelijk en identiek verdeeld (i.i.d.) zijn, kunnen standaard concentratie-ongelijkheden niet worden toegepast. De auteurs lossen dit op door:

Per-token willekeurige variabelen te definiëren die de afwijking van de log-perplexiteit tot de cross-entropy beschrijven.
Deze variabelen te modelleren als een martingaal (martingale differences).
Concentratie-ongelijkheden voor martingalen toe te passen om niet-asymptotische (voor eindige steekproeven) foutgrenzen af te leiden.

Twee Testscenario's:

Attributie (Meerdere modellen): Bepalen of tekst is gegenereerd door een model uit set $A$ (bijv. niet-toegelaten) of set $B$ (bijv. intern).
Detectie (A vs. Niet-A): Bepalen of tekst is gegenereerd door een bekend model $A$ of door een onbekende bron (mens of ander model).

Black-box Uitbreiding:

De methode wordt ook uitgebreid naar een black-box setting, waarbij alleen toegang is tot het genereren van samples (geen toegang tot de onderliggende kansverdelingen). De auteurs leiden af hoeveel samples nodig zijn om dezelfde theoretische garanties te bereiken als in de white-box setting.

3. Belangrijkste Bijdragen

Theoretische Garanties voor Korte Teksten: Voor het eerst worden zero-shot statistische tests ontwikkeld met expliciete theoretische garanties voor endelijke, mogelijk korte teksten. Bewezen wordt dat zowel Type I- als Type II-fouten exponentieel afnemen naarmate de tekstlengte toeneemt.
Martingaal-Concentratie: Een methodologische doorbraak door het gebruik van martingaal-concentratie-ongelijkheden voor afhankelijke token-sequenties, wat een veralgemening is van eerdere i.i.d.-resultaten (zoals in Zhao, 2022).
Information-Theoretische Lagere Grens: De auteurs bewijzen dat de exponentiële afname van fouten de best haalbare snelheid is (near-optimaal), wat aantoont dat hun methode fundamenteel niet kan worden overtroffen.
Robuustheid: De methode is getest op weerstand tegen adversariële post-editing (zoals synoniemswisselingen, spellingfouten, parafrafering) en presteert stabiel in black-box scenario's.

4. Resultaten

De auteurs hebben hun theorie gevalideerd via uitgebreide numerieke experimenten:

Attributie-experimenten:
- Getest op datasets zoals SQuAD (feitelijke informatie) en XSum (nieuws).
- Resultaten tonen zeer lage vals-positieve rates (FPR < 2% in de meeste gevallen), zelfs bij het onderscheiden van zeer vergelijkbare modellen (bijv. LLaMA2 vs. LLaMA3).
- De methode werkt betrouwbaar voor modellen van verschillende groottes (van 7B tot 32B parameters).
Detectie-experimenten (A vs. Mens):
- Vergelijking met state-of-the-art zero-shot methoden (zoals Binoculars, DetectGPT, FastDetectGPT) en commerciële tools (GPTZero).
- Bij een strikte FPR van 1% behaalde de methode een True Positive Rate (TPR) van vaak >90%, en in sommige gevallen 100%, vooral op feitelijke datasets waar andere methoden moeite hebben.
- De methode presteert beter dan concurrenten in scenario's waar menselijke en AI-tekst stylistisch vergelijkbaar zijn.
Robuustheidstests (RAID-dataset):
- Getest op een dataset met ~6 miljoen teksten, inclusief diverse decoding-strategieën (greedy vs. sampling) en 11 soorten adversariële aanvallen.
- De methode behield een hoge detectiekracht (TPR) ondanks manipulaties zoals synoniemswisselingen en parafrafering, en was robuuster dan veel bestaande tools die afhankelijk zijn van één enkel signaal.

5. Betekenis en Toepassing

Deze studie is van groot belang voor de governance van AI en de digitale veiligheid:

Verantwoordelijkheid en Integriteit: Het biedt een wiskundig onderbouwde manier om auteurschap te verifiëren, wat essentieel is voor het voorkomen van academische fraude en het waarborgen van transparantie in nieuws en sociale media.
Beleid en Compliance: Organisaties kunnen hiermee controleren of medewerkers of studenten alleen goedgekeurde interne LLM's gebruiken en geen externe, niet-toegelaten modellen.
Regulering: De garantie op een lage vals-positieve rate is cruciaal voor juridische en disciplinaire contexten, waar onterechte beschuldigingen ernstige gevolgen kunnen hebben.
Toekomstbestendig: Omdat de methode trainingsvrij is en gebaseerd is op fundamentele statistische eigenschappen, is deze minder gevoelig voor de snelle evolutie van nieuwe LLM-modellen dan leer-gebaseerde detectoren.

Kortom, dit artikel levert een theoretisch robuust en praktisch toepasbaar raamwerk voor het betrouwbaar identificeren van de oorsprong van tekst, zelfs in de meest uitdagende scenario's van korte teksten en adversariële manipulaties.