Technische Samenvatting: Black-Box Detectie van door LLM gegenereerde Tekst met behulp van Generalized Jensen-Shannon Divergentie

Probleemstelling

De snelle vooruitgang van Large Language Models (LLM's) heeft de onderscheid tussen menselijk geschreven en machinegegenereerde tekst vervaagd, wat zorgen oproept over desinformatie, plagiaat, fraude en de verslechtering van de kwaliteit van trainingsdata door middel van recursieve feedbacklussen. Bestaande detectiemethoden ondervinden aanzienlijke beperkingen in praktische black-box scenario's:

• Op classifiers gebaseerde detectoren vereisen kostbare hertraining wanneer domeinen of generators verschuiven en zijn afhankelijk van hoogwaardige gelabelde data.
• Methoden op basis van globale statistieken (bijv. waarschijnlijkheid, rangorde, entropie) zijn vaak instabiel bij kalibratieverschillen en domeinverschuivingen.
• Methoden op basis van distributiestatistieken (bijv. DetectGPT, DNA-GPT) vereisen doorgaans per-instance regeneratie of perturbatie om lokale divergentie te schatten, wat leidt tot hoge rekenkosten en latentie die onrealistisch zijn voor toepassingen met een hoge doorvoer.

Bovendien verergeren black-box-beperkingen problemen waarbij het proxy-model dat wordt gebruikt voor scoring mogelijk niet overeenkomt met het onbekende bronmodel. Het artikel adresseert de behoefte aan een detector die hertraining en per-instance regeneratie vermijdt, terwijl deze robuust blijft onder distributieveranderingen en mismatches tussen proxy-modellen.

Methodologie: SurpMark

De auteurs stellen SurpMark voor, een referentiegebaseerde black-box detector die attributie vormgeeft als een likelihood-vrije hypothesetoets. Het kader werkt in twee fasen:

1. Offline Referentieconstructie

Met behulp van bestaande menselijke en machine-corpora bouwt het systeem vaste referentie-overgangsmatrices:

• Surprisal-schatting: Een vast proxy-taalmodel (LM) berekent token-level surprisals ($s_t = -\log p_\theta(x_t | x_{<t})$) voor referentieteksten.
• Discretisatie: Continue surprisal-waarden worden gekwantiseerd in $k$ interpreteerbare toestanden (bijv. "Voorspelbaar", "Verrassend") met behulp van een gedeelde $k$-means kwantisator. Dit converteert de sequentie naar een discrete toestandssequentie $\{a_t\}$.
• Overgangsmodellering: De toestandssequenties worden gemodelleerd als eerste-orde Markov-ketens. Empirische overgangswaarschijnlijkheidsmatrices ($\hat{M}_{human}$ en $\hat{M}_{machine}$) worden geschat door het tellen van toestandsovergangen in de referentiecorpora.

2. Online Detectie

Voor een testtekstpassage:

• Functie-extractie: Dezelfde proxy-LM berekent surprisals, die worden gediscretiseerd met behulp van de gedeelde kwantisator om een toestandssequentie te vormen.
• Overgangsschatting: Een empirische overgangsmatrix ($\hat{M}_{test}$) wordt berekend voor de testtekst.
• Scoring: De detector berekent een Generalized Jensen-Shannon (GJS) divergentiescore. Specifiek berekent het het verschil tussen de GJS-afstand tot de machine-referentie en de GJS-afstand tot de menselijke referentie:
  $$\Delta GJS_n = GJS(\hat{M}_{machine}, \hat{M}_{test}, \alpha) - GJS(\hat{M}_{human}, \hat{M}_{test}, \alpha)$$
  waarbij $\alpha$ de verhouding is van de referentielengte tot de testlengte.
• Besluit: De tekst wordt geclassificeerd als machinegegenereerd als $\Delta GJS_n \leq \tau$ (waarbij $\tau$ een drempelwaarde is, doorgaans 0), en als menselijk geschreven anderszins.

Theoretische Rechtvaardiging

Het artikel biedt een theoretische analyse onder een geïdealiseerde eerste-orde Markov-benadering van de gediscretiseerde surprisal-toestanden:

• Discretisatie-Schatting Trade-off: De auteurs leiden een schalingswet af voor het aantal bins $k$. Door discretisatiefout ($O(1/k)$) en statistische schattingsfout ($O(k^{3/2}/\sqrt{N})$) in evenwicht te brengen, schaalt het optimale aantal bins als $k^* = \Theta(N^{1/5})$, waarbij $N$ de totale lengte van de referentiedata is.
• Statistische Validiteit: De $\Delta GJS_n$-statistiek wordt aangetoond equivalent te zijn aan de genormaliseerde log-likelihood-ratio tussen de twee hypothesen (mens versus machine). De auteurs bewijzen de asymptotische normaliteit, wat een principiële basis biedt voor de beslissingsregel.
• Eerste-orde Toereikendheid: Empirische en theoretische analyse (gebaseerd op Gray's benaderingstheorie) geeft aan dat de conditionele wederzijdse informatie die wordt verkregen door over te gaan van een eerste-orde naar een tweede-orde Markov-model verwaarloosbaar is (sub-percentuele perplexiteitsreductie), wat het gebruik van eerste-orde modellen voor data-efficiëntie rechtvaardigt.

Belangrijkste Bijdragen

1. SurpMark-kader: Een referentiegebaseerde detector die tekst samenvat via token-surprisaldynamiek (toestandsovergangen) in plaats van absolute waarschijnlijkheden, waardoor de behoefte aan per-instance regeneratie wordt vermeden.
2. Theoretische Analyse: Afleiding van ontwerprichtlijnen voor schaling van discretisatie-bins ($k \propto N^{1/5}$) en een principiële rechtvaardiging voor de op GJS gebaseerde teststatistiek als log-likelihood-ratio.
3. Uitgebreide Evaluatie: Uitgebreide experimenten die robuustheid aantonen over diverse datasets, bronmodellen (open en gesloten bron) en scenario's (gemengde domeinen, parafraseren, adversariale aanvallen).

Experimentele Resultaten

SurpMark werd geëvalueerd tegen 13 baselines (waaronder DetectGPT, Lastde++, R-Detect en Binoculars) over meerdere datasets (XSum, WritingPrompts, SQuAD, WMT19, HC3, DetectRL) en modellen (9 open-source, 3 gesloten bron).

• Prestaties: SurpMark komt consistent overeen met of overtreft baselines. Het behaalde de hoogste gemiddelde AUROC op 6 van de 9 open-source modellen en stond op de eerste plaats bij alle 3 de gesloten-bronmodellen (waaronder GPT-5-Chat), waar marginale statistieken vaak falen.
• Efficiëntie: In tegenstelling tot distributiemethoden die per-input regeneratie vereisen (bijv. DetectGPT, Lastde++), scoort SurpMark teksten in één doorgang. Het bereikt een hogere doorvoer dan baselines na amortisatie van de eenmalige voorverwerkingskosten, waardoor het geschikt is voor realtime implementatie.
• Robuustheid:
  • Proxy-mismatch: SurpMark blijft stabiel zelfs wanneer de proxy-LM significant verschilt van de brongenerator, terwijl veel baselines verslechteren.
  • Domeinverschuiving: De methode behoudt hoge prestaties in gemengde domein- en gemengde generator-instellingen (DetectRL-benchmark).
  • Adversariale aanvallen: SurpMark toont sterke weerstand tegen parafraseringsaanvallen (polishing, back-translation, DIPPER) en prompt-geprogrammeerde adversariale aanvallen die zijn ontworpen om menselijke stijl na te bootsen of detectie te ontlopen.
  • OOD-generalisatie: De detector presteert goed wanneer referentieteksten uit een ander domein komen dan de testset, wat aangeeft dat het overdraagbare signalen vastlegt in plaats van domeinspecifieke artefacten.

Betekenis en Claims

Het artikel beweert dat SurpMark een robuuste, efficiënte en theoretisch onderbouwde oplossing biedt voor black-box LLM-tekstdetectie. De betekenis hiervan ligt in:

• Ontkoppeling van bronmodellen: Door te vertrouwen op de dynamiek van token-surprisals ten opzichte van vaste referenties, vermijdt het de broosheid van classifiers die zijn getraind op specifieke generators.
• Rekenkundige efficiëntie: Het elimineert de latentie en kosten die gepaard gaan met per-instance regeneratie, waardoor schaalbare implementatie mogelijk wordt.
• Omgaan met geavanceerde modellen: De meth adresseert specifiek de uitdaging om tekst te detecteren van sterke, gesloten-bronmodellen (zoals GPT-5) waarbij marginale surprisal-verdelingen convergeren met menselijke tekst, maar overgangsdynamiek distinct blijft.

De auteurs merken bescheiden beperkingen op, waarbij ze erkennen dat de eerste-orde Markov-benadering een idealisatie is voor de gediscretiseerde toestandsruimte en dat pretrainingblootstelling van menselijke teksten in het proxy-model theoretisch het aantal vals-positieven kan verhogen, hoewel experimenten suggereren dat dit effect minimaal is. Ze benadrukken dat de detector een probabilistisch signaal biedt en niet als enige basis voor beslissingen met hoge risico's mag worden gebruikt zonder menselijke review.