Technische Samenvatting: ARB – Een Matched Authorship-Rewriting Benchmark Dataset voor de Evaluatie van AI-tekstdetectoren

1. Probleemstelling

Huidige benchmarks voor AI-tekstdetectie evalueren detectoren primair op een binaire classificatietaak: het onderscheiden van door mensen geschreven tekst van tekst die direct is gegenereerd door Large Language Models (LLM's). Hoewel eerder onderzoek heeft vastgesteld dat parafraseren en herschrijven de prestaties van detectoren kan verslechteren, blijft er een kritische kloof bestaan: het is onduidelijk of prestaties gemeten op conventionele "Mens versus Direct-LLM" benchmarks voorspellend zijn voor het gedrag van detectoren wanneer door mensen geschreven inhoud wordt herschreven door een LLM.

Standaard benchmarks verwarren vaak twee verschillende factoren:

1. Inhoudelijke Oorsprong: Of de ideeën en semantische inhoud afkomstig zijn van een mens of een LLM.
2. Taalkundige Oppervlakte: Of de uiteindelijke bewoording door een mens is geschreven, direct is gegenereerd door een LLM, of door een LLM is bemiddeld via herschrijven.

In realistische workflows (bijv. een student die een essay ontwerpt en een LLM gebruikt om het te polijsten), is de inhoud van menselijke oorsprong, maar de oppervlakte is door een LLM bemiddeld. Bestaande benchmarks slagen er niet in deze factoren te isoleren, wat de robuustheid van detectoren tegen door mensen-oorsprong gepolijste tekst mogelijk overschat.

2. Methodologie: De ARB Benchmark

De auteurs introduceren ARB (Authorship-Rewriting Benchmark), een gematchte vier-regime dataset ontworpen om de inhoudelijke oorsprong te scheiden van de taalkundige oppervlakte.

Constructie van de Dataset

• Bronmateriaal: 1.800 menselijke bronteksten (elk 600 uit XSum, WritingPrompts en OpenWebText), gestratificeerd naar lengte (150–500 woorden).
• Generatoren: Vier open-weight instructie-afgestemde modellen (Llama-3.2-3B, Qwen2.5-7B, Mistral-7B, Gemma-2-9B).
• Vier Gematchte Regimes: Voor elk bronitem en elke generator worden vier varianten gemaakt:
  1. HUMAN: De originele menselijke tekst.
  2. FREE-LLM: Directe generatie door de LLM op basis van een onderwerp geëxtraheerd uit de bron (conventionele baseline).
  3. H2L (Human-to-LLM): De originele menselijke tekst herschreven door de LLM (simuleert door mensen-oorsprong inhoud die door AI is gepolijst).
  4. LLM2L (LLM-to-LLM): De FREE-LLM output herschreven door dezelfde LLM (simuleert een tweede passage op AI-gegenereerde inhoud).

Dit ontwerp creëert gematchte kwartetten waarbij de enige variabelen de inhoudelijke oorsprong en het herschrijfregiem zijn, wat gepaard vergelijkbare analyses binnen dataset-generatorblokken mogelijk maakt.

Evaluatieprotocol

• Detectoren: Vijf detectoren die verschillende families vertegenwoordigen werden geëvalueerd:
  • Supervised Encoders: BERT-Defense, RoBERTa-Defense.
  • Robust Supervised: RADAR.
  • Zero-shot Likelihood/Curvature: FastDetectGPT.
  • Zero-shot Contrastive: Binoculars-falcon-7b.
• Metrieken:
  • Primair: TPR@1%FPR (True Positive Rate bij een 1% False Positive Rate). Deze conservatieve metriek is gekozen omdat foutieve beschuldigingen van AI-auteurschap aanzienlijke ethische en praktische kosten met zich meebrengen.
  • Secundair: AUROC (Area Under the Receiver Operating Characteristic Curve) om de globale ranking-scheidbaarheid te beoordelen.
• Analyse: Prestaties worden gemeten via blok-niveau gepaard delta's (het vergelijken van H2L en LLM2L met de FREE-LLM baseline) en het macro-gemiddelde over dataset-generatorblokken.

3. Belangrijkste Resultaten

De evaluatie onthult een significante "benchmark-transfer failure", waarbij prestaties op directe generatie niet vertalen naar herschreven tekst van menselijke oorsprong.

Baseline Prestaties (Mens vs. FREE-LLM)

• Sterke Detectoren: FastDetectGPT en Binoculars-falcon-7b behaalden een hoge recall (91,2% en 93,5% respectievelijk) bij 1% FPR. RADAR bereikte 66,8%.
• Zwakke Detectoren: BERT-Defense en RoBERTa-Defense presteerden nabij het niveau van toeval (TPR < 2%) ondanks gematigde AUROC-scores.

Robuustheid tegenover Herschrijven

• H2L (Herschrijven van Menselijke Oorsprong): Sterke detectoren leden onder catastrofale dalingen in recall wanneer menselijke tekst door een LLM werd herschreven.
  • FastDetectGPT: Daalde van 91,2% naar 30,8% (een verlies van ~60 procentpunten).
  • Binoculars-falcon-7b: Daalde van 93,5% naar 15,1% (een verlies van ~78 procentpunten).
  • RADAR: Daalde van 66,8% naar 12,2%.
• LLM2L (Herschrijven van LLM-oorsprong): Wanneer door de LLM gegenereerde tekst werd herschreven door dezelfde LLM, was de prestatiedaling aanzienlijk kleiner.
  • FastDetectGPT: Daalde naar 78,3% (verlies van ~10 punten).
  • Binoculars-falcon-7b: Daalde naar 83,0% (verlies van ~10 punten).
  • RADAR: Bleef bijna stabiel op 64,6%.

De H2L–LLM2L Kloof

De operationele kloof tussen H2L en LLM2L is substantieel. Voor de beste detectoren blijft LLM2L veel beter detecteerbaar dan H2L (bijv. een gat van 68 punten voor Binoculars). Textuele diagnostiek geeft aan dat H2L-herschrijvingen sterkere oppervlakteveranderingen impliceren (hogere edit distance, lagere lexicale overlap) dan LLM2L-herschrijvingen, wat suggereert dat de degradatie wordt gedreven door een combinatie van bron-oorsprong en transformatiekracht.

4. Bijdragen en Betekenis

Het artikel claimt de volgende bijdragen:

1. Conceptueel Kader: Het herformuleert de robuustheid tegenover parafrasering als een benchmark-transfer probleem. Het demonstreert dat de standaard "Mens versus Direct-LLM" benchmark geen betrouwbare proxy is voor het detecteren van door mensen-oorsprong tekst die door een LLM is bemiddeld.
2. Ontwerpinnovatie: ARB introduceert een gematcht vier-regime ontwerp dat herschrijven van menselijke oorsprong (H2L) scheidt van herschrijven van een tweede passage van LLM-oorsprong (LLM2L) met behulp van een gedeelde menselijke referentie en dezelfde-generator controles.
3. Empirisch Bewijs: De studie levert bewijs dat detectoren die robuust zijn tegen directe generatie (zoals FastDetectGPT en Binoculars) niet robuust zijn tegen herschrijven van menselijke oorsprong. Omgekeerd blijven dezelfde detectoren grotendeels robuust tegen herschrijven van LLM-oorsprong.
4. Diagnostisch Inzicht: De resultaten suggereren dat de oorsprong van de inhoud een structurele factor is in de detectiegevoeligheid onder LLM-bemiddelde oppervlaktes, verschillend van eenvoudige oppervlakte-gebaseerde transformatie. Dit komt overeen met bevindingen uit andere werken (bijv. RAIDAR, MAGRET) die de asymmetrie exploiteren in hoe LLM's menselijke versus machine-tekst bewerken.

5. Implicaties voor de Praktijk

De auteurs stellen dat beslissingen over inkoop en auditing die uitsluitend vertrouwen op standaard Human-vs-LLM benchmarks, het risico lopen de robuustheid van detectoren voor de steeds gebruikelijker wordende workflow van door mensen ontworpen concepten die door AI zijn gereviseerd, substantieel te overschatten.

• Evaluatie: Detectoren moeten specifiek worden geëvalueerd op H2L-achtige condities voordat ze worden ingezet in omgevingen die betrokken zijn bij door mensen-oorsprong geschreven en door AI gepolijste tekst.
• Rapportage: Benchmarks moeten prestaties rapporteren gestratificeerd per regime (H2L vs. LLM2L) en werkpunt (TPR@1%FPR) in plaats van te vertrouwen op geaggregeerde AUROC-scores.
• Implementatie: Detector-scores moeten worden behandeld als onzekere signalen in plaats van definitief bewijs van auteurschap, vooral wanneer de tekst mogelijk een menselijke oorsprong-herschrijving heeft ondergaan.

Het artikel concludeert dat toekomstig werk zich moet richten op de causale isolatie van de bron-oorsprong (het matchen van transformatiekracht) en bredere validatie over talen en domeinen.