Technische Samenvatting: TSM-BENCH: Detectie van door LLM gegenereerde tekst in real-world Wikipedia-bewerkingspraktijken

Probleemstelling

De integriteit van platforms voor door gebruikers gegenereerde inhoud (UGC), zoals Wikipedia, wordt bedreigd door de proliferatie van door machines gegenereerde tekst (MGT). Bestaande benchmarks voor MGT-detectie vertrouwen voornamelijk op generieke, onbeperkte prompts (bijv. "Schrijf een artikel over machine learning"), terwijl echte redacteuren Large Language Models (LLMs) gebruiken voor specifieke, contextueel beperkte taken zoals samenvatting, paragraafcontinuatie en stijltransformatie. De auteurs stellen dat deze taakspecifieke instanties van MGT significant verschillen van generieke MGT; door hun beperkte formulering en contextuele conditionering neigen ze qua stijl en semantiek meer op mens-geschreven tekst (HWT) te lijken. Bijgevolg kunnen huidige State-of-the-Art (SOTA) detectoren, die vaak zijn getraind of geëvalueerd op generieke data, er niet in slagen om MGT in realistische bewerkingsscenario's te identificeren, wat potentieel kan leiden tot een overschatting van de betrouwbaarheid van detectoren en het risico op contaminatie van trainingsdata voor toekomstige AI-modellen.

Methodologie

Het artikel introduceert TSM-BENCH, een uitgebreide benchmark die is ontworpen om MGT-detectoren te evalueren op taakspecifieke, real-world bewerkingspraktijken. De methodologie bestaat uit vier primaire fasen:

1. Taakdefinitie: Gebaseerd op empirisch onderzoek naar hoe Wikipedia-redacteurs LLM's gebruiken, definiëren de auteurs vier specifieke bewerkingstaken:

   • Introductieparagraaf: Het schrijven van de openingsparagraaf van een nieuwe sectie.
   • Paragraafcontinuatie: Het uitbreiden van een bestaande, onvolledige door mensen geschreven paragraaf.
   • Samenvatting: Het genereren van een inleidende sectie op basis van de artikeltekst.
   • Tekststijltransformatie (TST): Het neutraliseren van bevooroordeelde zinnen om te voldoen aan het Wikipedia-beleid voor een neutraal standpunt (NPOV).

2. Benchmarkconstructie:

   • Data: Het corpus bestaat uit 152.910 parallelle teksten (menselijk geschreven en door machines gegenereerd) in drie talen (Engels, Portugees, Vietnamees) die hoog, medium en laag-resource niveaus vertegenwoordigen.
   • Generatoren: MGT wordt gegenereerd met behulp van zes verschillende modellen, variërend van grote LLM's (GPT-4o, GPT-4o-mini, Gemini 2.0, DeepSeek) tot kleinere taalmodellen (SLM's: Qwen 2.5-7B, Mistral-7B).
   • Prompt Engineering: Om hoogwaardige, realistische MGT te waarborgen, passen de auteurs prompts aan uit de literatuur over natuurlijke taalgeneratie. Ze evalueren deze prompts automatisch tegen een minimale baseline met behulp van metrieken zoals BLEU, ROUGE, BERTScore en QAFactEval. De hoogst scorende strategieën (bijv. Retrieval-Augmented Generation voor paragraafschrijven, Few-shot voor TST) worden geselecteerd voor datageneratie.

3. Experimenteel Ontwerp: Er worden vijf experimenten uitgevoerd om 12 SOTA-detectoren (inclusief off-the-shelf, zero-shot en supervised modellen) te benchmarken:

   • Experiment 1: Evaluatie van off-the-shelf detectoren op generieke versus taakspecifieke data.
   • Experiment 2: Beoordeling van zero-shot en supervised detectoren over alle taal-generator-configuraties.
   • Experiment 3: Testen van out-of-domain generalisatie (trainen op taakspecifieke versus generieke data en testen over Wikipedia-, nieuws- en sociale review-domeinen).
   • Experiment 4: Feature-analyse met behulp van SHAP-waarden om te bepalen op welke linguïstische aanwijzingen modellen vertrouwen wanneer ze getraind zijn op generieke versus taakspecifieke data.
   • Experiment 5: Analyse van cross-task generalisatie (trainen op één taak en testen op andere taken).

Belangrijkste Bijdragen

• TSM-BENCH: De introductie van een meertalige, multi-generator en multi-taak benchmark specifiek voor taakspecifieke MGT-detectie, bevattende meer dan 150.000 samples.
• Empirisch Bewijs van Prestatieverlies: Demonstratie dat de detectie-accuratesse significant afneemt bij de overgang van generieke naar taakspecifieke scenario's.
• Generalisatie-asymmetrie: Identificatie van een kritische asymmetrie waarbij modellen die gefinetuned zijn op taakspecifieke data goed generaliseren naar generieke data, maar modellen die getraind zijn op generieke data falen in het generaliseren naar taakspecifieke data.
• Feature-analyse: Bewijs dat modellen getraind op generieke data overfitten op oppervlakkige artefacten (bijv. sectie-formatteringsmarkeringen zoals "=="), terwijl modellen getraind op taakspecifieke data zich richten op semantisch betekenisvolle tokens.

Resultaten

De experimenten leveren verschillende cruciale bevindingen op:

• Significante Daling in Accuratesse: Vergeleken met evaluaties op generieke data, daalt de gemiddelde detectie-accuratesse met 10–40% op taakspecifieke data. Specifiek daalt de accuratesse met maximaal 32% voor zero-shot detectoren, 20% voor off-the-shelf detectoren en 10% voor supervised detectoren.
• Falen van Detectoren in Real-world Scenario's: Off-the-shelf detectoren, die >93% accuratesse bereiken op generieke data, dalen naar tussen de 47% en 73% op taakspecifieke taken. Supervised modellen presteren beter (gemiddelde accuratesse van 79,7%–91,8%), maar hebben nog steeds aanzienlijke moeite met taken zoals Paragraafcontinuatie en zinsniveau TST.
• Generalisatie-asymmetrie: Modellen getraind op taakspecifieke data bereiken een hoge accuratesse (vaak >90%) wanneer ze getest worden op generieke data over verschillende domeinen. Daartegenover falen modellen getraind op generieke data bij het detecteren van taakspecifieke MGT, waarbij ze vaak rond een willekeurig niveau presteren (<60%), zelfs binnen hetzelfde domein.
• Overfitting op Artefacten: SHAP-analyse laat zien dat modellen getraind op generieke data zwaar leunen op oppervlakkige formatteringsaanwijzingen (bijv. "==", "#") die afwezig of anders zijn in taakspecifieke bewerkingen. Modellen getraind op taakspecifieke data focussen op semantische tokens, wat wijst op een robuustere leer van MGT-patronen.
• Cross-task Beperkingen: Detectieprestaties worden niet goed overgedragen tussen verschillende schrijftaken, wat suggereert dat toekomstige detectoren getraind moeten worden op een diverse combinatie van taken in plaats van een enkel type generatie.

Betekenis

Het artikel concludeert dat eerdere benchmarks die vertrouwen op generieke generatie-instellingen waarschijnlijk de prestaties van MGT-detectoren overschatten. De bevindingen suggereren dat de meeste huidige detectoren onbetrouwbaar zijn voor automatische detectie in real-world contexten, zoals UGC-platforms, waar gebruikers LLM's gebruiken voor specifieke, beperkte taken.

De betekenis van TSM-BENCH ligt in het vermogen om een realistischer fundament te bieden voor de ontwikkeling en evaluatie van toekomstige modellen. Door de beperkingen van huidige detectoren en de specifieke aard van taakspecifieke MGT te belichten, betogen de auteurs dat het vakgebied verder moet gaan dan generieke benchmarks. Ze bevelen aan dat toekomstige modellen getraind moeten worden op diverse combinaties van taakspecifieke data om robuustheid in real-world toepassingen te garanderen, waarmee de kennisintegriteit van platforms zoals Wikipedia wordt gewaarborgd en de degradatie van AI-trainingsdata wordt voorkomen.