WETBench: A Benchmark for Detecting Task-Specific Machine-Generated Text on Wikipedia

Technische Samenvatting: WETBench: Een Benchmark voor het Detecteren van Taakspecifieke Door Machines gegenereerde Tekst op Wikipedia

Probleemstelling
Wikipedia dient als een fundamentele dataset voor het trainen van grote taalmodellen (LLM's), maar het platform wordt geconfronteerd met groeiende risico's door de proliferatie van kwalitatief laagwaardige, door machines gegenereerde tekst (MGT). Bestaand onderzoek heeft detectoren voor MGT ontwikkeld, maar deze benchmarks evalueren voornamelijk de prestaties op generieke, open eind staande generatietaken (bijv. "Schrijf een artikel over X"). De auteurs stellen dat deze aanpak niet overeenkomt met de werkelijke praktijken van Wikipedia-bewerkingen, die doorgaans taakspecifiek, incrementeel en context-geconditioneerd zijn. Bijgevolg kunnen detectoren die getraind zijn op generieke data falen bij het generaliseren naar realistische redactionele scenario's, waardoor het platform kwetsbaar wordt voor hallucinaties, bias en problemen met de integriteit van de inhoud. Bovendien vertrouwt eerder werk vaak op enkelvoudige prompts om volledige artikelen te genereren, een praktijk die door de Wikipedia-gemeenschap expliciet wordt afgeraden.

Methodologie
Om deze mismatch aan te pakken, introduceren de auteurs WETBench, een meertalige, multi-generator en taakspecifieke benchmark die ontworpen is om daadwerkelijke editor-workflows te simuleren. De methodologie omvat drie kerncomponenten:

1. Dataset Constructie: De auteurs hebben twee nieuwe corpora geconstrueerd die Engels, Portugees en Vietnamees dekken:

   • WikiPS: Een grootschalige collectie van hoogwaardige Wikipedia-paragrafen en lead–infobox–body triplets, gefilterd om te garanderen dat er geen contaminatie door MGT aanwezig is (met behulp van pre-ChatGPT revisies).
   • mWNC: Een meertalige uitbreiding van de Wikipedia Neutrality Corpus (WNC), inclusief zinsniveau en paragraafniveau paren van bevooroordeelde en geneutraliseerde tekst.

2. Taakdefinitie en Prompt Engineering: De benchmark definieert drie bewerkingstaken gebaseerd op editor-use cases:

   • Paragraaf Schrijven: Het genereren van een nieuwe sectie-paragraaf vanaf nul. De auteurs evalueerden prompts variërend van minimale instructies tot content-geconditioneerde prompts en Retrieval-Augmented Generation (Naive RAG). Naive RAG werd geselecteerd als de optimale strategie voor het genereren van MGT.
   • Samenvatten: Het genereren van een lead-sectie op basis van de artikelbody en infobox. One-shot prompting werd bepaald als de meest effectieve strategie.
   • Tekststijltransformatie (TST): Het neutraliseren van bevooroordeelde zinnen of paragrafen om aan te sluiten bij het Wikipedia-beleid van een Neutraal Standpunt (NPOV). Five-shot prompting leverde de beste resultaten op.

3. Experimentele Opzet:

   • Generatoren: MGT werd gegenereerd met behulp van vier modellen (GPT-4o mini, Gemini 2.0 Flash, Qwen2.5-7B-Instruct, Mistral-7B-Instruct) over de drie talen.
   • Detectoren: De benchmark evalueerde acht state-of-the-art (SOTA) detectoren uit drie families: training-gebaseerd (XLM-RoBERTa, mDeBERTa), zero-shot white-box (Binoculars, LLR, FastDetectGPT-WB) en zero-shot black-box (Revise-Detect, GECScore, FastDetectGPT-BB).
   • Schaal: De uiteindelijke benchmark bevat 101.940 teksten (door mensen geschreven en door machines gegenereerd) verspreid over taken, talen en generatoren.

Belangrijkste Bijdragen

• WETBench Benchmark: De release van een uitgebreide benchmark met 101.940 taakspecifieke teksten, die drie talen met variërende niveaus van middelen, vier generatoren en acht detectoren beslaat.
• Nieuwe Corpora: De creatie en release van WikiPS (paragrafen en lead-content paren) en mWNC (meertalige neutraliteitscorpus met paragraafniveau paren), die beschikbaar zijn voor bredere AI-onderzoek buiten MGT-detectie.
• Empirische Evaluatie: Een systematische beoordeling van SOTA-detectoren in realistische, taakspecifieke bewerkingsscenario's, wat scherp contrasteert met eerdere open-ended generatie benchmarks.

Resultaten
De evaluatie onthult aanzienlijke uitdagingen voor huidige detectiemethoden in realistische settings:

• Algemene Prestaties: Detectoren worstelen aanzienlijk vergeleken met de resultaten op generieke benchmarks. Training-gebaseerde detectoren bereikten een gemiddelde nauwkeurigheid van 78%, terwijl zero-shot detectoren gemiddeld slechts 58% haalden.
• Taakvariantie: De detectienauwkeurigheid varieerde per taak. Samenvatten was het makkelijkst te detecteren (gesuperviseerde detectoren bereikten ~89% nauwkeurigheid), gevolgd door Paragraaf Schrijven. Tekststijltransformatie (TST) bleek het moeilijkst, waarbij de nauwkeurigheid voor zero-shot methoden vaak rond de kans op toeval schommelde en slechts iets hoger was voor gesuperviseerde methoden.
• Methodevariantie: Gesuperviseerde (training-gebaseerde) detectoren presteerden consistent beter dan zero-shot methoden over alle taken en talen. Onder de zero-shot methoden presteerden black-box detectoren (specifiek GECScore) over het algemeen beter dan white-box methoden, hoewel de prestaties varieerden per taal en generator.
• Model- en Taal-effecten: Kleinere generatoren (bijv. Mistral, Qwen) lieten meer detecteerbare sporen achter voor training-gebaseerde modellen, terwijl grotere modellen (bijv. GPT-4o) moeilijker te detecteren waren. Prestaties verslechterden ook in talen met weinig middelen (Vietnamees), waar sommige modellen (bijv. Mistral) er niet in slaagden instructies op te volgen, wat artefacten creëerde die training-gebaseerde detectoren konden exploiteren, maar zero-shot methoden niet.

Betekenis en Claims
Het artikel claimt dat WETBench een noodzakelijke reality check biedt voor het vakgebied van MGT-detectie. De auteurs stellen dat bestaande detectoren, hoewel effectief op generieke taken, de vereiste generaliseerbaarheid missen voor de real-world, editor-gedreven contexten op Wikipedia. De resultaten onderstrepen dat:

1. Taalspecificiteit Er toe Doet: De tekstuele kenmerken van taakspecifieke MGT (bijv. het neutraliseren van een zin) lijken sterk op menselijk schrijven, waardoor ze moeilijker te onderscheiden zijn dan open-ended generatie.
2. Huidige Beperkingen: Er is aanzienlijke onzekerheid over de betrouwbaarheid van huidige geautomatiseerde detectiemethoden bij het beschermen van de kennisintegriteit van Wikipedia.
3. Toekomstige Richting: De auteurs pleiten voor het evalueren van detectoren op data die de praktische workflows van editors weerspiegelt in plaats van synthetische, open-ended generatie. Zij positioneren WETBench als een instrument om de Wikimedia-gemeenschap en de bredere AI-onderzoeksgemeenschap te informeren over de huidige haalbaarheid en beperkingen van MGT-detectie, in plaats van te claimen het detectieprobleem volledig te hebben opgelost.

Het artikel concludeert met een gematigd vooruitzicht, waarbij wordt opgemerkt dat hoewel hun bevindingen de huidige beperkingen benadrukken, de benchmark is ontworpen om uitgebreid te worden met aanvullende taken, talen en generatoren naarmate het veld evolueert.