A Comprehensive Dataset for Human vs. AI Generated Text Detection

Probleemstelling

De snelle vooruitgang van Large Language Models (LLMs) heeft geleid tot AI gegenereerde tekst die steeds menselijker wordt, wat ernstige zorgen oproept over content authenticiteit, desinformatie en de betrouwbaarheid van nieuws. Hoewel deze technologie innovatie mogelijk maakt, verergert het ook het probleem van online nepnieuws, vooral in gevoelige domeinen zoals verkiezingen en gezondheid.

De huidige uitdaging ligt in het betrouwbaar detecteren van AI-gegenereerde tekst en het attribueren (toewijzen) van deze tekst aan het specifieke model dat het heeft gegenereerd. Progressie op dit gebied wordt gehinderd door het gebrek aan grote, diverse en goed geannoteerde datasets die zowel menselijke als AI-gegenereerde teksten bevatten onder realistische, journalistieke omstandigheden. Bestaande datasets vertrouwen vaak op synthetische prompts, studentenopstellen of generieke webcontent, in plaats van hoogwaardige journalistieke bronnen.

Methodologie en Dataset Creatie

De auteurs presenteren een uitgebreide dataset die is opgebouwd uit meer dan 58.000 tekstmonsters. De dataset combineert authentieke nieuwsartikelen van de New York Times (NYT) met synthetische versies gegenereerd door toonaangevende LLM's.

Data Collectie en Structuur:

• Bron: De dataset is gebaseerd op een collectie van meer dan 2,1 miljoen NYT-artikelen (van 2000 tot heden).
• Prompting: De abstracts van de originele artikelen worden gebruikt als prompts om AI-tekst te genereren. Dit zorgt voor een gecontroleerde input die gebaseerd is op echte journalistieke content.
• Human Story: De volledige, menselijk geschreven verhalen worden opgehaald via de URL's van de artikelen.
• AI Generatie: Voor elk artikel worden synthetische tegenhangers gegenereerd door zes verschillende state-of-the-art modellen:
  • Gemma-2-9b
  • Mistral-7B
  • Qwen-2-72B
  • LLaMA-8B
  • Yi-Large
  • GPT-4-o
• Opmaak: De dataset is gestructureerd in een tabel met negen kolommen: de originele prompt (abstract), het menselijke verhaal, en zes kolommen met de respectievelijke AI-gegenereerde teksten.

Baseline Methode (Raidar-geïnspireerd):
De auteurs implementeren een classificatie-baseline gebaseerd op het "Raidar"-concept (rewriting-based detection).

• Principe: LLM's hebben de neiging om teksten die door een ander LLM zijn gegenereerd, minder te herschrijven dan menselijke teksten. Wanneer een LLM zijn eigen gegenereerde tekst herschrijft, zijn de wijzigingen minimaal vanwege de structurele en stijlkonsistentie binnen dat specifieke model.
• Proces: Een vast herschrijvingsmodel (bijv. GPT-3.5-Turbo) krijgt de opdracht om de inputtekst te herschrijven. Vervolgens wordt de Levenshtein-editiedistance berekend tussen de originele input en de herschreven output.
• Classificatie:
  • Mens vs. AI: Als de editiedistance groot is, wordt de tekst geclassificeerd als menselijk (omdat LLM's menselijke tekst meer aanpassen). Is de afstand klein, dan is het waarschijnlijk AI.
  • Model Attribution: Het model dat de kleinste editiedistance produceert (dichtst bij de originele tekst), wordt voorspeld als de bron van de tekst.

Kernbijdragen

1. Uitgebreide Dataset: Een uniek corpus van 58.000+ samples dat echte journalistieke content koppelt aan outputs van zes verschillende LLM's, wat een zeldzame kans biedt voor onderzoek onder realistische omstandigheden.
2. Twee Kernaopgaven: De dataset ondersteunt twee kritieke taken:
   • Binair Classificeren: Onderscheid maken tussen menselijk en AI-gegenereerde tekst.
   • Model Attribution: Identificeren welk specifiek LLM de tekst heeft gegenereerd.
3. Benchmarking: Het bieden van een rigoureuze benchmark voor het evalueren van detectiemethoden, inclusief een baseline die de huidige moeilijkheidsgraad van deze taken kwantificeert.
4. Toepassingsgebied: De dataset faciliteert onderzoek naar feature engineering, cross-model generalisatie (kan een detector die op Model A is getraind, ook Model B detecteren?) en de bestrijding van desinformatie.

Resultaten

De auteurs rapporteren de prestaties van hun baseline op de twee gedefinieerde taken (zie Tabel 2 in het paper):

• Taak A (Mens vs. AI Detectie): De baseline bereikte een nauwkeurigheid van 58,35%. Dit resultaat is slechts marginaal beter dan willekeurig gokken (50%), wat aangeeft dat het onderscheid tussen menselijke en moderne AI-tekst extreem moeilijk is.
• Taak B (Model Attribution): De nauwkeurigheid voor het identificeren van de specifieke bron van AI-tekst bedroeg slechts 8,92%. Gezien er zes modellen zijn, ligt dit ver onder de verwachtingen en benadrukt het de complexiteit van het onderscheiden van de "handtekening" van verschillende LLM's.

Deze lage baselinescores onderstrepen dat bestaande methoden onvoldoende zijn en dat er aanzienlijke ruimte is voor methodologische innovatie.

Betekenis en Toekomstperspectief

Deze dataset is van cruciaal belang voor het behoud van vertrouwen en transparantie in het tijdperk van generatieve AI. Door de kloof tussen echte journalistieke data en diverse generatieve modellen te overbruggen, biedt het onderzoekers een ongekende bron om robuustere detectiemethoden te ontwikkelen.

Toekomstig werk zou kunnen focussen op:

• Uitbreiding van de dataset naar andere talen en modaliteiten.
• Onderzoek naar methoden om LLM's nog menselijker te maken (via in-context learning of fine-tuning) en de bijbehorende detectie uitdagingen.
• Ontwikkeling van geavanceerdere detectietechnieken die verder gaan dan de huidige edit-distance benadering.

Samenvattend stelt dit paper een essentiële infrastructuur neer om de integriteit van nieuwsmedia en academische publicaties te beschermen tegen de toenemende stroom van geautomatiseerde desinformatie.