Interpretable Predictability-Based AI Text Detection: A Replication Study

Dit artikel beschrijft een replicatie- en uitbreidingsstudie van het AuTexTification 2023-systeem voor het detecteren van AI-gegenereerde tekst, waarbij het gebruik van multilinguale modellen en extra stilometrische kenmerken leidt tot verbeterde prestaties en beter inzicht in de besluitvorming.

De kern

🕵️‍♂️ De Opdracht: Kunst of Werk?

Stel je voor dat je een briefje krijgt. Is dit geschreven door een mens, of door een slimme computer (zoals een AI)? En als het een computer is: welke computer heeft het geschreven?

Vroeger was het makkelijk om te zien of iets door een mens was gemaakt. Maar tegenwoordig schrijven AI's (zoals ChatGPT) zo goed, dat ze bijna net zo natuurlijk klinken als wij. Het is alsof iemand een perfecte vermomming draagt.

De auteurs van dit paper (Adam, Dominik en Jakub) wilden een oude "detectiemethode" uit 2023 opnieuw testen en verbeteren. Ze wilden niet alleen zeggen "dit is een AI", maar ook "dit is gemaakt door AI-model X".

🔍 De Drie Grote Vragen

Het team stelde zich drie vragen, die we kunnen vergelijken met het testen van een oude auto:

1. RQ1: Kunnen we de oude resultaten precies kopiëren?

   • De analogie: Je probeert een recept uit 2023 na te maken. Maar de ingrediënten zijn anders, de oven werkt anders, en het recept was niet helemaal duidelijk.
   • Het resultaat: Het lukte niet om exact dezelfde cijfers te krijgen. Kleine verschillen in hoe de data werd gesplitst of welke software-versie je gebruikt, veranderden het eindresultaat. Dit leert ons: Schrijf je recepten (code) heel duidelijk, anders kan niemand het na maken.

2. RQ2: Wat als we nieuwere, sterkere "oogjes" gebruiken?

   • De analogie: De oude methode keek naar de tekst met een oude verrekijker. Het team vervanging deze door een moderne, krachtige telescoop (nieuwe AI-modellen).
   • Het resultaat: Ze ontdekten dat je één grote, multilinguale telescoop kunt gebruiken voor zowel het Engels als het Spaans. Je hoeft geen aparte apparaten te kopen voor elke taal. Dit werkt net zo goed, en soms zelfs beter, dan de oude, taal-specifieke methoden.

3. RQ3: Wat als we meer details gaan zoeken?

   • De analogie: De oude detector keek alleen naar de zinnen. Het team besloot ook te kijken naar de stijl: gebruikt de schrijver veel uitroeptekens? Zijn de zinnen kort of lang? Is het woordgebruik formeel of informeel? Ze voegden 26 nieuwe "stijl-indicatoren" toe.
   • Het resultaat: Dit werkte fantastisch! Het was alsof je een detective niet alleen de tekst geeft, maar ook de handschriftstijl en de inktkwaliteit. De detector werd veel slimmer en kon beter zien wie de tekst had geschreven.

🛠️ Hoe werkt hun nieuwe systeem?

Het team bouwde een hybride systeem, een soort "detective-team" met twee specialisten:

1. De Wiskundige (Probabiliteit): Deze kijkt naar de kansberekening. AI's kiezen vaak woorden die ze "het meest waarschijnlijk" vinden. Mensen zijn soms creatiever en kiezen soms minder voor de hand liggende woorden. De wiskundige zoekt naar deze patronen.
2. De Stijl-expert (Stylometrie): Deze kijkt naar de "vibe" van de tekst. Hoeveel zinnen zijn er? Hoeveel rare woorden worden gebruikt? Is het grammaticaal perfect (AI is vaak te perfect, mensen maken kleine foutjes)?

Door deze twee samen te werken, krijgen ze een heel scherp beeld.

💡 Wat is de belangrijkste les?

Het onderzoek toont twee dingen aan:

• Transparantie is cruciaal: Als je een wetenschappelijk onderzoek publiceert, moet je je code en data heel duidelijk delen. Anders kan niemand je werk verifiëren, en dat is gevaarlijk voor de wetenschap.
• Stijl telt nog steeds: Zelfs met supersterke AI-modellen, zijn de kleine, menselijke (of juist te perfecte) stijleigenschappen nog steeds de sleutel om AI te onderscheiden van mensen.

🏁 Conclusie

Het team heeft bewezen dat je AI-tekstdetectie kunt verbeteren door:

1. Nieuwere, krachtigere modellen te gebruiken.
2. Meer aandacht te besteden aan de schrijfstijl (niet alleen de inhoud).
3. Alles heel duidelijk te documenteren zodat anderen het kunnen controleren.

Het is alsof ze een oude, stoffige detector hebben opgepoetst, nieuwe batterijen hebben geplaatst en er een extra lens op hebben gezet. Het resultaat? Een veel betrouwbaarder systeem dat ons helpt te zien wat echt is en wat door een machine is bedacht.

Technische samenvatting

Probleemstelling

De snelle ontwikkeling van grote taalmodellen (LLM's) zoals GPT-4 en LLaMA heeft geleid tot de productie van vloeiende, mensachtige teksten. Dit creëert een urgente behoefte aan betrouwbare tools om machine-gegenereerde tekst te detecteren en toe te schrijven aan specifieke modellen.
De uitdaging verschuift van eenvoudige binaire detectie (mens vs. AI) naar complexere model-attribution (welk specifiek model heeft de tekst gegenereerd?). Bestaande methoden zijn vaak "black boxes" (neuronale netwerken) die weinig inzicht geven in waarom een beslissing wordt genomen. Bovendien is de reproduceerbaarheid van eerdere studies beperkt door gebrek aan gedetailleerde documentatie, verouderde modellen en inconsistente data-splits.

Methodologie

De auteurs repliceren en uitbreiden het hybride systeem dat werd gebruikt in de AuTexTification 2023 gedeelde taak. De studie is opgebouwd rond drie onderzoeksvragen (RQ's):

1. Reproductie (RQ1): Kan het originele systeem van Przybyla et al. (2023) exact worden gereproduceerd?

   • De auteurs probeerden het originele experiment te repliceren met de openbare code en beschrijving.
   • Ze stelden vast dat exacte numerieke replicatie onmogelijk was vanwege verschillen in data-splits, de beschikbaarheid van specifieke Spaanse modellen (die niet meer beschikbaar waren), en ambiguïteiten in de implementatie van linguïstische features (bijv. spaCy-versies).

2. Invloed van Basismodellen (RQ2): Hoe beïnvloedt de keuze van het taalmodel de prestaties?

   • Ze vervingen de originele, verouderde modellen (GPT-2 voor probabilistische features en RoBERTa voor contextuele representaties) door nieuwere, meertalige modellen.
   • Voor probabilistische features werden groepen zoals Qwen, mGPT, LLaMA en BLOOM getest.
   • Voor de encoder (contextuele representaties) werd mDeBERTa-v3-base gekozen als gedeelde encoder voor zowel Engels als Spaans, in plaats van taalspecifieke modellen.
   • Het doel was een unificatie: één configuratie voor beide talen en beide subtaken (binaire detectie en model-attribution).

3. Uitbreiding van Stylometrische Features (RQ3): Wat is de impact van nieuwe document-level features?

   • Er werden 26 nieuwe stylometrische features toegevoegd aan het originele setje. Deze vallen in zeven categorieën: lexische diversiteit, zinsstructuur, herhalingspatronen, woordstatistieken, functionele markers, leesbaarheidsmetrieken en leestekens.
   • De auteurs gebruikten SHAP (SHapley Additive exPlanations) om de belangrijkheid van deze features te analyseren en de interpreteerbaarheid van het model te vergroten.

Architectuur:
Het systeem combineert drie componenten:

• Predictability-based features: Log-probabiliteiten en entropie berekend met generatieve modellen.
• Contextuele representaties: [CLS]-vectoren van een fine-tuned transformer (FLM).
• Stylometrische features: Document-level statistieken verwerkt door een Random Forest (LingRF) of gecombineerd met de output van het neurale netwerk.

Belangrijkste Resultaten

• Reproduceerbaarheid: Exacte replicatie van de originele resultaten bleek niet haalbaar. Kleine verschillen in data-splits, modelversies en feature-extractie leidden tot afwijkingen van 0,008 tot 0,070 F1-punten. Dit benadrukt de noodzaak van volledige code-distributie en gedetailleerde documentatie.
• Meertalige Configuratie: De nieuwe configuratie met mDeBERTa-v3 en de Large groep van generatieve modellen (o.a. Qwen, LLaMA) presteerde vergelijkbaar of beter dan de originele, taalspecifieke modellen. Dit bewijst dat één unificatie-configuratie voor meerdere talen mogelijk is zonder taalspecifieke aanpassingen.
• Impact van Stylometrie:
  • Het toevoegen van de 26 nieuwe features verbeterde de prestaties aanzienlijk in alle scenario's.
  • Voor de taak "LingRF" (alleen linguïstische features) leidde dit tot een stijging van Macro F1 met tot +21,6% (Spaans, Subtask 1).
  • In de gecombineerde modellen (LingRF + PredOut) leverden de nieuwe features de grootste winst op, vooral bij de moeilijke model-attribution taak (Subtask 2).
• Interpreteerbaarheid: SHAP-analyse toonde aan dat de nieuwe stylometrische features (zoals lexische diversiteit en zinslengte-variantie) tot de belangrijkste voorspellers behoren. Ze vullen de probabilistische signalen aan in plaats van ze te vervangen.

Bijdragen en Significantie

1. Systematische Replicatie: Het artikel identificeert kritieke factoren die de reproduceerbaarheid van AI-detectiestudies beïnvloeden (data-splits, modelversies, feature-definities) en pleit voor transparantie in de wetenschappelijke community.
2. Unificatie van Meertalige Detectie: Het bewijst dat moderne meertalige modellen een praktische en effectieve alternatief zijn voor complexe, taalspecifieke pipelines, wat de implementatie vereenvoudigt.
3. Interpreteerbare AI: Door het combineren van neurale features met uitgebreide stylometrie en SHAP-analyse, biedt het systeem niet alleen hoge nauwkeurigheid, maar ook inzicht in welke stijlkenmerken de beslissingen van het model sturen. Dit is cruciaal voor vertrouwen en debugging.
4. Prestatieverbetering: De uitgebreide feature-set en nieuwe basismodellen leiden tot state-of-the-art resultaten die concurreren met of beter zijn dan bestaande detectoren (zoals mdok), met name in binaire detectie, terwijl het model transparanter blijft.

Conclusie:
De studie concludeert dat succesvolle AI-tekstdetectie niet alleen afhangt van de modelarchitectuur, maar ook sterk beïnvloed wordt door feature-ontwerp en implementatiedetails. Een combinatie van probabilistische signalen en interpreteerbare stylometrische features, ondersteund door een transparante en reproduceerbare pipeline, is essentieel voor betrouwbare en eerlijke vergelijkingen in dit veld.