NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution

NOTAI.AI is een uitlegbaar framework dat Fast-DetectGPT uitbreidt met kromme-gebaseerde signalen en stylometrische kenmerken, verwerkt door een XGBoost-classificator met SHAP-analyse en een LLM-laag voor het genereren van gestructureerde, natuurlijke taal-argumenten ter ondersteuning van de detectie van door AI gegenereerde tekst.

De kern

Hier is een uitleg van het paper over NOTAI.AI, vertaald naar begrijpelijk Nederlands met behulp van alledaagse metaforen.

🕵️‍♂️ NOTAI.AI: De Detective die niet alleen zegt "Wie", maar ook "Waarom"

Stel je voor dat je een brief ontvangt. Je vraagt je af: "Is dit geschreven door een mens of door een computer (een AI)?" Vroeger waren er systemen die alleen een cijfer gaven, bijvoorbeeld "85% kans dat dit een AI is". Dat is als een leraar die alleen een cijfer op je toets zet zonder de fouten aan te geven. Je weet dan niet waarom je die punten hebt verloren.

NOTAI.AI is een nieuw systeem dat doet alsof het een detective is. Het kijkt niet alleen naar het antwoord, maar legt ook uit waarom het tot die conclusie komt. Het combineert drie verschillende soorten "sporen" om de waarheid te vinden.

---

🧩 De drie detectivesporen (De 17 kenmerken)

Het systeem gebruikt 17 verschillende manieren om te kijken of tekst echt of nep is. We kunnen deze indelen in drie teams:

1. De Wiskundige (De "Kromme Lijn"):

   • De metafoor: Stel je voor dat je een berg beklimt. Een mens wandelt soms een beetje slordig, maakt kleine omwegen en stapt onregelmatig. Een AI loopt echter vaak als een perfect gepolijste glijbaan: heel glad en voorspelbaar.
   • Wat het doet: NOTAI.AI meet de "kromming" van de tekst. Als de tekst te glad en te perfect is (zoals een AI), slaat het alarm. Dit heet Conditional Probability Curvature.

2. De Taalkundige (De "Stijl"):

   • De metafoor: Een mens gebruikt soms rare zinnen, herhaalt woorden per ongeluk, of gebruikt heel veel uitdrukkingen die we "koffieklap" noemen. Een AI is vaak te beleefd, te herhalend of gebruikt woorden die te "standaard" klinken.
   • Wat het doet: Het telt zinnen, kijkt naar de woordenschat (hoe rijk is de taal?) en let op leestekens. Is de tekst saai en herhalend? Dan is het waarschijnlijk een AI.

3. De Neuronale Expert (De "Gevoelige Neus"):

   • De metafoor: Dit is een andere, slimme computer die zelf veel heeft gelezen. Het heeft een "gevoel" voor tekst. Als het iets leest dat klinkt als iets dat een AI zou schrijven, zegt het: "Hey, dit ruikt verdacht."
   • Wat het doet: Een speciaal getraind model (ModernBERT) geeft een score op basis van hoe de tekst klinkt in de "oorsprong" van de taal.

---

🧠 De Hoofddetective (De "Meta-classifier")

Al deze drie teams sturen hun bevindingen naar één hoofddetective: een XGBoost-model.

• De analogie: Denk aan een jury. De Wiskundige, de Taalkundige en de Neuronale Expert geven allemaal hun mening. De hoofddetective luistert naar iedereen, weegt de bewijzen af en neemt de uiteindelijke beslissing.
• Het resultaat: Omdat het systeem naar alle sporen tegelijk kijkt, is het veel slimmer dan als je maar naar één spoor zou kijken.

---

💡 De "Waarom"-machine (Uitlegbaarheid)

Dit is het belangrijkste deel van NOTAI.AI. Veel andere systemen zeggen alleen: "Dit is een AI." Maar NOTAI.AI zegt: "Dit is een AI, en hier is waarom:"

1. SHAP (De Scorekaart): Het systeem gebruikt een wiskundige methode (SHAP) om te berekenen welk spoor het zwaarst heeft gewogen.
2. De Vertaler (LLM): Wiskundige scores zijn saai voor gewone mensen. Daarom gebruikt NOTAI.AI een slimme taalcomputer (een LLM) om die scores om te zetten in gewone, menselijke zinnen.
   • Voorbeeld: In plaats van "SHAP-waarde van kromming is 0.45", zegt het systeem: "De tekst is te glad en te voorspelbaar, wat typisch is voor een computer."

---

🌐 De Interactieve Speelplaats

Het systeem is niet alleen een stuk code; het is een webapplicatie die je kunt gebruiken.

• Wat kun je doen? Je plakt je tekst in een vakje.
• Wat zie je? Je krijgt een score (Mens vs. AI) en een lijstje met de belangrijkste redenen.
• De "Ablatie"-functie: Dit is een coole optie. Je kunt in de interface zelf kiezen om bepaalde sporen uit te schakelen (bijvoorbeeld: "Wat als we de 'kromme lijn' negeren?"). Dan zie je direct hoe de beslissing verandert. Het is alsof je de detective vraagt: "Wat als we dit bewijs niet meenemen?"

🏆 Wat leert dit ons?

De onderzoekers hebben getest of dit werkt. Ze hebben een dataset gebruikt die ze eerlijk hebben gemaakt (evenveel menselijke als AI-teksten).

• Resultaat: Het systeem is extreem goed (96% nauwkeurig).
• De les: Als je verschillende soorten bewijzen combineert (wiskunde, stijl en neurale netwerken), krijg je een veel betrouwbaarder resultaat dan als je maar één methode gebruikt.

🚀 Conclusie

NOTAI.AI is een hulpmiddel dat ons helpt om de waarheid te vinden in een wereld vol AI-teksten. Het is niet alleen slim, maar ook eerlijk en transparant. Het laat je zien waarom het een beslissing neemt, zodat jij als gebruiker zelf kunt oordelen, in plaats van blindelings op een computer te vertrouwen.

Het is alsof je niet alleen een diagnose krijgt van een dokter, maar ook een duidelijke uitleg over welke symptomen tot die diagnose hebben geleid.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "NOTAI.AI: Explainable Detection of Machine-Generated Text via Curvature and Feature Attribution" in het Nederlands.

Probleemstelling

De snelle opkomst van grote taalmodellen (LLMs) heeft geleid tot een paradigmaverschuiving in tekstgeneratie, waarbij AI-gegenereerde tekst vaak grammaticaal correct, stijlvol natuurlijk en semantisch coherent is, waardoor deze nauwelijks te onderscheiden is van menselijk geschreven tekst. Dit roept ernstige zorgen op over authenticiteit, auteurschap en de integriteit van informatie. Bestaande detectiesystemen kampen met twee belangrijke beperkingen:

1. Gebrek aan robuustheid: Veel detectoren presteren slecht bij domeinverschuivingen, variaties in decoding of onderhevig aan adversariële perturbaties.
2. Gebrek aan transparantie: Bestaande tools leveren vaak alleen een "zwartdoos"-score zonder duidelijke, voor de gebruiker interpreteerbare rechtvaardiging. Dit beperkt de bruikbaarheid voor educatie, journalistiek en analyse.

Methodologie: NOTAI.AI

NOTAI.AI is een hybride, verklaarbaar framework dat machine-gegenereerde tekst detecteert door statistische signalen, neurale signalen en stilistische kenmerken te combineren binnen een toezicht (supervised) meta-classificatiekader. Het systeem volgt een vierstaps-pijplijn: Extract → Decide → Explain → Present.

1. Kenmerkextractie (Feature Extraction)
Het systeem extrahert 17 interpreteerbare kenmerken die drie categorieën omvatten:

• Neurale Signalen: Een fijnafgestemd ModernBERT-model wordt gebruikt om een waarschijnlijkheidsscore (bert_ai_score) te genereren die contextuele waarschijnlijkheid en semantische vloeiendheid vastlegt.
• Kromming op Basis van Voorwaarschijnlijke Waarden (Conditional Probability Curvature - CPC): Geïntegreerd vanuit Fast-DetectGPT. Dit meet de tweede-orde variatie in token-likelihood onder lokale perturbaties. Menselijke tekst vertoont vaak onregelmatige, hogere-variatie kanslandschappen, terwijl AI-gegenereerde tekst gladdere, stabielere profielen heeft.
• Stilistische en Leestekst-kenmerken: Dit omvat leesbaarheidsindices (Flesch Reading Ease), zinslengte, token-aantallen, Type-Token Ratio (woordrijkdom), hapax legomena-ratio, stopwoordratio, cliché-ratio, herhalingspatronen (n-grammen) en leestekens.

2. Meta-Classificatie
Alle 17 kenmerken worden samengevoerd en ingevoerd in een XGBoost (Extreme Gradient Boosting) classifier. Deze meta-classifier leert niet-lineaire interacties tussen de neurale zekerheidsscores, krommingsstatistieken en stilistische indicatoren om te bepalen of tekst door een mens of AI is gegenereerd.

3. Verklaarbaarheid (Explainability)
Om de beslissingen toegankelijk te maken voor niet-experts, combineert NOTAI.AI twee lagen:

• SHAP (Shapley Additive Explanations): Wordt gebruikt om de bijdrage van elk kenmerk aan de definitieve beslissing te kwantificeren (lokaal per instance en globaal over de dataset). Positieve waarden wijzen op "AI", negatieve op "Mens".
• LLM-gestuurde Structuurverklaring: Omdat SHAP-waarden wiskundig complex kunnen zijn, worden deze via een LLM (Google Gemma-3-27b-it) vertaald naar gestructureerde, natuurlijke taal-argumenten. De LLM ontvangt de kenmerkwaarden en hun belangrijkheidsscores en genereert een beknopte, niet-technische uitleg over waarom de beslissing is genomen.

4. Implementatie
Het systeem is gedeployed als een interactieve webapplicatie (Flask/JavaScript) die realtime analyse, visuele inspectie van kenmerken en een "ablation analysis" (waarbij gebruikers specifieke kenmerken kunnen uitschakelen om het effect op de beslissing te zien) ondersteunt.

Belangrijkste Resultaten

De evaluatie vond plaats op een gebalanceerde versie van het RAID-dataset (1:1 verhouding mens/AI, na verwijdering van adversariële voorbeelden).

• Prestatie: De volledige ensemble (NOTAI.AI) bereikte een Accuracy van 0,963 en een F1-score van 0,963.
• Vergelijking met individuele componenten:
  • Alleen Stilistiek: F1 = 0,871
  • Alleen ModernBERT: F1 = 0,856
  • Alleen Kromming (CPC): F1 = 0,888 (hoogste precisie van 0,942)
  • NOTAI.AI Ensemble: Verbetering van +7,5 F1-punten ten opzichte van de beste enkele signaal-baseline.
• Kenmerkbelang: SHAP-analyse toont aan dat Conditional Probability Curvature (CPC), Type-Token Ratio (TTR) en de ModernBERT-score de belangrijkste bijdragers zijn. De analyse onthult niet-lineaire relaties; bijvoorbeeld, hoge TTR-waarden (rijk vocabulaire) worden geassocieerd met AI-gegenereerde tekst in dit model, terwijl CPC-waarden rond nul of negatief vaak wijzen op menselijke tekst.

Bijdragen en Significantie

1. Hybride Aanpak: NOTAI.AI is een van de eerste systemen dat succesvol kromming-based signalen (zero-shot statistiek) combineert met neurale en stilistische kenmerken in een toezicht-omgeving, wat leidt tot superieure prestaties.
2. End-to-End Verklaarbaarheid: Het systeem sluit de kloof tussen hoge prestaties en praktische bruikbaarheid door niet alleen een score te geven, maar ook gestructureerde, natuurlijke taal-argumenten te genereren die de onderliggende bewijzen uitleggen.
3. Interactieve Transparantie: Door de integratie van een webinterface met ablatie-analyse, kunnen gebruikers direct observeren hoe specifieke signalen de beslissing beïnvloeden, wat vertrouwen en inzicht vergroot voor eindgebruikers zoals docenten en journalisten.
4. Reproduceerbaarheid: De broncode en een demo-video zijn publiek beschikbaar gesteld, wat bijdraagt aan de open wetenschap op dit gebied.

Conclusie:
NOTAI.AI demonstreert dat het combineren van diverse signaaltypes met geavanceerde verklaarbaarheidstechnieken (SHAP + LLM) leidt tot een robuust en transparant detectiesysteem. Dit is essentieel voor de praktische toepassing van AI-detectie in real-world scenario's waar niet alleen nauwkeurigheid, maar ook begrip van de beslissingsbasis vereist is.