Technische Samenvatting: AEyeDE

Probleemstelling

De snelle vooruitgang van Large Language Models (LLMs) heeft tekstgeneratie met menselijke vloeiendheid mogelijk gemaakt, wat aanzienlijke uitdagingen vormt voor de integriteit van informatie, academische eerlijkheid en maatschappelijk vertrouwen. Bestaande detectiemethoden kampen met intrinsieke beperkingen:

• Oppervlakkige statistische en waarschijnlijkheidsgebaseerde detectoren (bijv. perplexiteit, burstiness, kromming) verslechteren naarmate LLM's worden geoptimaliseerd via technieken zoals RLHF om menselijke distributies na te bootsen.
• Gesuperviseerde classificators lijden vaak onder domeinverschuivingen en slagen er niet in te generaliseren naar onbekende generatoren.
• Watermarking vereist medewerking van de generator en is kwetsbaar voor parafrasering en bewerking achteraf.

Huidige benaderingen analyseren primair wat er geschreven is (de tekstsequentie zelf). De auteurs hypothetiseren dat het analyseren van hoe tekst wordt geproduceerd—specifiek de interne token-token interactiestructuren binnen een model—een rijker en robuuster signaal biedt om menselijke en door AI gegenereerde tekst van elkaar te onderscheiden.

Methodologie: AEyeDE Framework

De auteurs stellen AEyeDE voor, een attributiegestuurd framework dat gebruikmaakt van attention attribution maps van een proxy Transformer-model als de primaire input voor detectie, in plaats van uitsluitend te vertrouwen op de tekstsequentie.

1. Attributie-extractie

Gegeven een geobserveerde tekstmonster $x$ (menselijk of door AI gegenereerd), stuurt het framework deze door een vaste proxy-model $G_\theta$ met white-box toegang.

• Decoder-only modellen: De attributiekaart weerspiegelt causale self-attention (de invloed van voorgaande tokens op huidige tokens).
• Encoder-decoder modellen: De kaart weerspiegelt cross-attention (de invloed van bron-tokens op doel-tokens).
• Het systeem extraheert attention matrices van alle lagen en heads, en middelt deze om een enkele attributie-matrix $A(x; \theta) \in \mathbb{R}^{T_t \times T_s}$ te produceren.

2. Netwerkarchitectuur

De attributiekaarten worden verwerkt door een lichtgewicht Convolutional Neural Network (CNN) dat is ontworpen om representaties te leren van deze 2D relationele structuren:

• Block Sampling: Voor decoder-only modellen wordt de grote attention matrix samengevat door het samplen van vaste grootte vierkante blokken (bijv. $128 \times 128$) langs de hoofddiagonaal, waar de sterkste lokale token-token interacties geconcentreerd zijn. Voor encoder-decoder modellen wordt de volledige cross-attention kaart gebruikt.
• CNN Encoder: Elk blok wordt behandeld als een single-channel afbeelding en verwerkt door een reeks convolutionele blokken (kanaalprogressie: $1 \to 32 \to 64 \to 128 \to 128 \to 256$) met max-pooling.
• Pooling en Classificatie: De resulterende embeddings worden geaggregeerd met behulp van learnable attention pooling om een globale representatie te vormen. Deze wordt door een lichtgewicht Multi-Layer Perceptron (MLP) gestuurd om de waarschijnlijkheid van AI-auteurschap te voorspellen.
• Optionele Teksttak: Het framework kan optioneel tekst-embeddings (van een aparte encoder) samenvoegen met attributie-embeddings, hoewel experimenten laten zien dat attention-only representaties vaak competitief zijn.

3. Interpreteerbaarheidsanalyse

De auteurs analyseren de geleerde representaties door $8 \times 8$ patches uit de laatste convolutionele feature maps te clusteren. Ze identificeren terugkerende lokale structuren, getiteld "motifs", en vergelijken hun relatieve frequenties tussen menselijke en door AI gegenereerde tekst.

Belangrijkste Bijdragen

1. AEyeDE Framework: Introductie van een attributiegebaseerd detectieframework dat gebruikmaakt van attention maps van een proxy Transformer als gestructureerde input voor een lichtgewicht CNN-classifier, waarmee verder wordt gegaan dan oppervlakkige statistieken.
2. Uitgebreide Empirische Evaluatie: Uitgebreide testen over:
   • Encoder-decoder instellingen: Machinevertaling benchmarks (WMT14, UN Parallel Corpus).
   • Decoder-only instellingen: Open-ended generatie datasets (HC3, RAID, Beemo).
   • Scenario's: Generator-specifieke detectie, mixed-generator generalisatie, adversariële perturbaties (parafrasering, alternatieve spelling) en cross-dataset transfer.
3. Motif Ontdekking: Identificatie van terugkerende lokale attention patronen ("motifs") waarvan de prevalentie systematisch verschilt tussen menselijke en door AI gegenereerde tekst. Deze motieven bieden een interpreteerbare, gelokaliseerde handtekening van auteurschap.

Experimentele Resultaten

Het artikel rapporteert resultaten over verschillende instellingen en benadrukt de volgende bevindingen:

• Encoder-Decoder Prestaties: AEyeDE presteert consistent beter dan tekst-only baselines. Op vertaaltaken (fr-en, de-en, ar-en) behaalde het F1-winsten van +3,6 tot +8,3 ten opzichte van tekst-only modellen.
• Generator-Specifieke Detectie: In settings waar het proxy-model overeenkomt met de generator-familie, bereikt AEyeDE bijna plafondprestaties (F1: 96,34–99,25; AUC: 98,81–99,86), wat aanzienlijk beter is dan baselines zoals Binoculars, Curvature en RoBERTa.
• Cross-Generator Generalisatie: Wanneer getraind op een mix van generatoren en getest op een onbekende generator (Mistral), behoudt AEyeDE de beste AUC en TPR@FPR=0,01 onder alle methoden, hoewel met een conservatiever werkpunt (hoge precisie, lagere recall) vergeleken met baselines die neigen naar "all-positive" voorspellingen.
• Robuustheid tegen Adversariële Aanvallen:
  • Alternatieve Spelling: AEyeDE demonstreert uitzonderlijke robuustheid en behoudt een hoge F1 (98,47) en AUC (99,75) tegen karakter-niveau spelling-perturbaties, waarbij het alle baselines met ruime marges verslaat.
  • Parafrasering: In individuele settings behoudt AEyeDE een sterke precisie-recall trade-off. Echter, in verenigde (mixed-generator) settings neemt de prestatie voor alle methoden af, en neemt het voordeel van AEyeDE af, hoewel het nog steeds de hoogste F1 behaalt.
• Cross-Dataset Transfer: Op de externe Beemo dataset presteert AEyeDE beter dan alle baselines op het gebied van accuratesse, precisie, F1 en AUC, wat een sterke generalisatiekracht aantoont, zelfs met beperkte trainingsdata.

Betekenis en Claims

Het artikel claimt dat attention-gebaseerde attributiekaarten een complementair en interpreteerbaar signaal bieden voor de detectie van door AI gegenereerde tekst.

• Robuustheid: De methode is minder afhankelijk van lexicale of stilistische cues en vertoont superieure robuustheid tegen alternatieve-spelling aanvallen en cross-dataset transfer vergeleken met oppervlakkige statistische of waarschijnlijkheidsgebaseerde methoden.
• Interpreteerbaarheid: De ontdekking van terugkerende "motifs" suggereert dat auteurschap een gelokaliseerde, herhaalbare handtekening achterlaat in de proxy-model attention maps. De analyse laat zien dat hoewel de prevalentie van deze motieven verschilt tussen menselijke en AI-tekst, hun saliency (belang voor de beslissing) niet altijd correleert met prevalentie, wat wijst op een complexe relatie tussen structurele patronen en detectie.
• Praktische Bruikbaarheid: Het framework opereert met white-box toegang tot een proxy model, niet noodzakelijkerwijs de ware generator, en behaalt sterke resultaten met een lichtgewicht CNN die getraind is op relatief kleine hoeveelheden data.

De auteurs concluderen dat hoewel het framework uitgaat van white-box toegang tot een proxy (een beperking voor volledig black-box scenario's), de generalisatie van attributiepatronen over generator-families heen suggereert dat exacte toegang tot de ware generator niet strikt vereist is voor effectieve detectie. Zij positioneren dit werk als een stap naar detectoren die transparante, verifieerbare bewijzen leveren voor hun beslissingen.