The Truncation Blind Spot: How Decoding Strategies Systematically Exclude Human-Like Token Choices

Titel: Het Truncatie-Blinde Vlek: Hoe Decodestrategieën Systematisch Menselijke Tokenkeuzes Uitsluiten

Auteurs: Esteban Garces Arias, Nurzhan Sapargali, Christian Heumann, Matthias Aßenmacher.
Publicatiedatum: Maart 2026 (Preprint).

---

1. Het Probleem: De Detecteerbaarheid van AI-gegenereerde Tekst

Hoewel er veel onderzoek is gedaan naar het detecteren van door Large Language Models (LLM's) gegenereerde tekst, blijft de fundamentele vraag onderbelicht: waarom is deze tekst überhaupt detecteerbaar?

De auteurs stellen dat de huidige detectie niet primair een gevolg is van beperkingen in het model zelf, maar van de decodestrategieën die worden gebruikt om tekst te genereren.

• Huidige aanpak: Decodestrategieën zoals top-k, nucleus sampling (top-p) en contrastive search selecteren tokens op basis van waarschijnlijkheid (likelihood). Ze "trunceren" (knippen) de uitdistributie af en houden alleen de tokens met de hoogste kans vast.
• Menselijk taalgebruik: Mensen kiezen woorden op basis van communicatieve geschiktheid (intentie), niet puur op statistische frequentie. Een mens kan een zeldzaam maar perfect passend woord kiezen, terwijl een model dit zou afwijzen omdat het statistisch onwaarschijnlijk is.
• Het Blinde Vlek: Dit creëert een "truncatie-blinde vlek": tokens die contextueel waardevol en menselijk zijn, maar statistisch zeldzaam, waardoor ze voor likelihood-based decoders ontoegankelijk blijven. Deze discrepantie leidt tot een systematisch ander tokenverdeling, wat AI-tekst detecteerbaar maakt.

2. Methodologie

De auteurs voeren een grootschalig empirisch onderzoek uit om deze hypothese te testen.

• Data:
  • 1,8 miljoen gegenereerde teksten gegenereerd door 8 verschillende taalmodellen (waaronder LLaMA 3, Mistral, Qwen 2, Falcon 2, GPT2-XL, Deepseek, en proprietary modellen zoals GPT-3.5 en Claude-3).
  • 5 decodestrategieën: Beam Search, Contrastive Search, Top-k sampling, Top-p sampling, en Temperature sampling.
  • 53 hyperparameter-configuraties per model.
  • 3 menselijke datasets: BookCorpus (fictie), WikiText (encyclopedisch), en WikiNews (nieuws).
• Analyse van het Blinde Vlek:
  • De auteurs berekenen voor menselijke teksten hoeveel tokens zouden worden uitgesloten door de truncatiegrenzen van de modellen (bijv. bij top-k=10).
  • Ze gebruiken twee meetbare proxies om de distributieverschillen te kwantificeren:
    1. Voorspelbaarheid (Predictability): De gemiddelde log-likelihood van de tekst onder een referentiemodel. AI-tekst zou hoger moeten zijn (minder negatief) omdat het alleen hoge-kans tokens kiest.
    2. Lexicale Diversiteit: De variatie in n-grams. Menselijke tekst zou diverser moeten zijn omdat het toegang heeft tot de "blinde vlek" van zeldzame, maar passende woorden.
• Classificatie:
  • Simpele classifiers (Random Forest, Logistic Regression, Naive Bayes) worden getraind alleen op de features "voorspelbaarheid" en "diversiteit" om menselijke vs. machine-tekst te onderscheiden.

3. Belangrijkste Resultaten

RQ1: De Omvang van het Blinde Vlek

• Onder standaard configuraties (bijv. top-k=10 of top-p=0.9) worden 8% tot 18% van de door mensen gekozen tokens uitgesloten door de decodestrategie.
• Mensen kiezen vaak tokens die in de "lange staart" van de verdeling liggen (rang > 100), terwijl modellen deze systematisch negeren.
• Linguïstische samenstelling: De uitgesloten tokens zijn niet willekeurig. Ze bestaan voornamelijk uit inhoudsdragende woorden (content words) zoals zelfstandige naamwoorden, werkwoorden, bijvoeglijke naamwoorden, bijwoorden en cijfers. Functiewoorden (determiners, voegwoorden) worden zelden uitgesloten omdat deze al een hoge waarschijnlijkheid hebben.

RQ2: Detectiesignaal

• Simpele classifiers die alleen gebruikmaken van voorspelbaarheid en diversiteit bereiken een AUC-ROC van 0,969 tot 0,976 (ongeveer 96-97% nauwkeurigheid).
• Dit bewijst dat de distributieverschillen zeer robuust en lineair scheidbaar zijn.

RQ3: Rol van Modelgrootte en Architectuur

• Modelgrootte is irrelevant: Er is geen sterke correlatie tussen het aantal parameters en de detecteerbaarheid. Een oudere, kleinere model (GPT2-XL) kan net zo detecteerbaar zijn als een nieuw, groter model (LLaMA 3).
• Truncatie is de drijvende kracht: De detecteerbaarheid wordt voornamelijk bepaald door de decodparameters (bijv. k-waarde of p-waarde), niet door het model zelf.
• Architectuur: Het fenomeen treedt ook op bij niet-Transformer architecturen (zoals Mamba en RWKV), zolang ze gebruikmaken van likelihood-based truncatie.

RQ4: Kwaliteit vs. Detecteerbaarheid

• Er is een dissociatie tussen lage detecteerbaarheid en hoge tekstkwaliteit.
• Configuraties die de detectie omzeilen (door zeer permissieve truncatie, bijv. hoge temperaturen of lage k-waarden) produceren vaak incoherente of onzinnige tekst.
• Om de detectie te vermijden zonder kwaliteit te verliezen, moet het model toegang hebben tot de "blinde vlek" (zeldzame, maar passende woorden), wat huidige likelihood-based strategieën niet kunnen garanderen.

4. Kernbijdragen

1. Conceptuele Innovatie: De introductie van het concept "Truncation Blind Spot" als de mechanische oorzaak van detecteerbaarheid, in plaats van een gebrek aan modelcapaciteit.
2. Empirisch Bewijs: Een schaal van 1,8 miljoen teksten die aantoont dat menselijke taalkeuzes systematisch buiten de bereik van standaard decoders vallen.
3. Onafhankelijkheid van Model: Het bewijs dat detecteerbaarheid een eigenschap is van de decodestrategie, niet van het specifieke model. Dit verandert de focus van "beter detecteren" naar "beter genereren".
4. Kwaliteits-Dilemma: De vaststelling dat het vermijden van detectie en het produceren van natuurlijke tekst momenteel tegenstrijdige doelen zijn onder huidige decodestrategieën.

5. Significantie en Implicaties

• Voor Detectie: Het paper legt uit waarom bestaande detectoren zo effectief zijn: ze exploiteren een fundamentele structurele bias in hoe AI-tekst wordt gegenereerd.
• Voor Generatie: Het suggereert dat het simpelweg "ontspannen" van de truncatie (meer diversiteit) niet genoeg is, omdat dit leidt tot onzin. De oplossing vereist decodestrategieën die communicatieve intentie en contextuele geschiktheid integreren, niet alleen statistische waarschijnlijkheid.
• Toekomstig Onderzoek: De auteurs pleiten voor nieuwe decodemechanismen die intentie-gedreven selectie nabootsen, of trainingsprocedures die expliciet belonen voor menselijke lexicale diversiteit en informatiedichtheid, in plaats van alleen coherentie.

Conclusie: De detecteerbaarheid van AI-tekst is geen toeval of een gebrek aan slimheid van het model, maar een direct gevolg van de wiskundige beperkingen van likelihood-based truncatie die menselijke taalkeuzes systematisch uitsluiten.