Can We Trust LLM Detectors?

Technische Samenvatting: Kunnen we LLM-detectoren vertrouwen?

Probleemstelling
De snelle adoptie van Large Language Models (LLM's) heeft een dringende behoefte gecreëerd aan betrouwbare AI-tekstdetectie, met name in academische contexten waar integriteit van groot belang is. Er bestaat echter een kritieke kloof tussen de bijna perfecte nauwkeurigheid die gerapporteerd wordt in gecontroleerde benchmarks en de betrouwbaarheid van deze detectoren in real-world, out-of-distribution (OOD) scenario's. Bestaande detectoren falen vaak wanneer ze worden geconfronteerd met ongeziene generatoren, distributieverschuivingen of eenvoudige stilistische perturbaties. Dit werk evalueert systematisch de betrouwbaarheid van twee dominante detectieparadigma's—training-vrije methoden en supervised fine-tuning—om te bepalen of ze buiten specifieke in-domain settings vertrouwd kunnen worden.

Methodologie
De auteurs stellen een Supervised Contrastive Learning (SCL) framework voor, ontworpen om onderscheidende stijl-embeddings te leren die menselijke en door machines gegenereerde tekst van elkaar scheiden. De methodologie bestaat uit de volgende componenten:

• Basisarchitectuur: Het systeem maakt gebruik van een pre-trained DeBERTa-v3 backbone.
• Dual-Objective Training:
  1. Binaire Classificatie: Een standaard supervised classifier wordt gefinetuned met behulp van een binary cross-entropy loss ($L_{BCE}$) om onderscheid te maken tussen menselijke en AI-gegenereerde tekst.
  2. Contrastive Learning: Een SCL-module wordt geïntegreerd om de embedding-ruimte te structureren. Met behulp van een InfoNCE loss functie ($L_{InfoNCE}$) leert het model embeddings te clusteren zodat samples van dezelfde klasse (menselijk of AI) duidelijke, coherente clusters vormen, terwijl verschillende klassen van elkaar worden gescheiden.
• Few-Shot Adaptatie: Het framework is ontworpen om zich aan te passen aan nieuwe, ongeziene LLM's met minimale data. In plaats van het basismodel opnieuw te trainen, werkt het systeem de klasse-centroid bij voor het nieuwe AI-model met een klein aantal samples (bijv. 25 voorbeelden) om de beslissingsgrens aan te passen.

Experimentele Opstelling
De evaluatie maakt gebruik van drie verschillende datasets om in-domain prestaties, cross-domain generalisatie en multi-generator robuustheid te testen:

• RAID: Een grootschalige benchmark met meer dan 6 miljoen teksten van 11 LLM's over 8 domeinen.
• CHEAT: Een dataset van 35.304 academische abstracts gebruikt voor hoogwaardige supervised evaluatie.
• M4: Een multi-generator, multi-domein en multi-linguale corpus ontworpen voor black-box detectie, die diverse linguïstische settings omvat (bijv. Reddit, Wikipedia).

De voorgestelde methode wordt vergeleken met twee training-vrije baselines (Binoculars, FastDetectGPT) en twee supervised baselines (BERT, GAN-BERT).

Belangrijkste Resultaten

• In-Domain Prestaties: Supervised methoden presteren aanzienlijk beter dan training-vrije benaderingen op de in-domain RAID-dataset. De voorgestelde SCL-methode behaalde de hoogste nauwkeurigheid (95,98%), perfecte precisie (100%) en de laagste false positive rate (0,90%) van alle baselines.
• Out-of-Distribution (OOD) Generalisatie:
  • CHEAT: Het SCL-framework generaliseerde effectief naar deze academische dataset en behaalde een nauwkeurigheid van 97,83%. Dit succes wordt toegeschreven aan de stilistische overeenkomst tussen de trainingsdata (RAID) en de testdata (CHEAT), die beide formele academische teksten bevatten.
  • M4: De prestaties daalden scherp op de M4-dataset (een daling naar 50,83% nauwkeurigheid). De auteurs schrijven dit toe aan een ernstige distributieverschuiving; M4 bevat informele, ruisgevoelige domeinen (zoals Reddit) met een hogere karakterdiversiteit en cijferdichtheid, die de geleerde stijl-representaties niet konden vatten.
• Few-Shot Adaptatie: Het framework demonstreerde het vermogen om zich aan te passen aan ongeziene LLM's (GPT-4o, Claude-3.5) met slechts 25 voorbeelden, wat substantiële winst opleverde ten opzichte van zero-shot prestaties.
• Adversariële Robuustheid: De detectoren bleken zeer broos.
  • White-box aanvallen: Greedy Coordinate Gradient (GCG) aanvallen konden de voorspellingen voor 99,3% van de samples omdraaien, hoewel de resulterende tekst vaak een gebrek aan semantische natuurlijkheid vertoonde.
  • Black-box perturbaties: Eenvoudige stilistische wijzigingen, zoals het toevoegen van aanhalingstekens of attributie-elementen, verminderden de nauwkeurigheid aanzienlijk (van 3,3% naar 8,5% in specifieke metrieken), wat wijst op een afhankelijkheid van fragiele oppervlaktekenmerken in plaats van diepe semantische begrip.

Significantie en Claims
Het artikel concludeert dat hoewel supervised detectoren domineren in in-domain settings, het bouwen van een universele, domein-agnostische LLM-detector momenteel onhaalbaar is. De studie legt fundamentele uitdagingen in het veld bloot:

1. Broosheid: Zowel training-vrije als supervised detectoren lijden onder ernstige degradatie door distributieverschuivingen, ongeziene generatoren en eenvoudige stilistische perturbaties.
2. Beperkingen van huidige paradigma's: Hoewel het voorgestelde SCL-framework de robuustheid verbetert en efficiënte few-shot adaptatie mogelijk maakt, lost het het probleem van generalisatie over diverse domeinen niet volledig op (zoals aangetoond door de mislukking op M4).
3. Betrouwbaarheid: De resultaten suggereren dat huidige geautomatiseerde detectiesystemen niet volledig vertrouwd kunnen worden voor real-world deployment zonder rekening te houden met hun vatbaarheid voor domein-mismatch en adversariële manipulatie.

De auteurs benadrukken dat hun werk geen perfecte oplossing voorstelt, maar eerder uitgebreid bewijs levert van de beperkingen van bestaande detectieparadigma's, waarbij zij de nadruk leggen op de noodzaak voor robuustere, stijl-bewuste methoden en tegelijkertijd de verwachtingen voor een "universele" detector temperen.