Team DACTYL at PAN 2026: Bayesian Data Mixing and Empirical X-risk Minimization for AI-text Detection
Team DACTYL pakt de out-of-distribution prestatiekloof in AI-tekstdetectie aan door Bayesiaanse datamenging te gebruiken voor datasetcuratie en empirische X-risico-minimalisatie, waarmee een top ranglijstpositie wordt bereikt met een MCGrad-gekalibreerd ModernBERT-large model dat een gemiddelde score van 0,974 behaalde op de PAN 2026 testset.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die probeert een vervalste schildering te ontdekken. Je hebt jarenlang een specifieke galerie met vervalsingen bestudeerd, waardoor je direct kunt zien wanneer een nieuw stuk bij diezelfde galerie hoort. Maar wat gebeurt er als de vervalser van studio wisselt, andere penselen gebruikt, of in een totaal andere stijl schildert? Plotseling kan je deskundige oog falen, niet omdat je niet slim bent, maar omdat je de verkeerde aanwijzingen hebt geleerd — zoals een specifiek type lijst of een vreemde vlek die alleen in de eerste galerie voorkwam. Dit is de kern van het probleem in "AI-tekstdetectie". Wetenschappers bouwen computerprogramma's om tekst te lezen en te beslissen of een mens het geschreven heeft of dat een robot (een Large Language Model) het deed. Het probleem is dat deze programma's vaak te goed worden in het opsporen van de specifieke "robotvingerafdrukken" uit hun trainingsdata, om vervolgens in de war te raken wanneer de robots op nieuwe manieren gaan schrijven. Als we het verschil niet kunnen zien, kunnen we per ongeluk nepnieuws vertrouwen of echte menselijke creativiteit missen. De grote vraag is: hoe trainen we onze digitale detectives om echt slim te zijn, en niet alleen goed in het memoriseren van het verleden?
Maak kennis met Team DACTYL, een groep onderzoekers die besloot dit probleem aan te pakken voor de PAN 2026 competitie, een prestigieuze wedstrijd voor AI-detectoren. In plaats van simpelweg meer data op het probleem te gooien, probeerden ze een slimme, meerstaps strategie die een beetje voelt als het trainen van een team verkenners voordat je het zware geschut inzet.
Eerst realiseerden ze zich dat het simpelweg mengen van verschillende datasets niet altijd hielp; soms zorgde het er juist voor dat de modellen in de war raakten door "shortcut learning", waarbij de AI een makkelijke truc vindt om de test te bedriegen in plaats van de echte les te leren. Om dit op te lossen, bouwden ze een nieuwe, enorme dataset genaamd DACTYLv2. Denk aan dit als een gigantische bibliotheek van verhalen geschreven door mensen en door diverse AI-modellen, variërend van filmscripts tot economische papers. Maar ze hebben deze boeken niet zoma aantallen in de trainingsstapel gedumpt. Ze wisten dat sommige boeken "slechte actoren" waren — teksten die op AI leken maar eigenlijk menselijk waren, of andersom, of gewoon vreemde uitschieters die de training zouden verstoren.
Om de slechte actoren eruit te filteren, creëerden ze een speciaal team van "verkenners" met behulp van kleine, lichte AI-modellen genaamd Bayesian BERT-tiny. Deze verkenners zijn speciaal omdat ze niet alleen een "ja" of "nee" antwoord geven; ze vertellen je ook hoe zeker ze zijn. Stel je een verkenner voor die zegt: "Ik denk dat dit een robot is, maar ik weet het niet 100% zeker," versus "Ik ben absoluut zeker dat dit een robot is." Het team gebruikte deze betrouwbaarheidsniveaus om slimme beslissingen te nemen. Als een tekst de verkenners in de war bracht (hoge onzekerheid) of als de verkenners er met zekerheid naast zaten (lage onzekerheid maar een fout antwoord), gooiden ze die tekst eruit. Ze hielden alleen de "gouden" teksten aan waar de verkenners het over eens waren, waardoor ze een superzuivere, hoogwaardige trainingsset creëerden.
Zodra ze over deze smetteloze bibliotheek beschikten, trainden ze twee krachtige "zwaargewicht" detectives: een ModernBERT-large en een DeBERTa-V3-large. Dit zijn veel grotere en slimmere modellen dan de verkenners. Maar hier komt de twist: het team liet deze grote modellen niet zomaar gokken. Ze gebruikten een techniek genaamd Empirical X-risk Minimization (EXM). In plaats van alleen maar te proberen zo vaak mogelijk het juiste antwoord te geven, leert EXM het model om echt goed te zijn in het onderscheiden van de "moeilijke" gevallen — de lastige teksten die erg lijken op zowel menselijke als robot-teksten. Het is also kind als het trainen van een detective niet alleen om voor de overduidelijke vervalsingen te kunnen, maar om de vervalsingen te herkennen die bijna perfect zijn.
Voor hun laatste truc voegden ze een "kalibratiecoach" toe genaamd MCGrad. Zelfs slimme detectives kunnen overmoedig zijn. Soms zegt een model: "Ik ben voor 99% zeker dat dit een robot is," terwijl het eigenlijk maar 60% zeker is. De MCGrad-coach kijkt naar de onzekerheidssignalen van de kleine verkenners en past de betrouwbaarheidsscores van het grote model aan om ze eerlijker te maken. Het is als een coach die een zelfverzekerde atleet vertelt: "Je bent goed, maar zet niet je hele salaris op deze weddenschap."
De resultaten? De strategie van het team werkte prachtig. Hun ModernBERT-large model, na coaching door MCGrad, behaalde een indrukwekkende gemiddelde score van 0.974 op de eindtest. Dit was goed genoeg om hen op de tweede plaats op het klassement te brengen, waarmee ze veel andere teams en zelfs de winnaar van het voorgaande jaar in verschillende categorieën versloegen. Interessant genoeg was hun andere grote model, DeBERTa-V3-large, iets minder nauwkeurig qua algemeenheid (met een score van 0.882), maar was het ongelooflijk goed in het specifiek opsporen van de "robot"-teksten, wat aantoont dat verschillende strategieën verschillende sterktes hebben.
Het paper suggereert dat de sleutel tot het verslaan van AI-detectoren niet alleen het gebruiken van grotere computers of meer data is, maar heel voorzichtig te zijn over welke data je gebruikt. Door kleine, onzekere modellen te gebruiken om de ruis te filteren en vervolgens grote modellen te trainen om zich te concentreren op de moeilijkste gevallen, lieten Team DACTYL zien dat zorgvuldige selectie kan leiden tot detectoren die veel moeilijker te misleiden zijn. Hoewel hun methode niet perfect werkte op elke enkele test (sommige nieuwe soorten AI-teksten brachten hen nog steeds in de war), bewijst het dat een slimme, gelaagde aanpak een krachtige manier is om onze digitale wereld eerlijk te houden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.