💬 NLP

EVIL-Detect for NLPCC 2026 Shared Task 6: LLM-Generated Text Detection

Dit artikel presenteert EVIL-Detect, een multi-signaal ensemble-framework met conflictbewuste fusie dat de eerste plaats behaalde in de NLPCC 2026 Shared Task 6 door effectief door LLM gegenereerde, door mensen geschreven en door LLM verfijnde tekst in Chinese scenario's te detecteren.

Oorspronkelijke auteurs: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hongrui Bao, Hangyu Rong, Zhuoshang Wang, Yubing Ren, Yanan Cao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorme, drukke bibliotheek waar boeken worden geschreven door zowel mensen als een nieuw, ongelooflijk snel soort bibliothecaris: Kunstmatige Intelligentie. Lange tijd konden deze AI-bibliothecarissen (Large Language Models genoemd) alleen eenvoudige aantekeningen schrijven, maar nu kunnen ze hele verhalen, essays en artikelen schrijven die bijna precies klinken alsof een mens ze geschreven heeft. Dit is een tweesnijdend zwaard. Aan de ene kant is het een superkracht voor creativiteit; aan de andere kant maakt het het moeilijk om te zien wie een stuk tekst daadwerkelijk heeft geschreven. Als een student een essay inlevert, hoe weten we dan of de student het heeft geschreven, of de AI het heeft geschreven, of dat de student een AI heeft gevraagd om een ruwe versie van zijn concept te polijsten? Dit is het grote puzzelstuk waar wetenschappers proberen op te lossen: het bouwen van een "leugendetector" voor tekst die het verschil kan zien tussen een mens, een robot en een mens-robot-teamwerk.

In dit verhaal heeft een team onderzoekers uit China een nieuwe tool gebouwd genaamd EVIL-Detect om dit puzzelstuk op te lossen. Ze hebben niet alleen één detector gebouwd; ze hebben een "detective-eenheid" gebouwd die samenwerkt om de waarheid te vangen. Hun systeem werd getest in een belangrijke competitie genaamd NLPCC 2026, waar het een lastige uitdaging kreeg: het onderscheiden van drie soorten tekst — puur menselijk schrijven, puur AI-schrijven, en tekst die door een mens is geschreven maar vervolgens door een AI is bewerkt of gepolijst. Terwijl andere methoden probeerden het antwoord te raden met één enkel brein, gebruikte EVIL-Detect een teambenadering door verschillende aanwijzingen te combineren om het juiste antwoord te krijgen. In de eindscore behaalde hun systeem een macro-F1-score van 0,8888, waarmee het op de eerste plaats eindigde in de officiële evaluatie.

Het Probleem: Het "Drievoudige" Mysterie

De meeste ouderwetse detectoren waren als binaire schakelaars: ze konden alleen zeggen "Mens" of "AI". Maar de echte wereld is rommeliger. Mensen gebruiken AI vaak om hun grammatica te verbeteren of om hun schrijfstijl beter te laten klinken. Dit creëert een derde categorie: LLM-verfijnde tekst. Stel je voor dat een student een concept schrijft (Mens), de AI vervolgens vraagt om "dit professioneler te laten klinken" (Verfijnd), of dat een AI een heel verhaal vanaf nul schrijft (AI). De uitdaging is dat de "Verfijnde" tekst een mix van beide lijkt, wat het erg moeilijk maakt om het te ontdekken.

De onderzoekers ontdekten dat als je een computer simpelweg probeert te leren om alle drie tegelijk te raden, hij in de war raakt. In hun tests presteerde een standaardmethode die probeerde alle drie de categorieën direct te leren erbarmelijk, met een score van slechts 0,1690 op de test. Het was alsof je een hond probeert te leren om drie talen tegelijk te spreken; hij gaf het gewoon op.

De Oplossing: De Detective-eenheid (EVIL-Detect)

In plaats van één groot brein, bouwde het team EVIL-Detect (wat staat voor Edit-aware View-Integrated Learning for Detection). Zie dit systeem als een team van vier verschillende detectives, die elk naar de tekst kijken door een andere bril. Ze stemmen niet alleen; ze praten met elkaar en lossen hun meningsverschillen op om tot een definitief oordeel te komen.

Dit zijn de vier detectives en waar zij naar kijken:

De "Bewerkings-detective" (Supervised Training): Deze detective is getraind om te meten hoeveel de tekst is veranderd. Hij kijkt naar het verschil tussen de oorspronkelijke stijl van een mens en de definitieve versie. Als de tekst puur menselijk is, is de verandering nul. Als het puur AI is, is de verandering enorm. Als het "Verfijnd" is, zit de verandering ergens in het midden. Deze detective geeft een score op een schaal van 0 tot 1, en vertelt het team hoe "bewerkt" de tekst aanvoelt.
De "Zero-Shot Detective" (EchoPrompt): Deze detective hoeft niet getraind te worden op de specifieke data. Hij gebruikt een slimme truc: hij vraagt de tekst: "Klinkt dit alsof een robot dit zou zeggen?", door te vergelijken hoe waarschijnlijk het is dat verschillende AI-modellen deze tekst zouden genereren. Als de tekst heel erg lijkt op de natuurlijke output van een robot, tilt deze detective een rood vlaggetje op voor "AI-gegenereerd".
De "Woordtelling-detective" (Lexical Statistics): Deze detective kijkt naar de kleine, saaie details: hoe vaak bepaalde woorden of lettercombinaties voorkomen. Mensen en robots hebben de neiging om verschillende "vingerafdrukken" van woorden te gebruiken. Deze detective telt deze patronen om te zien of de tekst meer neigt naar menselijke gewoonten of machinegewoonten.
De "Regelboek-detective" (Text Rules): Dit is het vangnet. Hij zoekt naar overduidelijke aanwijzingen die een mens niet zou maken, zoals overgebleven computercode (HTML-tags zoals <div> of <html>) of onvoltooide zinnen die eruitzien alsof een robot halverwege werd afgebroken. Als hij dit ziet, markeert hij de tekst onmiddellijk als AI.

Hoe ze samenwerken: De "Conflict-bewuste" Vergadering

De magie van EVIL-Detect is niet alleen het hebben van vier detectives; het is hoe ze omgaan met situaties waarin ze het oneens zijn. Soms denkt de "Bewerkings-detective" dat een tekst "Verfijnd" is, terwijl de "Woordtelling-detective" denkt dat het "AI" is.

In plaats van simpelweg hun stemmen te middelen (wat zou zijn als een democratie waarbij de minderheidsmening wordt genegeerd), gebruikt het team een Conflict-Aware Fusion strategie. Ze hebben een set regels om discussies op te lossen:

Als twee detectives het eens zijn, volgen ze dat antwoord.
Als ze het oneens zijn, kijken ze naar de specifieke aanwijzingen. Bijvoorbeeld, als de "Bewerkings-detective" twijfelt tussen "Mens" en "Verfijnd", controleert het team de "Zero-Shot Detective" om te zien of er sterke aanwijzingen zijn voor AI.
Ten slotte krijgt de "Regelboek-detective" het laatste woord. Als de tekst overduidelijke computercode bevat, overrulet het systeem alles en noemt het de tekst AI.

De Resultaten: Winnen van de Competitie

Toen het team hun systeem testte op de officiële competitiedata, die lastige, onbekende voorbeelden bevatten die ontworpen waren om detectoren te breken, presteerde EVIL-Detect ongelooflijk goed.

Op de eerste testset (testp1) scoorde het een macro-F1 van 0,8913.
Op de tweede, moeilijkere testset (testp2) scoorde het 0,8888.

Het systeem was bijzonder goed in het opsporen van pure AI-tekst (met een score van 0,9219 voor die categorie) en deed een solide job met de lastige "Verfijnde" tekst (met een score van 0,8407). De onderzoekers ontdekten dat de "Bewerkings-detective" het sterkste individuele lid van het team was, maar het systeem bereikte pas de toppositie omdat de andere detectives de fouten van de hoofdpersoon hielpen herstellen.

Wat ze leerden (en wat ze afwezen)

Het paper testte ook enkele andere ideeën om te zien of ze werkten, en ze ontdekten dat sommige populaire methoden eigenlijk faalden in deze specifieke drievoudige uitdaging.

Directe training faalde: Ze probeerden een enkele AI-model te trainen om simpelweg de drie categorieën direct te "raden". Het was een ramp, met een score van slechts 0,1690. Dit bewees dat je niet simpelweg data tegen een model kunt gooien en verwachten dat het de nuance tussen "Mens", "AI" en "Verfijnd" begrijpt zonder hulp.
Ouderwetse detectoren worstelden: Ze probeerden ook een methode genaamd "Binoculars", die goed is voor eenvoudige binaire detectie, maar deze scoorde hier slechts 0,3928. Het kon de complexiteit van de drie klassen niet aan.

De onderzoekers suggereren dat het geheim van succes niet een enkele "super-model" was, maar een multi-signaal ensemble. Door de "bewerkingssterkte" (hoeveel is er veranderd), de "waarschijnlijkheid" (klinkt het als een robot?) en de "woordpatronen" te combineren, creëerden ze een systeem dat robuust genoeg is om de rommelige realiteit van hoe mensen vandaag de dag AI gebruiken, aan te kunnen.

Kortom, EVIL-Detect laat zien dat om de waarheid te vangen in een wereld van AI en mensen, je een team van specialisten nodig hebt die kunnen discussiëren, compromissen kunnen sluiten en elkaar kunnen controleren, in plaats van te vertrouwen op één enkele gok.

Technische Samenvatting: EVIL-Detect voor NLPCC 2026 Shared Task 6

Probleemdefinitie
Het artikel behandelt de uitdaging van het detecteren van tekst die gegenereerd of verfijnd is door Large Language Models (LLM's) binnen realistische Chinese scenario's. Terwijl de bestaande literatuur zich voornamelijk richt op binaire classificatie (het onderscheiden van menselijke tekst [HWT] van door een LLM gegenereerde tekst [LGT]), introduceert de NLPCC 2026 Shared Task 6 een complexere, drieklasse-classificatieprobleem:

HWT: Puur door mensen geschreven tekst.
LGT: Volledig door een LLM gegenereerde tekst.
HLT: Door een LLM verfijnde tekst (door mensen geschreven tekst die is gepolijst of herschreven door een LLM).

De auteurs merken op dat deze setting de realiteit van AI-ondersteund schrijven weerspiegelt, maar aanzienlijke uitdagingen met zich meebrengt vanwege sterke out-of-distribution (OOD) verschuivingen tussen de trainingsdata (afgeleid van CUDRT) en de evaluatiedata (afgeleid van DetectRL-X), die onbekende domeinen, generatoren en generatieschema's bevatten. Directe adaptatie van binaire classifiers of standaard supervised fine-tuning (SFT) naar deze drieklasse-setting bleek onvoldoende robuust, waarbij sommige baseline SFT-benaderingen macro-F1 scores van slechts 0,1690 behaalden.

Methodologie: EVIL-Detect
De auteurs stellen EVIL-Detect voor (Edit-aware View-Integrated Learning for Detection), een multi-signaal ensembleframework ontworpen om om te gaan met het continuüm tussen HWT, HLT en LGT. De systeemarchitectuur integreert vier verschillende bewijsbronnen via een conflict-bewuste fusiestrategie:

Supervised Training Module (Edit-extent Regression):
- Geïnspireerd door EditLens, behandelt deze module detectie als een continu regressieprobleem in plaats van discrete classificatie.
- Het definieert een bewerkingsomvang-doelas waarbij HWT 0 is, LGT 1, en HLT een waarde $d(h, t)$ is die de afstand vertegenwoordigt tussen de menselijke bron en de verfijnde tekst.
- Er zijn twee varianten geïmplementeerd:
  - EditLens: Gebruikt oppervlakkige zachte karakter $n$ -gram afstanden. De optimale configuratie (rank044) gebruikt $n$ -gram orden 1–7 met lineair toenemende gewichten.
  - Soft-EditLens: Gebruikt semantische frase-niveau zachte matching via embeddings om behouden expressies te vangen ondanks lexicale vervanging. Het geeft zowel een continue regressiescore als een ordinale bucket-index.
- Beide varianten maken gebruik van Qwen-modellen met Low-Rank Adaptation (LoRA).
Zero-Shot Detection Module:
- Maakt gebruik van EchoPrompt, een training-vrije methode die de likelihood-contrast scores berekent tussen instructie-getunede en base modellen.
- In plaats van op zichzelf staande voorspellingen, genereren meerdere prompt/model-takken (gebruikmakend van Qwen3.5 en Qwen2.5) binaire "LGT-support stemmen" om te dienen als aanvullend bewijs.
Lexical Frequency Statistics Module:
- Construeert label-specifieke frequentie-lexiconen vanuit de trainingsset om onderscheidende $n$ -grammen te identificeren.
- Berekent gesmoothde label-conditionele waarschijnlijkheden en geaggregeerde log-odds scores (bijv. LGT-tegenover-HWT, AI-tegenover-HWT) om lichtgewicht bewijs op oppervlakteriveau te leveren.
Fusion and Decision Module:
- Conflict-Aware Integration: Het systeem gebruikt geen uniforme middeling. In plaats daarvan gebruikt het gekalibreerde beslissingsgrenzen om EditLens-scores om te zetten in basislabels. Als twee gekalibreerde grenzen van mening verschillen, wordt een resolver $R(\cdot)$ geactiveerd.
- De resolver gebruikt Soft-EditLens regressie/bucket scores en de geaggregeerde LGT-support stemmen om conflicten tussen specifieke klasse-paren op te lossen (bijv. HWT/HLT, HLT/LGT).
- High-Precision Text Rules: Als laatste veiligheidsmaatregel corrigeren conservatieve regels specifieke artefacten, zoals HTML/XML structurele markeringen of script-residuen (indicatief voor LGT) en expliciete herschrijfsporen (indicatief voor HLT).

Belangrijkste Bijdragen

Analyse van de Chinese Drie-Klasse Setting: Het artikel analyseert de prestaties van representatieve detectiemethoden in de specifieke context van HWT, LGT en HLT, en toont aan dat directe adaptatie van binaire methoden faalt onder OOD-verschuivingen.
EVIL-Detect Framework: De voorstel van een conflict-bewust ensembleframework dat edit-extent regressie, zero-shot likelihood bewijs, lexicale statistieken en regelgebaseerde correcties integreert.
State-of-the-Art Prestaties: Het systeem behaalde een macro-F1 score van 0,8888 op de officiële testset (testp2), waarmee het op de eerste plaats eindigde in de NLPCC 2026 Shared Task 6.

Experimentele Resultaten

Prestaties: Het systeem behaalde een macro-F1 van 0,8913 op testp1 en 0,8888 op testp2.
Klasse-specifieke Prestaties: LGT detectie was het sterkst (F1 $\approx$ 0,92), terwijl HLT de meest uitdagende klasse bleef (F1 $\approx$ 0,84), wat consistent is met de intermediaire aard ervan.
Ablatie-studies:
- De EditLens component alleen behaalde een macro-F1 van 0,8411.
- Het toevoegen van conflict-bewuste integratie en tekstregels verbeterde de score naar 0,8816.
- Het volledige fusiesysteem (0,8888) verminderde verwarringsfouten aanzienlijk, specifiek door LGT $\to$ HLT fouten van 59 naar 30 en HLT $\to$ LGT fouten van 58 naar 28 te verminderen vergeleken met de EditLens-only baseline.
- Alternatieve ontwerpen, zoals directe generatieve SFT classifiers (bijv. GLM-4-9B, Qwen3.5-9B), presteerden slecht (macro-F1 < 0,19), wat de keuze van de auteurs valideert om editing-extent modellering als het basissignaal te gebruiken in plaats van uitsluitend te vertrouwen op generatieve classificatie.

Betekenis
Het artikel stelt dat robuuste drieklasse-detectie in realistische, OOD-settings niet kan vertrouwen op een enkel signaal. In plaats daarvan biedt de integratie van edit-strength modellering, likelihood-gebaseerd bewijs, lexicale aanwijzingen en hoog-precieze correcties de noodzakelijke complementaire informatie om onderscheid te maken tussen menselijke, door machines gegenereerde en door machines verfijnde tekst. Het werk benadrukt de noodzaak van conflictresolutiestrategieën bij het fuseren van heterogene signalen voor fijnmazige tekstdetectietaken.