Beyond the Final Actor: Modeling the Dual Roles of Creator and Editor for Fine-Grained LLM-Generated Text Detection

1. Het Probleem

De opkomst van Large Language Models (LLMs) heeft de contentcreatie revolutionair veranderd, maar ook de integriteit van informatie bedreigd door misinformatie, academisch bedrog en identiteitsfraude. Bestaande detectiemethoden zijn voornamelijk gericht op binaire classificatie (mens vs. LLM) of ternaire classificatie (mens, LLM, of gemengd).

De auteurs stellen dat deze benaderingen te simplistisch zijn voor de nuance die nodig is in regelgeving (bijvoorbeeld in academische contexten):

• LLM-gepolijste menselijke tekst: Een mens schrijft een concept dat door een LLM wordt verbeterd. Dit wordt vaak gezien als legitieme hulp en vereist geen verplichte disclosure.
• Gemenselijk LLM-tekst: Een LLM genereert tekst die door een mens wordt "humanized" om detectie te omzeilen. Dit wordt gezien als bedrog en schendt de academische integriteit.

Bestaande modellen kunnen deze twee hybride scenario's niet van elkaar onderscheiden, omdat ze alleen kijken naar de "finale actor" (de laatste bewerker) en niet naar de oorsprong van de inhoud versus de stijl. Er is behoefte aan een vier-klassen detectiesysteem dat deze nuances kan onderscheiden.

2. Methodologie: RACE

Om dit probleem op te lossen, stellen de auteurs RACE (Rhetorical Analysis for Creator-Editor Modeling) voor. De kernhypothese is dat de rol van de Creator (inhoud, logica, argumentatie) en de rol van de Editor (taalgebruik, stijl, oppervlakkige verfijning) verschillende sporen achterlaten die gescheiden gemodelleerd moeten worden.

RACE bestaat uit vier hoofdkomponenten:

A. Dual Trace Extraction (Extrahering van Dubbele Sporen)

Het systeem gebruikt een end-to-end Rhetorical Structure Theory (RST) parser om de tekst te ontleden in:

• Elementary Discourse Units (EDUs): De kleinste betekenisvolle eenheden (zinsdelen) die de Editor-stijl vertegenwoordigen.
• Rhetorical Relations: De logische connecties (zoals 'Oorzaak', 'Contrast', 'Uitbreiding') tussen deze eenheden, die de Creator-logica vertegenwoordigen.

B. Logic-Aware Graph Initialization (Initialisatie van Logische Grafen)

De tekst wordt omgezet in een multi-relational graaf:

• Knooppunten: EDU-knooppunten (bladknooppunten) en Relatie-knooppunten (interne knooppunten).
• Features:
  • Voor EDU's worden semantische representaties gehaald uit een voorgeprogrammeerd taalmodel (PLM, zoals RoBERTa).
  • Voor Relatie-knooppunten wordt een Descendant Span Pooling strategie gebruikt om de globale semantische betekenis van de onderliggende tekst te vangen.
  • Een Information Bottleneck Projection filtert oppervlakkige lexische ruis en forceert het model om zich te focussen op structurele auteurschapskenmerken.

C. Rhetoric-Guided Message Passing (Rhetorisch Gesteunde Berichtdoorvoer)

In plaats van een standaard GCN, gebruikt RACE een Relational Graph Convolutional Network (RGCN).

• Dit netwerk leert specifieke transformatiematrices voor elke retorische relatie (bijv. 'Contrast' heeft andere gewichten dan 'Oorzaak').
• Om overparametrisatie te voorkomen bij de vele retorische relaties, wordt Basis Decomposition toegepast. Dit dwingt het model om "atomaire" componenten van retorische logica te leren, wat de generalisatie verbetert.
• De berichtdoorvoer laat informatie stromen door de logische structuur, waardoor het model kan zien of de logica (Creator) consistent is met de mens of de LLM, zelfs als de stijl (Editor) is aangepast.

D. Graph Readout en Classificatie

De globale representatie van de tekst wordt verkregen via Root Pooling (de staat van de wortelknoop van de RST-boom). Deze wordt gebruikt voor de uiteindelijke vier-klassen classificatie. Het model wordt geoptimaliseerd met een combinatie van Supervised Contrastive Loss (om de ruimtes tussen klassen te vergroten) en Cross-Entropy Loss.

3. Belangrijkste Bijdragen

1. Taak-specifiek Framework: Introductie van een vier-klassen detectiesetting die expliciet onderscheid maakt tussen LLM-Polished Human Text en Humanized LLM Text, wat essentieel is voor nuance in beleidsregels.
2. RACE Methode: Een nieuwe architectuur die de bijdragen van de Creator (via RST-logica) en de Editor (via EDU-stijl) expliciet modelleert, in plaats van alleen naar de eindtekst te kijken.
3. Prestaties: Uitgebreide experimenten tonen aan dat RACE superieur is aan bestaande methoden, met name met een lage vals-positieve ratio (False Positive Rate).

4. Resultaten

De experimenten zijn uitgevoerd op de HART-dataset (Human-AI Collaborative Text), die is opgesplitst in trainings-, validatie- en testsets voor de vier klassen.

• Vergelijking: RACE presteert significant beter dan 12 baselines, waaronder state-of-the-art methoden zoals CoCo, LF-Motifs, en diverse metrische detectoren (zoals Binoculars en Fast-DetectGPT).
• Kernmetriek (TPR@1% FPR): RACE bereikt een gemiddelde True Positive Rate van 83.06% bij een False Positive Rate van slechts 1%. De beste concurrent (CoCo) haalt hier 79.70%.
• Ablatie Studies:
  • Het verwijderen van de relatie-typen (gebruik van een standaard GCN) leidt tot een sterke daling, wat aantoont dat de retorische logica cruciaal is.
  • Het verwijderen van de "Information Bottleneck" leidt tot slechtere prestaties bij "LLM-Polished" tekst, wat bevestigt dat dit module helpt om te focussen op de menselijke oorsprong in plaats van de LLM-stijl.
• Robuustheid: RACE presteert beter dan concurrenten in Out-of-Distribution (OOD) scenario's (bijv. training op nieuws, testen op essays) en bij kortere teksten (200-600 tokens).

5. Betekenis en Impact

Dit paper is significant omdat het de paradigma verschuift van "Is dit een LLM?" naar "Wie heeft wat gedaan?".

• Beleid en Ethiek: Het biedt een technisch onderbouwde oplossing voor beleidsmakers en academische instellingen om te onderscheiden tussen acceptabele hulpmiddelen (polijsten) en onacceptabel bedrog (humanizing).
• Technische Innovatie: Het toont aan dat het modelleren van de generatiecyclus (Creator vs. Editor) via retorische structuren effectiever is dan het alleen analyseren van oppervlakkige tekstkenmerken of token-probabiliteiten.
• Toekomst: Het opent de weg voor fijnmazigere forensische analyses en betere attributie van AI-inhoud, zelfs na ingrijpende menselijke bewerkingen.

Kortom, RACE bewijst dat om geavanceerde AI-detectie te bereiken, we verder moeten kijken dan de "laatste acteur" en de onderliggende logica en stijl van de tekst gescheiden moeten analyseren.