Technische Samenvatting: WAVEDETECT

Probleemstelling

De snelle vooruitgang van Large Language Models (LLMs) heeft geleid tot door machines gegenereerde tekst (MGT) die steeds minder te onderscheiden is van door mensen geschreven tekst (HWT) wat betreft vloeiendheid en semantische coherentie. Deze capaciteit vormt aanzienlijke risico's voor de integriteit van informatie, inclusief academische oneerlijkheid en de proliferatie van desinformatie. Bestaande detectiemethoden kampen met drie kritieke beperkingen:

1. Adversariële Kwetsbaarheid: Detectoren die vertrouwen op oppervlakkige semantische artefacten (bijv. perplexiteit, entropie) zijn broos en gemakkelijk te omzeilen door adversariële perturbaties zoals parafrasering, synoniemsubstitutie of karakter-niveau obfuscatie.
2. Temporele Instabiliteit: De snelle iteratie van LLM-architecturen maakt detectoren snel verouderd, aangezien modellen getraind op legacy-architecturen vaak niet generaliseren naar ongeziene, volgende generatie modellen.
3. Domein-generalisatie: Detectoren getraind op algemene corpora falen vaak bij toepassing op gespecialiseerde domeinen (bijv. recht, geneeskunde) door overfitting op domeinspecifieke vocabulaire in plaats van fundamentele generatie-signaturen.

Huidige benaderingen, of ze nu zero-shot zijn (vertrouwend op waarschijnlijkheidscurvatuur) of supervised (het trainen van classificators op tokensequenties), worstelen met het vastleggen van de intrinsieke, invariante verschillen tussen menselijke en machinale generatie, waarbij ze vaak focussen op de tijdsdomein-representatie van tekst waar de grens tussen menselijke en machinale semantiek vervaagt.

Methodologie

De auteurs stellen WAVEDETECT voor, een framework dat MGT-detectie herformuleert als een signaalverwerkingstaak binnen het tijd-frequentiedomein. In plaats van statische token-waarschijnlijkheden of ruwe sequenties te analyseren, modelleert WAVEDETECT de gegenereerde output als een waarschijnlijkheidssignaal en past een Continuous Wavelet Transform (CWT) toe om "spectrale vingerafdrukken" te extraheren.

Kernworkflow

1. Signaalextractie: Een surrogaat taalmodel ($M_\theta$, specifiek Qwen2.5-0.5B-Base) brengt een discrete sequentie van tokens $X = \{x_1, \dots, x_N\}$ in kaart naar een continu waarschijnlijkheidssignaal $p_t = P_{M_\theta}(x_t | x_{<t})$.
2. Spectrale Hypothese: Het framework gaat ervan uit dat menselijk schrijven, gekenmerkt door hoge entropie en stochastische selectie, waarschijnlijkheidssignalen produceert met onregelmatige "pieken" en chaotische transiënten. In tegenstelling hiertoe produceert machinale generatie, beperkt door decoding-strategieën (bijv. top-k, top-p, herhalingsstraffen), kunstmatig gladgestreken signalen met gestructureerde, periodieke ritmische patronen die hoogfrequente transiënten onderdrukken.
3. Continuous Wavelet Transform (CWT): Om zowel globale spectrale kenmerken als lokale transiënte kenmerken te vangen, wordt het waarschijnlijkheidssignaal $p(t)$ gedecomponeerd met behulp van de Morlet-wavelet. Dit transformeert het signaal naar een tijd-frequentie-representatie (spectrogram) $W(s, \tau)$, gedefinieerd als de convolutie van het signaal met geschaalde en vertaalde wavelets. Deze stap behoudt de temporele lokalisatie-informatie die globale Fourier-methoden verliezen.
4. Feature Extractie & Classificatie: Het resulterende magnitude-spectrum $|W|$ wordt behandeld als een single-channel afbeelding en gevoed aan een lichtgewicht Convolutioneel Neuraal Netwerk (CNN), specifiek een ResNet-18 backbone, om de bron als mens of machine te classificeren.
5. Optimalisatiestrategie: Er wordt een tweestaps-trainingsprotocol gehanteerd:
   • Warm-up: Het surrogaatmodel wordt bevroren terwijl de CNN leert om robuuste kenmerken te extraheren uit de output van het vooraf getrainde surrogaatmodel.
   • Joint Training: Het surrogaatmodel wordt ontdooid van de bevriezing om de waarschijnlijkheidsverdeling te verfijnen, waardoor het systeem gezamenlijk de signaalgeneratie en spectrale feature-extractie kan optimaliseren.
   • Loss Function: Een Weighted Cross-Entropy (WCE) loss wordt gebruikt om klassen-imbalans aan te pakken en de beslissingsmarge te maximaliseren.

Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van WAVEDETECT, dat CWT gebruikt om robuuste tijd-frequentiekenmerken te extraheren, waarmee de temporele dynamiek van token-waarschijnlijkheden wordt gekarakteriseerd voorbij oppervlakkige tekstkenmerken.
2. State-of-the-Art Prestaties: De methode bereikt superieure nauwkeurigheid en robuustheid over drie rigoureuze evaluatiedimensies: adversariële aanvallen, model-evolutie en domein-shifts.
3. Spectrale Ontleding: Visualisaties (Class Activation Maps en t-SNE) laten zien dat de distributies van menselijke en machinale tekst effectief kunnen worden ontleed in de spectrale ruimte, wat aantoont dat de CNN schaal-afhankelijke structuren leert (hoogfrequente transiënten voor mensen versus laagfrequente regulariteiten voor machines) in plaats van absolute spectrale energie.

Experimentele Resultaten

Het framework werd geëvalueerd op drie datasets: RAID (adversariële robuustheid), EvoBench (temporele stabiliteit) en Domain-Shift (generalisatie buiten het domein).

• Adversariële Robuustheid (RAID-test): WAVEDETECT bereikte een gemiddelde AUROC van 0.9785, waarmee het de beste zero-shot baseline (Binoculars, 0.8414) en supervised baseline (RADAR, 0.8277) aanzienlijk overtrof. Cruciaal is dat het een hoge prestatie (>90% nauwkeurigheid) behield tegen geavanceerde aanvallen zoals zero-width space injectie en homoglyph-substitutie, waarbij andere methoden significante degradatie leden. Bij een strikte 0.1% False Positive Rate bereikte WAVEDETECT een True Positive Rate van 54.70%, bijna 19 procentpunten hoger dan de eerstvolgende methode.
• Temporele Stabiliteit (EvoBench): Wanneer getest op evoluerende versies van closed-source modellen (bijv. GPT-4o varianten, Claude-3. 5), demonstreerde WAVEDETECT superieure stabiliteit met de laagste standaarddeviatie en maximale prestatiefluctuatie ($\Delta$) vergeleken met de baselines, wat zijn vermogen bewijst om te generaliseren naar ongeziene modelarchitecturen.
• Domein-generalisatie: Op gespecialiseerde domeinen (Medisch en Juridisch) die niet tijdens de training aanwezig waren, bereikte WAVEDETECT de hoogste gemiddelde AUROC (0.9560). In tegen tegenstelling tot traditionele methoden die in deze domeinen terugvielen naar bijna willekeurige prestaties, behield WAVEDETECT een consistente prestatie, wat bevestigt dat de spectrale kenmerken "topic-agnostisch" zijn.
• Efficiëntie: De methode is computationeel efficiënt en vereist slechts één forward pass van een 0.5B surrogaatmodel en een lichtgewicht CNN (11.7M parameters), wat het geschikt maakt voor grootschalige implementatie vergeleken met zwaardere baselines.

Betekenis en Claims

Het paper claimt dat WAVEDETECT valideert dat spectrale analyse een veelbelovend paradigma is voor MGT-detectie. Door te verschuiven van semantische analyse naar spectrale analyse, legt het framework de intrinsieke "spectrale vingerafdrukken" vast die invariant blijven voor semantische parafrasering, domein-shifts en model-evolutie. De auteurs stellen dat deze ritmische waarschijnlijkheidsfluctuaties fundamenteel zijn aan de generatieve mechanismen van LLMs, en een robuustere en meer generaliseerbare oplossing bieden dan methoden die vertrouwen op oppervlakkige artefacten. Het werk suggereert dat toekomstige detectoren zich moeten richten op de tijd-frequentiedynamiek van waarschijnlijkheidssignalen in plaats van statische tokensequenties.

Beperkingen

De auteurs erkennen dat de huidige evaluatie steunt op de RAID-dataset, die relatief oudere of zwakkere LLM's bevat vergeleken met de nieuwste generatie. Ze merken op dat detectoren getraind op moderne LLM's mogelijk nog beter presteren, maar dat adversariële aanvallen op moderne MGT's daarentegen nieuwe uitdagingen kunnen presenteren. Bovendien vereisen de specifieke mechanismen van de wavelet-transformatie (bijv. de optimale keuze van de mother wavelet en schaalbereiken) verder onderzoek.