Learn-to-Distance: Distance Learning for Detecting LLM-Generated Text

Probleemstelling

De snelle opkomst van grote taalmodellen (LLMs) zoals GPT, Claude en Gemini heeft de manier waarop we communiceren en werken getransformeerd. Een significant nadeel is echter het vermogen van deze modellen om tekst te genereren die nauwelijks te onderscheiden is van menselijk geschreven tekst. Dit roept ernstige zorgen op over desinformatie, academische integriteit en auteurschap.

Bestaande detectiemethoden voor gegenereerde tekst vallen vaak in twee categorieën:

1. Zero-shot methoden: Gebruiken statistische maatstaven (zoals log-likelihood) zonder training, maar presteren vaak slecht bij onbekende prompts of modelversies.
2. Machine Learning (ML)-gebaseerde methoden: Trainen classifiers op externe data, maar zijn vaak gevoelig voor distributieveranderingen (bijv. verschillende schrijfstijlen of prompts).

Specifiek voor rewrite-based methoden (die de tekst herschrijven en de afstand tussen origineel en herschreven tekst meten), is er een beperking: ze gebruiken meestal een vaste, handgemaakte afstandsmetriek (zoals Levenshtein-afstand of BERTScore). Deze vaste metrieken generaliseren niet goed over verschillende doel-LLMs, datasets of prompts.

Methodologie: Learn-to-Distance (L2D)

De auteurs introduceren een nieuwe aanpak, L2D, die de herschrijf-benadering combineert met adaptief leren van een afstandsfunctie.

1. Geometrisch Kader en Theoretische Basis

Het paper begint met een geometrische analyse om de werking van rewrite-methoden te verklaren:

• Projectie-hypothese: Menselijke tekst wordt gezien als een punt in een hoge-dimensionale ruimte. LLM-gegenereerde tekst wordt gezien als een projectie van menselijke tekst op een subruimte ($M$) die door het model wordt gedefinieerd.
• Reconstructiefout: Wanneer een LLM tekst herschrijft (reconstrueert), blijft de herschreven tekst binnen de subruimte $M$. Voor menselijke tekst (die buiten $M$ ligt) is de afstand tot de herschreven versie (reconstructiefout) gemiddeld groter dan voor tekst die al door de LLM is gegenereerd (die al dicht bij $M$ ligt).
• Robuustheid: De auteurs bewijzen theoretisch dat deze methode robuust blijft tegen onbekende prompts, zolang de herschrijving de semantische betekenis behoudt.

2. Adaptief Leren van de Afstandsfunctie

In plaats van een vaste afstand te gebruiken, leert L2D een optimalisatie-gebaseerde afstandsfunctie $d_\phi$.

• Doel: De functie $d_\phi$ wordt getraind om het verschil in reconstructiefouten te maximaliseren tussen menselijke tekst ($D_h$) en LLM-gegenereerde tekst ($D_m$).
• Parameterisatie: De afstand wordt gedefinieerd als:
  $$d_\phi(X_1, X_2) = \left| \frac{\log p_\phi(X_1)}{\text{len}(X_1)} - \frac{\log p_\phi(X_2)}{\text{len}(X_2)} \right|$$
  Hierbij is $p_\phi$ een taalmodel dat specifiek wordt fine-gefinet (vaak met LoRA) om menselijke tekst een lage waarschijnlijkheid toe te kennen en LLM-tekst een uniformere verdeling. Dit is het tegenovergestelde van een standaard LLM dat menselijke tekst probeert te imiteren.
• Workflow:
  1. Verzamel menselijke en LLM-gegenereerde data.
  2. Herschrijf elke tekst $K$ keer met een open-source model (bijv. Gemma-2-9b-it).
  3. Train de afstandsfunctie $d_\phi$ om het verschil in gemiddelde reconstructiefouten te maximaliseren.
  4. Voor detectie: Bereken de gemiddelde afstand tussen de input en zijn herschreven versies. Als deze onder een drempelwaarde ligt, is de tekst waarschijnlijk door een LLM gegenereerd.

Belangrijkste Bijdragen

1. Methodologisch: Een nieuwe rewrite-based detector die de afstandsfunctie adaptief leert in plaats van deze vast te stellen. Dit leidt tot een betere discriminatie tussen mens en machine.
2. Theoretisch: Een geometrisch bewijs dat rewrite-methoden werken (Propositie 1), dat ze generaliseren naar onbekende prompts (Propositie 2), en dat het leren van een afstandsfunctie theoretisch superieur is aan het gebruik van een vaste afstand (Propositie 3).
3. Empirisch: Uitgebreide experimenten over 24 datasets, 7 doel-LLMs en meer dan 100 scenario's, inclusief tests tegen adversarial attacks.

Resultaten

De prestaties van L2D zijn geëvalueerd tegenover 12 state-of-the-art baselines (zoals Fast-DetectGPT, RoBERTa, RAIDAR en ImBD).

• Algemene Prestaties: L2D presteert consistent beter dan alle baselines.
  • Verbetering: Er wordt een relatieve verbetering geboekt van 54,3% tot 75,4% ten opzichte van de sterkste baseline over verschillende doel-LLMs (GPT-4o, Claude-3.5, Gemini).
  • AUC Scores: In veel scenario's bereikt L2D een AUC (Area Under the Curve) van bijna 1,0, terwijl baselines vaak rond de 0,8-0,9 blijven.
• Generalisatie: De methode werkt uitstekend bij onbekende prompts (rewrite, polish, expand) en verschillende domeinen (nieuws, code, academisch schrijven), zelfs wanneer trainings- en testdata van verschillende LLM-families komen.
• Robuustheid: L2D is aanzienlijk robuuster tegen adversarial attacks (zoals parafraseren en decoherentie door willekeurige woordwisselingen) dan bestaande methoden. De prestaties van baselines dalen sterk onder aanval, terwijl L2D stabiel blijft.
• Ablatie-studie: Het leren van de afstandsfunctie levert een gemiddelde relatieve verbetering van 96% op ten opzichte van het gebruik van een vaste, vooraf getrainde afstand (zonder fine-tuning).

Betekenis en Conclusie

Dit paper biedt een doorbraak in de detectie van LLM-gegenereerde tekst door de beperkingen van vaste metrieken te overwinnen. Door de afstandsfunctie adaptief te leren, past het systeem zich aan aan de specifieke kenmerken van het doel-LLM en de context, wat leidt tot een veel hogere nauwkeurigheid en generalisatievermogen.

De methode is niet alleen theoretisch onderbouwd maar ook praktisch toepasbaar, met openbare code beschikbaar. Hoewel de rekenkosten iets hoger zijn dan zero-shot methoden (vanwege het genereren van herschrijvingen en fine-tuning), blijft dit vergelijkbaar met andere geavanceerde rewrite-methoden en biedt het een aanzienlijke meerwaarde in betrouwbaarheid. Dit maakt L2D een krachtig instrument voor het waarborgen van academische integriteit en het bestrijden van desinformatie in een wereld waar AI-gegenereerde content steeds vaker voorkomt.