Technische Samenvatting: AdaDetectGPT

Probleemstelling

Het artikel behandelt de kritieke uitdaging om onderscheid te maken tussen tekst geschreven door mensen en tekst gegenereerd door Large Language Models (LLM's). Bestaande state-of-the-art detectoren vertrouwen op statistieken afgeleid van de log-waarschijnlijkheden (logits) van geobserveerde tekst, geëvalueerd tegen de distributie van een bron-LLM, maar de auteurs stellen dat het uitsluitend vertrouwen op ruwe log-waarschijnlijkheden suboptimaal is. Huidige methoden falen vaak in het volledig benutten van de statistische verschillen tussen menselijke en door machines gegenereerde distributies, met name in complexe scenario's met verschillende datasets en modelarchitecturen.

Methodologie: AdaDetectGPT

De voorgestelde methode, AdaDetectGPT, is een adaptieve classifier die ontworpen is om bestaande logits-gebaseerde detectoren (specifiek Fast-DetectGPT) te verbeteren door een "getuige-functie" (witness function) te leren van trainingsdata.

1. Statistisch Kader

De methode werkt onder twee instellingen:

• White-box: De bron-LLM die wordt gebruikt om logits te berekenen, is identiek aan de doel-LLM die de tekst genereert.
• Black-box: De bron-LLM is een open-source benadering van het gesloten doelmodel.

De kernstatistiek $T_w(X)$ wordt geconstrueerd als een genormaliseerde som van getransformeerde log-waarschijnlijkheden:
$$T_w(X) := \frac{\sum_{t}[w(\log q_t(X_t|X_{<t})) - \mathbb{E}_{\tilde{X}_t \sim q_t} w(\log q_t(\tilde{X}_t|X_{<t}))]}{\sqrt{\sum_{t} \text{Var}_{\tilde{X}_t \sim q_t}(w(\log q_t(\tilde{X}_t|X_{<t})))}}$$
Hier is $w: \mathbb{R} \to \mathbb{R}$ een eendimensionale getuige-functie toegepast op de log-waarschijnlijkheden. In tegenstelling tot Fast-DetectGPT, dat de identiteitsfunctie (ruwe logits) gebruikt, leert AdaDetectGPT $w$ om de detectiekracht te maximaliseren.

2. Drempelselectie via Martingaaltheorie

Een belangrijke theoretische bijdrage is de afleiding van de classificatiedrempel. Door het proces van token-generatie te modelleren als een tijdreeks en de Martingaal Centrale Limietstelling (MCLT) toe te passen, stellen de auteurs vast dat onder de nulhypothese (tekst gegenereerd door de LLM), de statistiek $T_w(X)$ convergeert naar een standaard normale verdeling naarmate de sequentielengte $L \to \infty$.

• Dit maakt de selectie van een drempel $c = z_\alpha$ (het $\alpha$-kwantiel van de standaard normale verdeling) mogelijk om de False Negative Rate (FNR) strikt te controleren op een gewenst niveau $\alpha$.

3. Het leren van de Getuige-functie

De primaire uitdaging is dat het maximaliseren van de True Negative Rate (TNR) voor een vaste FNR doorgaans een getuige-functie oplevert die afhankelijk is van het specifieke FNR-niveau $\alpha$. Om dit te overwinnen, doen de auteurs het volgende:

• Afleiding van een ondergrens op de TNR die de effecten van $\alpha$ en de getuige-functie $w$ van elkaar scheidt.
• Tonen dat het maximaliseren van deze ondergrens gelijk is aan het maximaliseren van een populatie-niveau grootheid $T^{(2)*}_w$, die onafhankelijk is van $\alpha$.
• Implementatie van deze optimalisatie met behulp van een lineaire functieklasse over B-spline basisfuncties. De optimalisatie reduceert tot het oplossen van een stelsel lineaire vergelijkingen ($\Sigma \beta = \psi$), waardoor het trainingsproces computationeel efficiënt is.

Belangrijkste Bijdragen

1. Adaptieve Detectie: De introductie van een leerbare getuige-functie die ruwe logits transformeert, wat empirisch beter menselijke en machine-gegenereerde tekst onderscheidt dan ruwe logits alleen.
2. Statistische Garanties: Het artikel biedt eind-steekproef foutenmargen voor de True Positive Rate (TPR), False Positive Rate (FPR), True Negative Rate (TNR) en FNR. Specifiek bewijzen zij dat naarmate de trainingssteekproefgrootte $n$ en de sequentielengte $L$ toenemen, de prestaties van de classifier convergeren naar die van een oracle-classifier met toegang tot de optimale populatie-getuige-functie.
3. Theoretische Fundering voor Drempelbepaling: De toepassing van MCLT om het gebruik van de normale benadering voor FNR-controle te rechtvaardigen, een kenmerk dat vaak ontbreekt bij eerdere statistische detectoren.
4. Efficiënte Optimalisatie: De reductie van het probleem van het leren van de getuige-functie tot een eenvoudig lineair stelsel, waardoor complexe niet-convexe optimalisatie wordt vermeden.

Experimentele Resultaten

De auteurs voerden uitgebreide numerieke studies uit over vijf datasets (SQuAD, WritingPrompts, XSum, Yelp, Essay) en diverse LLM's (GPT-2, OPT, GPT-Neo, GPT-J, GPT-NeoX, Qwen2.5, Mistral, LLaMA3).

• White-box Prestaties: AdaDetectGPT presteerde consequent beter dan acht state-of-the-art baselines (inclusief DetectGPT, Fast-DetectGPT en DNAGPT). Het behaalde verbeteringen in de Area Under the Curve (AUC) van 12,5% tot 37% ten opzichte van de beste baseline (Fast-DetectGPT).
• Black-box Prestaties: Bij het detecteren van tekst van geavanceerde closed-source modellen (GPT-4o, Claude-3.5, Gemini-2.5-Flash) met behulp van een open-source proxy, behield AdaDetectGPT een superieure prestatie, met verbeteringen tot 20% ten opzichte van Fast-DetectGPT.
• Robuustheid: De methode toonde veerkracht tegen adversariële aanvallen, specifiek parafrasering en decoherentie, waarbij het baselines met respectievelijk maximaal 10% en 85% versloeg in specifieke black-box scenario's.
• Efficiëntie: Het trainen van de getuige-functie vereiste minder dan één minuut en minder dan 0,5 GB geheugen.

Betekenis en Claims

Het artikel beweert een gat in de literatuur te vullen met betrekking tot de systematische statistische analyse van logits-gebaseerde detectoren. Waar voorgaande werken zich concentreerden op empirische prestaties, biedt dit werk rigoureuze statistische garanties op foutenpercentages.

De auteurs positioneren AdaDetectGPT op het snijvlak van statistische en machine learning-gebaseerde methoden. Het behoudt de interpreteerbaarheid en data-efficiëntie van statistische methoden (vertrouwend op log-waarschijnlijkheden) terwijl het de adaptiviteit van machine learning (het leren van een getuige-functie) benut om een superieure detectiekracht te bereiken. De methode wordt gepresenteerd als een robuuste, theoretisch gefundeerde oplossing voor de groeiende behoefte aan het detecteren van door LLM gegenereerde inhoud zonder afhankelijk te zijn van model-specifieke watermerken of black-box trainingsdata.