Technische Samenvatting: Een distributievrij raamwerk voor herschrijvingsgebaseerde detectie van door mensen geschreven tekst via Knockoff Filtering

Probleemstelling

De detectie van door Large Language Models (LLM's) gegenereerde tekst is een kritieke uitdaging, met name bij het screenen van grote corpora (bijv. academische opdrachten, recensies, webpagina's) in plaats van het classificeren van geïsoleerde documenten. Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën: logit-gebaseerde methoden (analyse van token-waarschijnlijkheden) en herschrijvingsgebaseerde methoden (het vergelijken van de originele tekst met een door een LLM gegenereerde herschrijving).

Een belangrijke beperking van de huidige implementatie is het gebrek aan rigoureuze statistische garanties met betrekking tot de False Discovery Rate (FDR). Een detector met een hoge AUROC kan bij grootschalige toepassing nog steeds een onaanvaardbaar hoog aantal valse beschuldigingen produceren. Bovele methoden vereisen bovendien het hertrainen van de basisdetector telkens wanneer het onderliggende herschrijvingsmodel verandert, wat ze broos en kostbaar maakt. Er is behoefte aan een raamwerk dat finite-sample FDR-garanties biedt zonder dat het trainen van de basisdetector opnieuw nodig is.

Methodologie

De auteurs stellen een distributievrij statistisch raamwerk voor dat herschrijvingsgebaseerde detectie herformuleert als een probleem van meervoudige hypothesetoetsing met behulp van de Knockoff Filter (Candès et al., 2018; Barber en Candès, 2015). De kerninzicht is dat herschrijvingsgebaseerde detectie impliciet "knockoff"-samples construeert, waardoor de toepassing van de knockoff filtering-theorie mogelijk wordt zonder een nieuwe classifier te trainen.

Het raamwerk werkt in drie stappen:

1. Genereer Knockoffs: Voor een collectie teksten $T_1, \dots, T_n$ genereert een LLM een bijbehorende herschrijving $R_i$ voor elke tekst.
2. Bereken Statistieken: Een vergelijkingsstatistiek $s_i = f(T_i, R_i)$ wordt berekend. Deze statistiek meet de afstand of asymmetrie tussen de originele tekst en de herschrijving. Het raamwerk vereist dat de statistiek antisymmetrisch is (d.w.z. $f(T_i, R_i) = -f(R_i, T_i)$).
3. Drempelwaarde en Selectie: Het raamwerk past een knockoff filtering-regel toe om teksten te selecteren die als door mensen geschreven worden geclassificeerd, waarbij de FDR wordt gecontroleerd op een door de gebruiker gespecificeerd niveau $q$. De drempelwaarde $\tau$ wordt bepaald door:
   $$\tau = \min \left\{ c \in \mathbb{R}^+ : \frac{\#\{s_i \leq -c\} + 1}{\max\{\#\{s_j \geq c\}, 1\}} \leq q \right\}$$
   Teksten met $s_i > \tau$ worden geclassificeerd als door mensen geschreven.

Theoretische Fundering

De geldigheid van het raamwerk rust op Aanname 1 (Knockoff Symmetrie): Onder de nulhypothese (door AI gegenereerde tekst) moet de distributie van de statistiek symmetrisch rond nul zijn. Specifiek: $P(f(T_i, R_i) < -a | H_i=0) = P(f(T_i, R_i) > a | H_i=0)$.

De paper stelt vast dat deze symmetrie standhoudt indien het herschrijvingsproces aan een specifieke uitwisselbaarheidsvoorwaarde voldoet: $P_{LLM}(T_i)K(R_i | T_i) = P_{LLM}(R_i)K(T_i | R_i)$. Hoewel echte rewriters (herschrijvers) niet exact aan deze voorwaarde zullen voldoen, bevat het raamwerk een empirische diagnostiek (de frac+ metriek en de KS-test) om de symmetrie te monitoren. Wanneer de symmetrie benaderend is, wordt een gemiddelde-correctiestap (cross-domain transfer) toegepast om de nulverdeling te verschuiven voordat de drempelwaarde wordt bepaald.

Belangrijkste Bijdragen

1. Impliciete Knockoff Constructie: De auteurs tonen aan dat herschrijvingsgebaseerde detectie van nature een knockoff-structuur induceert, waardoor de detectie kan worden geherformuleerd als een probleem van meervoudige hypothesetoetsing.
2. Distributievrije Procedure: Ze introduceren een kalibratieprocedure die willekeurige herschrijvingsgebaseerde statistieken omzet in detectoren met bewijsbare finite-sample FDR-controle onder een knockoff-symmetrievoorwaarde, waarbij geen hertraining van de basisdetector nodig is.
3. Theoretische en Empirische Validatie: De paper biedt theoretische bewijzen voor FDR-controle onder de symmetrie-aanname en empirisch bewijs dat het raamwerk betrouwbare FDR-controle en betekenisvolle detectiekracht bereikt over diverse domeinen en modellen.

Experimentele Resultaten

Het raamwerk werd geëvalueerd met drie detectiestatistieken (ImBD, L2D en Likelihood) over 19 domeinen en vier bronmodellen (GPT-3.5T, GPT-4o, Gemini, Llama-70B).

• FDR-controle: De voorgestelde methode controleerde de empirische FDR succesvol nabij de beoogde niveaus ($q \in \{0.2, 0.3, 0.5\}$).
  • L2D en IMBD: Deze methoden vertoonden sterke prestaties. Bij $q=0.2$ varieerde de geobserveerde FDR tussen 0.16 en 0.28 (iets boven het nominale niveau voor sommige paren), terwijl de detectiekracht hoog was (bijv. L2D bereikte een kracht van 0.833–0.941).
  • Likelihood: Zelfs zonder specifieke training voor detectie, bereikte de likelihood-methode substantiële kracht (0.220–0.529) met minimale FDR-inflatie.
• Symmetrie Verificatie: Empirische diagnostiek (frac+ dicht bij 0.5 en hoge KS-test p-waarden) bevestigde dat de symmetrie-aanname in veel gevallen benaderend standhoudt voor door AI gegenereerde teksten, met name na cross-domain gemiddelde-correctie.
• Cross-Domain Transfer: Het lenen van het nul-gemiddelde uit uitgesloten source-domeinen verbeterde de detectiekracht aanzienlijk, hoewel dit in sommige gevallen een milde FDR-inflatie introduceerde, wat wijst op een afweging tussen kracht en strikte FDR-controle.

Betekenis en Claims

De paper claimt dat de primaire bijdrage een statistische kalibratielaag is in plaats van een nieuwe detector. Door het ontwerp van detectiestatistieken te scheiden van de controle van valse ontdekkingen, stelt het raamwerk bestaande herschrijvingsgebaseerde detectoren in staat om finite-sample FDR-garanties te erven.

De auteurs benadrukken dat deze aanpak:

• Klaar voor implementatie is: Het biedt een garantie op het verwachte deel van de valse beschuldigingen onder de teksten die als door mensen geschreven worden geclassificeerd.
• Robuust is: Het functioneert effectief over verschillende detectoren en modellen zonder hertraining.
• Beperkt in scope is: De auteurs erkennen dat de methode steunt op de benaderende geldigheid van de knockoff-symmetrievoorwaarde. Als de onderliggende herschrijvingsstatistiek niet-informatief is of als de symmetrie ernstig wordt geschonden, kan het raamwerk dit niet compenseren. Daarom wordt de methode gepresenteerd als een kalibratietool voor herschrijvingsgebaseerde detectoren, en niet als een op zichzelf staande oplossing die de noodzaak voor hoogwaardige basisstatistieken vervangt.