📊 statistics

Token-Level Likelihood-Array Regression for Membership Inference and AI-Generated Text Detection

Dit artikel stelt Likelihood-Array Regression (LAR) voor, een nieuwe methode die token-niveau waarschijnlijkheden over geneste contextvensters organiseert in gestructureerde arrays om lidmaatschapsinferentie en detectie van door AI gegenereerde tekst aanzienlijk te verbeteren door genuanceerde informatie over contextschaal en tokenpositie vast te leggen die traditionele likelihood-gebaseerde baselines missen.

Oorspronkelijke auteurs: Jiajun Sun, Zhanrui Cai

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiajun Sun, Zhanrui Cai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het digitale tijdperk zijn taalmodellen zo bekwaam geworden in het nabootsen van menselijk schrijven dat het onderscheid maken tussen een door een mens geschreven zin en een door een machine gegenereerde zin steeds moeilijker is geworden. Deze uitdaging vormt de kern van twee cruciale vragen waar onderzoekers en de samenleving vandaag de dag voor staan. De eerste is een kwestie van privacy en auteursrecht: kunnen we zien of een specifiek stuk tekst in de eerste plaats is gebruikt om een model te trainen? Dit is essentieel voor uitgevers en auteurs die willen weten of hun werk zonder toestemming door kunstmatige intelligentie is opgenomen. De tweede vraag gaat over herkomst: is een gegeven tekst gecreëerd door een mens of door een algoritme? Dit onderscheid is essentieel voor het behoud van vertrouwen in de journalistiek, academisch werk en het online discours. Om deze vragen te beantwoorden, hebben wetenschappers lang vertrouwd op een methode die kijkt naar hoe waarschijnlijk het is dat een model het volgende woord in een zin voorspelt. Als een model zeer zeker is over het volgende woord, suggereert dit dat de tekst bekend bij het model kan zijn of erdoor gegenereerd kan zijn. Traditionele methoden hebben deze zekerheid echter behandeld als een enkel, statisch getal, waarbij vaak wordt genegeerd hoe de zekerheid van het model verandert naarmate het meer of minder van de omliggende zin leest.

Een nieuwe studie door de onderzoekers Jiajun Sun en Zhanrui Cai stelt een genuanceerdere manier voor om naar deze gegevens te kijken, waarbij de zekerheid van een taalmodel niet als een enkel punt wordt beschouwd, maar als een rijk, gestructureerd landschap. In plaats van het model te vragen een woord te beoordelen op basis van de volledige zin die eraan voorafging, vroegen de onderzoekers het model om hetzelfde woord herhaaldelijk te beoordelen, telkens met een andere hoeveelheid context. Ze begonnen met slechts het direct voorafgaande woord, voegden daarna één woord toe, dan twee, enzovoort, helemaal tot de volledige zin. Dit proces creëerde een gedetailleerde kaart van hoe de zekerheid van het model verschuift naarmate de hoeveelheid beschikbare informatie groeit. Door deze duizenden zekerheidsscores te organiseren in een gestructureerde array, konden de onderzoekers patronen zien die onzichtbaar waren wanneer er alleen naar de volledige zin werd gekeken. Vervolgens gebruikten ze een statistische techniek om te leren welke delen van deze kaart — of het nu korte contexten, lange contexten of specifieke posities in de tekst waren — de meest betrouwbare indicatoren waren of een tekst door een mens is geschreven, door een machine is gegenereerd of deel uitmaakt van de trainingsdata van het model.

De resultaten van deze aanpak waren opvallend effectief. Wanneer getest op membership inference, wat vraagt of een tekst is gebruikt om een model te trainen, behaalde de nieuwe methode een succespercentage tussen de 91,4% en 98,3% over vijf verschillende taalmodellen. Dit was een significante verbetering ten opzichte van bestaande methoden, die gewoonlijk tussen de 50% en 87% schommelden. Voor het detecteren van door AI gegenereerde tekst presteerde de methode zelfs nog beter, met succespercentages tussen de 98,5% en 99,6%. De studie onthulde dat de meest waardevolle informatie vaak uit de kortere contexten kwam. In tegenstelling tot de aanname dat een model de volledige zin nodig heeft om een oordeel te vellen, ontdekten de onderzoekers dat de reactie van het model op een woord op basis van slechts een paar voorafgaande woorden unieke signalen bevat die de kijk vanuit de volledige zin miste. Bovendien toonde de studie aan dat voor membership inference het kijken naar hoe de zekerheid van het model veranderde tussen verschillende contextlengtes extra aanwijzingen bood, waardoor het systeem subtiele patronen van herhaling of memorisatie kon detecteren die eenvoudigere methoden over het hoofd zagen.

De onderzoekers verkenden ook hoeveel gegevens nodig waren om deze detecties accuraat te maken. Ze vonden dat zelfs met een zeer klein aantal gelabelde voorbeelden, de nieuwe methode traditionele benaderingen overtrof. Met slechts honderd gelabelde teksten kon het systeem al met hoge betrouwbaarheid onderscheid maken tussen menselijk en machinaal schrijven, en de nauwkeurigheid bleef stijgen naarmate er meer gegevens werden toegevoegd. Dit suggereert dat de methode efficiënt is en geen enorme datasets vereist om effectief te zijn. De studie toonde ook aan dat de aanpak goed werkt, zelfs wanneer het model dat de tekst analyseert anders is dan het model dat de inhoud genereerde. Dit is een cruciale bevinding, aangezien het betekent dat de techniek breed kan worden toegepast zonder de exacte identiteit van de AI te hoeven kennen die de inhoud heeft gecreëerd.

Door af te stappen van samenvattingen met één getal en de volledige complexiteit te omarmen van hoe een taalmodel context verwerkt, biedt dit onderzoek een krachtig nieuw instrument voor het auditeren van kunstmatige intelligentie. Het bevestigt dat de weg naar het begrijpen van AI-gedrag niet ligt in het vereenvoudigen van de gegevens, maar in het organiseren ervan op een manier die hun structuur respecteert. Het werk biedt een duidelijk, op gegevens gebaseerd pad vooruit voor het beschermen van intellectueel eigendom en het verifiëren van de authenticiteit van tekst in een tijdperk waarin de grens tussen menselijke en machinale creatie steeds vager wordt. De bevindingen suggereren dat door aandacht te besteden aan de subtiele verschuivingen in de zekerheid van een model terwijl het leest, we de verborgen vingerafdrukken van zowel de trainingsdata als het generatieproces kunnen onthullen, wat een robuuste verdediging biedt tegen misbruik en een helderder beeld geeft van het digitale landschap.

Technische Samenvatting: Token-Level Likelihood-Array Regressie voor Membership Inference en AI-gegenereerde Tekstdetectie

Probleemstelling
Het artikel behandelt twee cruciale audit-taken voor taalmodellen: membership inference (bepalen of een tekst deel uitmaakte van de trainingsdata van een model) en AI-gegenereerde tekstdetectie (het onderscheiden van door een model gegenereerde tekst van menselijk schrijven). Hoewel beide taken kunnen worden geformuleerd als binaire classificatieproblemen op basis van conditionele token-waarschijnlijkheden, lijden bestaande likelihood-gebaseerde methoden aan aanzienlijk informatieverlies. Huidige benaderingen comprimeren token-waarschijnlijkheden vaak tot enkele scalaire samenvattingen (bijv. gemiddelde loss, Min-K%, of perplexiteit), waarbij ze vaak uitsluitend vertrouwen op waarschijnlijkheden die geconditioneerd zijn op de volledige voorafgaande context ( $\ell_{full}(t)$ ). Deze aggregatie verwerpt de gezamenlijke variatie van likelihood-informatie over verschillende contextlengtes en tokenposities heen. Bovendien vereisen gesuperviseerde detectoren die getraind zijn op gelabelde corpora vaak uitgebreide fine-tuning en extra gelabelde data om zich aan te passen aan nieuwe modellen of domeinen. De auteurs stellen de statistische vraag hoe men likelihood-informatie kan representeren en modelleren die gezamenlijk varieert met contextlengte en tokenpositie zonder rigide structurele aannames op te leggen.

Methodologie: Likelihood-Array Regressie (LAR)
De auteurs stellen Token-Level Likelihood-Array Regression (LAR) voor, een raamwerk dat de conditionele token-waarschijnlijkheden van een vast scoring-taalmodel behandelt als een gestructureerde, variabele array in plaats van een scalaire samenvatting.

Constructie van de Likelihood Array:
- Voor elk doel-token $x_t$ in een tekst evalueert het scoring-model de log-waarschijnlijkheid onder een reeks geneste links-context vensters, variërend van de volledige voorafgaande sequentie ( $x_1, \dots, x_{t-1}$ ) tot een enkel token ( $x_{t-1}$ ).
- Dit creëert een "target-token pad" voor elk token, waarin wordt vastgelegd hoe de beoordeling van het model verandert naarmate de contextschaal afneemt.
- Deze paden vormen een driehoekige likelihood array $L(X) = \{(s, t, \ell(s, t))\}$ , waarbij $s$ het begin van de context is en $t$ het doel-token.
Uitlijning en Feature Engineering:
- Om variabele tekstlengtes te verwerken, normaliseren de auteurs de contextschaal ( $u$ ) en relatieve tokenpositie ( $v$ ) naar een gemeenschappelijk domein $[0, 1] \times [0, 1]$ .
- Cellen worden uitgelijnd via lineaire interpolatie op een vast rooster van contextschalen.
- Elke uitgelijnde cel wordt uitgebreid met een 5-dimensionale kanaalvector $h$ $h$ :
  - Geobserveerde-token log-waarschijnlijkheid ( $\ell$ ).
  - Context contrast ( $\delta$ ): de log-ratio van de token-waarschijnlijkheid met context versus zonder context (BOS).
  - Gestandaardiseerde log-waarschijnlijkheid ( $z$ ) en gestandaardiseerde context contrast ( $z_\delta$ ): genormaliseerd tegen de voorspellende vocabulaireverdeling van het model.
  - Lokale helling ( $\dot{z}$ ): de veranderingssnelheid in gestandaardiseerde voorspelbaarheid naarmate de context toeneemt.
Regressiemodellen:
- LAR-1 (Eerste-orde): Modelleert de klasse log-odds als een additieve aggregatie van bijdragen van individuele uitgelijnde cellen. Het leert een functie $b(u, v, h)$ die contextschaal, positie en features mapt naar de log-odds, waardoor effectief wordt geleerd hoe own likelihood-patronen verschillend bijdragen afhankelijk van hun locatie in het document en de contextlengte.
- LAR-2 (Tweede-orde): Breidt LAR-1 uit met intra-pad kwadratische features. Dit vangt interacties op tussen paren van evaluaties van hetzelfde doel-token over verschillende contextlengtes heen. Dit stelt het model in staat om te detecteren hoe de verandering in likelihood (bijv. een lage likelihood onder korte context die stijgt onder lange context) de label informeert.
Schatting:
- De oneindig-dimensionale functionele modellen worden benaderd met eindige basis-expansies (tensorproducten van splines voor context/positie en willekeurige trigonometrische functies voor kanalen).
- De tweede-orde termen worden geschat met behulp van willekeurige gekwadrateerde projecties om de dimensionaliteit te verminderen terwijl de intra-pad structuur behouden blijft.
- De uiteindelijke estimators worden gefit via ridge logistische regressie op document-niveau features afgeleid van deze expansies.

Belangrijkste Bijdragen

Nieuwe Representatie: Het artikel introduceert de likelihood-array representatie, die de gezamenlijke variatie van likelihoods over contextschalen en tokenposities behoudt, waarmee het verder gaat dan de scalaire samenvattingen die in eerder werk werden gebruikt.
Theoretische Grenzen: Voor het binnen-pad kwadratische model (LAR-2) stellen de auteurs passende minimax lagere en hogere voorspellingsgrenzen vast van de snelheid $\{\log(en)/n\}^{\nu/(\nu+1)}$ onder productvormige covariantie-decay. Ze karakteriseren fouten die voortkomen uit eindige-dimensie benadering en willekeurige projecties, en tonen de condities aan waaronder een oracle spectral sieve een minimax-snelheid bereikt.
Empirische Superioriteit: Het raamwerk laat zien dat het de bestaande likelihood-gebaseerde baselines en gesuperviseerde detectoren substantieel overtreft over meerdere scoring-modellen en domeinen.
Inzicht in Informatiebronnen: De analyse onthult dat kortere-context likelihoods significante informatie bevatten die verder gaat dan conventionele full-context waarschijnlijkheden en dat tweede-orde features substantiële winst opleveren, specifiek voor membership inference.

Resultaten
De auteurs hebben LAR geëvalueerd op twee benchmarks:

WikiMIA (Membership Inference): Gebruikmakend van 1.650 teksten en vijf scoring-modellen (Pythia, LLaMA-2, Falcon).
- LAR-1 behaalde gemiddelde AUC's van 0,914–0,960.
- LAR-2 verbeterde dit naar 0,953–0,983, wat de beste bestaande baseline (ReCaLL, max AUC 0,871) en een gefinetunede gesuperviseerde methode (Fine-tuned Score Deviation, max AUC 0,90) significant overtreft.
- Kortere-context cellen alleen leverden AUC's op van ~0,907, vergeleken met ~0,802 voor alleen full-context cellen.
AI-gegenereerde Tekstdetectie: Gebruikmakend van 1.200 teksten uit vier domeinen (fictie, nieuws, essays, reviews) gegenereerd door GPT-4o en gescoord door vijf open-weight modellen.
- LAR-1 behaalde gemiddelde AUC's van 0,985–0,996.
- LAR-2 behaalde 0,987–0,995.
- Deze resultaten overtroffen alle baselines, inclusochi de gesuperviseerde detector StatDetectLLM (AUC 0,980) en RADAR (AUC 0,839).
- In deze taak was de winst van tweede-orde features minimaal, wat suggereert dat eerste-orde functionele patronen het grootste deel van het scheidingssignaal opvangen.

Betekenis en Claims
Het artikel claimt dat LAR een statistisch gefundeerde oplossing biedt voor de "bredere statistische vraag" van hoe likelihood-informatie die varieert met context en positie te representeren. Door de aggregatie van token-niveau data in vooraf gespecificeerde scores te vermijden, extraheert LAR rijkere signalen, met name uit kortere contextvensters die vaak genegeerd worden. Theoretisch biedt het werk de eerste minimax-analyse voor deze specifieke klasse van binnen-pad kwadratische modellen, waarbij de voorspellingsfout wordt gekoppeld aan de AUC-convergentie. Praktisch biedt de methode een robuust, niet-fine-tuned alternatief voor gesuperviseerde detectoren, waarbij alleen een vast scoring-model en een gelabelde dataset voor de regressiefase nodig is, terwijl het state-of-the-art prestaties levert in zowel privacy-auditing als AI-detectie. De auteurs merken op dat hoewel de methode computationeel veeleisender is dan full-context scoring, de prestatiewinst de kosten rechtvaardigt, en toekomstig werk zou adaptieve contextvenster-selectie kunnen verkennen om de computationele overhead te verminderen.

Meer zoals dit