📊 statistics

Token-Level Likelihood-Array Regression for Membership Inference and AI-Generated Text Detection

Dieses Paper schlägt die Likelihood-Array-Regression (LAR) vor, eine neuartige Methode, welche Token-Level-Wahrscheinlichkeiten über verschachtelte Kontextfenster in strukturierte Arrays organisiert, um die Erkennung von Mitgliedschaftsinferenzen und KI-generierten Texten signifikant zu verbessern, indem sie nuancierte Informationen über den Kontextmaßstab und die Token-Position erfasst, die herkömmliche auf Likelihood basierende Baselines übersehen.

Ursprüngliche Autoren: Jiajun Sun, Zhanrui Cai

Veröffentlicht 2026-08-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiajun Sun, Zhanrui Cai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Im digitalen Zeitalter sind Sprachmodelle so geschickt darin geworden, menschliches Schreiben zu imitieren, dass die Unterscheidung zwischen einem von einem Menschen geschriebenen Satz und einem von einer Maschine generierten Satz zunehmend schwierig geworden ist. Diese Herausforderung steht im Zentrum zweier kritischer Fragen, die Forscher und die Gesellschaft heute beschäftigen. Die erste ist eine Frage des Datenschutzes und des Urheberrechts: Können wir feststellen, ob ein bestimmtes Textstück überhaupt für das Training eines Modells verwendet wurde? Dies ist entscheidend für Verleger und Autoren, die wissen wollen, ob ihr Werk ohne Erlaubnis von künstlicher Intelligenz aufgenommen wurde. Die zweite Frage betrifft den Ursprung: Wurde ein gegebener Text von einem Menschen oder von einem Algorithmus erstellt? Diese Unterscheidung ist essenziell für die Aufrechterhaltung des Vertrauens in den Journalismus, die akademische Arbeit und den Online-Diskurs. Um diese Fragen zu beantworten, verlassen sich Wissenschaftler seit langem auf eine Methode, die untersucht, wie wahrscheinlich es für ein Modell ist, das nächste Wort in einem Satz vorherzusagen. Wenn ein Modell sehr sicher bezüglich des nächsten Wortes ist, deutet dies darauf hin, dass der Text ihm vertraut sein könnte oder von ihm generiert wurde. Traditionelle Methoden haben dieses Vertrauen jedoch als eine einzige, statische Zahl behandelt und dabei oft ignoriert, wie sich die Gewissheit des Modells verändert, während es mehr oder weniger des umgebenden Satzes liest.

Eine neue Studie der Forscher Jiajun Sun und Zhanrui Cai schlägt einen nuancierteren Weg vor, diese Daten zu betrachten, indem sie das Vertrauen eines Sprachmodells nicht als einen einzelnen Punkt, sondern als eine reiche, strukturierte Landschaft behandeln. Anstatt das Modell zu bitten, ein Wort basierend auf dem gesamten vorangegangenen Satz zu beurteilen, baten die Forscher das Modell, dasselbe Wort wiederholt zu beurteilen, jedes Mal mit einer anderen Menge an Kontext. Sie begannen mit nur dem unmittelbar vorangegangenen Wort, fügten dann eines hinzu, dann zwei und so weiter, bis hin zum vollständigen Satz. Dieser Prozess erzeugte eine detaillierte Karte darüber, wie sich das Vertrauen des Modells verschiebt, wenn die Menge der verfügbaren Informationen wächst. Durch die Organisation dieser tausenden von Vertrauenswerten in ein strukturiertes Array konnten die Forscher Muster erkennen, die unsichtbar waren, wenn man nur den vollständigen Satz betrachtete. Sie verwendeten dann eine statistische Technik, um zu lernen, welche Teile dieser Karte – ob kurze Kontexte, lange Kontexte oder spezifische Positionen im Text – die zuverlässigsten Indikatoren dafür waren, ob ein Text von einem Menschen geschrieben, von einer Maschine generiert oder Teil der Trainingsdaten des Modells war.

Die Ergebnisse dieses Ansatzes waren bemerkenswert effektiv. Bei Tests zur Membership Inference, bei der gefragt wird, ob ein Text zum Training eines Modells verwendet wurde, erreichte die neue Methode eine Erfolgsquote zwischen 91,4 % und 98,3 % über fünf verschiedene Sprachmodelle hinweg. Dies war eine signifikante Verbesserung gegenüber bestehenden Methoden, die typischerweise zwischen 50 % und 87 % lagen. Für die Erkennung von KI-generiertem Text war die Methode sogar noch besser und erreichte Erfolgsquoten zwischen 98,5 % und 99,6 %. Die Studie ergab, dass die wertvollsten Informationen oft aus den kürzeren Kontexten stammten. Entgegen der Annahme, dass ein Modell den vollständigen Satz benötigt, um ein Urteil zu fällen, fanden die Forscher heraus, dass die Reaktion des Modells auf ein Wort basierend auf nur wenigen vorangehenden Wörtern einzigartige Signale enthielt, die die Sichtweise des vollständigen Satzes vermissen ließ. Darüber hinaus zeigte die Studie, dass für die Membership Inference die Betrachtung dessen, wie sich das Vertrauen des Modells zwischen verschiedenen Kontextlängen veränderte, zusätzliche Hinweise lieferte, was es dem System ermöglichte, subtile Muster von Wiederholung oder Auswendiglernen zu erkennen, die einfachere Methoden übersahen.

Die Forscher untersuchten auch, wie viel Daten benötigt wurden, um diese Erkennungen genau zu machen. Sie fanden heraus, dass die neue Methode selbst mit einer sehr geringen Anzahl von gekennzeichneten Beispielen herkömmliche Ansätze übertraf. Bereits mit nur einhundert gekennzeichneten Texten konnte das System mit hoher Zuverlässigkeit zwischen menschlichem und maschinellem Schreiben unterscheiden, und seine Genauigkeit stieg weiter an, je mehr Daten hinzugefügt wurden. Dies deutet darauf hin, dass die Methode effizient ist und keine massiven Datensätze erfordert, um effektiv zu sein. Die Studie demonstrierte auch, dass der Ansatz gut funktioniert, selbst wenn das zur Analyse des Textes verwendete Modell ein anderes ist als das, welches den Text generiert hat. Dies ist ein entscheidender Befund, da er bedeutet, dass die Technik breit angewendet werden kann, ohne die genaue Identität der KI kennen zu müssen, die den Inhalt erstellt hat.

Indem sie sich von einfachen Zusammenfassungen in einer einzigen Zahl abwenden und die volle Komplexität dessen annehmen, wie ein Sprachmodell Kontext verarbeitet, bietet diese Forschung ein leistungsfähiges neues Werkzeug zur Prüfung künstlicher Intelligenz. Sie bestätigt, dass der Weg zum Verständnis des KI-Verhaltens nicht in der Vereinfachung der Daten liegt, sondern in ihrer Organisation auf eine Weise, die ihre Struktur respektiert. Die Arbeit bietet einen klaren, datengestützten Weg nach vorn, um geistiges Eigentum zu schützen und die Authentizität von Texten in einer Ära zu verifizieren, in der die Grenze zwischen menschlicher und maschineller Schöpfung zunehmend verschwimmt. Die Ergebnisse legen nahe, dass wir, indem wir auf die subtilen Verschiebungen im Vertrauen eines Modells achten, während es liest, die verborgenen Fingerabdrücke sowohl der Trainingsdaten als auch des Generierungsprozesses aufdecken können, was einen robusten Schutz gegen Missbrauch und eine klarere Sicht auf die digitale Landschaft bietet.

Technische Zusammenfassung: Token-Level Likelihood-Array-Regression für Membership Inference und die Erkennung KI-generierter Texte

Problemstellung
Die Arbeit adressiert zwei kritische Prüfaufgaben für Sprachmodelle: Membership Inference (die Bestimmung, ob ein Text Teil der Trainingsdaten eines Modells war) und die Erkennung von KI-generierten Texten (die Unterscheidung zwischen modellgenerierten und menschlich geschriebenen Texten). Obwohl beide Aufgaben als binäre Klassifizierungsprobleme auf Basis bedingter Token-Wahrscheinlichkeiten formuliert werden können, leiden bestehende likelihood-basierte Methoden unter erheblichem Informationsverlust. Aktuelle Ansätze komprimieren die Token-level-Wahrscheinlichkeiten typischerweise in wenige skalare Zusammenfassungen (z. B. durchschnittlichen Loss, Min-K% oder Perplexität) und verlassen sich dabei oft ausschließlich auf Wahrscheinlichkeiten, die unter dem vollen vorangehenden Kontext ( $\ell_{full}(t)$ ) bedingt sind. Diese Aggregation verwirft die gemeinsame Variation der Likelihood-Informationen über verschiedene Kontextlängen und Token-Positionen hinweg. Supervised Detektoren, die auf gelabelten Korpora trainiert wurden, erfordern zudem oft umfangreiches Fine-Tuning und zusätzliche gelabelte Daten, um sich an neue Modelle oder Domänen anzupassen. Die Autoren stellen die statistische Frage, wie man Likelihood-Informationen repräsentieren und modellieren kann, die gemeinsam mit der Kontextlänge und der Token-Position variieren, ohne starre strukturelle Annahmen aufzuerlegen.

Methodik: Likelihood-Array-Regression (LAR)
Die Autoren schlagen die Token-Level Likelihood-Array-Regression (LAR) vor, ein Framework, das die bedingten Token-Wahrscheinlichkeiten eines festen Scoring-Sprachmodells als strukturierte, variabel lange Array behandelt, statt als skalare Zusammenfassung.

Konstruktion des Likelihood-Arrays:
- Für jedes Ziel-Token $x_t$ in einem Text evaluiert das Scoring-Modell die Log-Wahrscheinlichkeit unter einer Sequenz von verschachtelten Links-Kontext-Fenstern, die von der vollständigen vorangehenden Sequenz ( $x_1, \dots, x_{t-1}$ ) bis hin zu einem einzelnen Token ( $x_{t-1}$ ) reichen.
- Dies erzeugt einen „Target-Token-Pfad“ für jedes Token, der aufzeichnet, wie sich die Bewertung des Modells ändert, während die Skalierung des Kontexts abnimmt.
- Diese Pfade bilden ein dreieckiges Likelihood-Array $L(X) = \{(s, t, \ell(s, t))\}$ , wobei $s$ den Beginn des Kontexts und $t$ das Ziel-Token bezeichnet.
Ausrichtung und Feature-Engineering:
- Um variable Textlängen zu handhaben, normalisieren die Autoren die Kontextskala ( $u$ ) und die relative Token-Position ( $v$ ) auf eine gemeinsame Domäne $[0, 1] \times [0, 1]$ .
- Zellen werden mittels linearer Interpolation auf ein festes Gitter von Kontextskalen ausgerichtet.
- Jede ausgerichtete Zelle wird mit einem 5-dimensionalen Kanal-Vektor $h$ $h$ ergänzt:
  - Beobachtetes Token-Log-Wahrscheinlichkeit ( $\ell$ ).
  - Kontext-Kontrast ( $\delta$ ): Das Log-Verhältnis der Token-Wahrscheinlichkeit mit Kontext gegenüber ohne Kontext (BOS).
  - Standardisierte Log-Wahrscheinlichkeit ( $z$ ) und standardisierter Kontext-Kontrast ( $z_\delta$ ): Normalisiert gegen die prädiktive Vokabularverteilung des Modells.
  - Lokale Steigung ( $\dot{z}$ ): Die Änderungsrate der standardisierten Vorhersagbarkeit bei zunehmendem Kontext.
Regressionsmodelle:
- LAR-1 (Erster Ordnung): Modelliert die Klassen-Log-Odds als additive Aggregation von Beiträgen einzelner ausgerichteter Zellen. Es lernt eine Funktion $b(u, v, h)$ , die Kontextskala, Position und Features auf die Log-Odds abbildet, und lernt effektiv, wie Likelihood-Muster je nach deren Lage im Dokument und Kontextlänge unterschiedlich zur Klassifizierung beitragen.
- LAR-2 (Zweiter Ordnung): Ergänzt LAR-1 um innerhalb-des-Pfades quadratische Features. Es erfasst Interaktionen zwischen Paaren von Bewertungen desselben Ziel-Tokens über verschiedene Kontextlängen hinweg. Dies ermöglicht es dem Modell zu erkennen, wie die Änderung der Likelihood (z. B. eine niedrige Likelihood bei kurzem Kontext, die bei langem Kontext ansteigt) die Kennzeichnung beeinflusst.
Schätzung:
- Die unendlich-dimensionalen funktionalen Modelle werden durch endliche Basiserweiterungen approximiert (Tensorprodukte von Splines für Kontext/Position und zufällige trigonometrische Funktionen für Kanäle).
- Die Terme zweiter Ordnung werden mittels zufälliger quadratischer Projektionen geschätzt, um die Dimensionalität zu reduzieren und gleichzeitig die innerhalb-des-pfades Struktur zu bewahren.
- Die finalen Schätzer werden mittels Ridge-logistischer Regression auf Dokument-Level-Features gefittet, die aus diesen Erweiterungen abgeleitet wurden.

Wesentliche Beiträge

Neuartige Repräsentation: Die Arbeit führt die Likelihood-Array-Repräsentation ein, welche die gemeinsame Variation von Likelihoods über Kontextskalen und Token-Positionen bewahrt und damit über die skalaren Zusammenfassungen früherer Arbeiten hinausgeht.
Theoretische Schranken: Für das innerhalb-des-pfades quadratische Modell (LAR-2) etablieren die Autoren passende Minimax-Untere- und Obere-Vorhersageschranken der Rate $\{\log(en)/n\}^{\nu/(\nu+1)}$ unter Produktform-Kovarianzzerfall. Sie charakterisieren Fehler, die aus der endlich-dimensionalen Approximation und zufälligen Projektionen resultieren, und zeigen Bedingungen auf, unter denen ein Oracle Spectral Sieve die Minimax-Rate erreicht.
Empirische Überlegenheit: Es wird gezeigt, dass das Framework bestehende likelihood-basierte Baselines und supervised Detektoren über mehrere Scoring-Modelle und Domänen hinweg substanziell übertrifft.
Einblick in Informationsquellen: Die Analyse zeigt, dass Kontexte mit kürzerem Umfang signifikante Informationen enthalten, die über konventionelle Full-Context-Wahrscheinlichkeiten hinausgehen, und dass Features zweiter Ordnung insbesondere für die Membership Inference erhebliche Gewinne liefern.

Ergebnisse
Die Autoren evaluierten LAR auf zwei Benchmarks:

WikiMIA (Membership Inference): Unter Verwendung von 1.650 Texten und fünf Scoring-Modellen (Pythia, LLaMA-2, Falcon).
- LAR-1 erreichte mittlere AUCs von 0,914–0,960.
- LAR-2 verbesserte dies auf 0,953–0,983 und übertraf damit signifikant die beste bestehende Baseline (ReCaLL, max. AUC 0,871) sowie eine fine-getunte supervised Methode (Fine-tuned Score Deviation, max. AUC 0,90).
- Zellen mit kürzerem Kontext allein lieferten AUCs von ~0,907, verglichen mit ~0,802 für Zellen mit nur Full-Context.
Erkennung von KI-generierten Texten: Verwendung von 1.200 Texten aus vier Domänen (Belletristik, Nachrichten, Essays, Rezensionen), die von GPT-4o generiert und von fünf Open-Weight-Modellen gescort wurden.
- LAR-1 erreichte mittlere AUCs von 0,985–0,996.
- LAR-2 erreichte 0,987–0,995.
- Diese Ergebnisse übertrafen alle Baselines, einschließlich des supervised Detektors StatDetectLLM (AUC 0,980) und RADAR (AUC 0,839).
- In dieser Aufgabe war der Gewinn durch Features zweiter Ordnung minimal, was darauf hindeutet, dass first-order funktionale Muster den Großteil des Separationssignals erfassen.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass LAR eine statistisch fundierte Lösung für die „breitere statistische Frage“ bietet, wie Likelihood-Informationen mit Kontext und Position variierende Repräsentationen darzustellen. Durch die Vermeidung der Aggregation von Token-level-Daten in vordefinierte Scores extrahiert LAR reichhaltigere Signale, insbesondere aus kürzeren Kontextfenstern, die oft ignoriert werden. Theoretisch liefert die Arbeit die erste Minimax-Analyse für diese spezifische Klasse von innerhalb-des-pfades quadratischen Modellen und verknüpft den Vorhersagefehler mit der AUC-Konvergenz. Praktisch bietet die Methode eine robuste, nicht-fine-getunte Alternative zu supervised Detektoren, da sie lediglich ein festes Scoring-Modell und einen gelabelten Datensatz für die Regressionsphase benötigt, während sie eine State-of-the-Art-Performance in sowohl Privacy Auditing als auch KI-Detektion erzielt. Die Autoren merken an, dass die Methode rechenintensiver ist als Full-Context-Scoring, die Performance-Gewinne jedoch die Kosten rechtfertigen; zukünftige Arbeiten könnten adaptive Auswahl der Kontextfenster untersuchen, um den Rechenaufwand zu reduzieren.

Mehr davon