💬 NLP

Gap-K%: Measuring Top-1 Prediction Gap for Detecting Pretraining Data

Das Papier schlägt Gap-K% vor, eine neuartige Methode zur Erkennung von Pretraining-Daten in Large Language Models, die die Log-Wahrscheinlichkeitslücke zwischen der Top-1-Vorhersage und dem Zieltoken unter Verwendung einer Sliding-Window-Strategie nutzt, um eine State-of-the-Art-Leistung auf Benchmark-Datensätzen zu erzielen.

Ursprüngliche Autoren: Minseo Kwak, Jaehyung Kim

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minseo Kwak, Jaehyung Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, ob ein bestimmter Satz von einem Studenten geschrieben wurde, der ein Lehrbuch auswendig gelernt hat, oder ob es sich lediglich um einen Satz handelt, den er spontan formuliert hat. Dies ist der Kern des Problems, das das Paper „Gap-K%“ behandelt, wobei es jedoch nicht um Studenten und Lehrbücher geht, sondern um Künstliche Intelligenz (LLMs) und die massiven Datensätze, mit denen sie trainiert wurden.

Hier ist eine einfache Aufschlüsselung der Ideen des Papers, unter Verwendung alltäglicher Analogien.

Das Problem: Die „Black Box“-Bibliothek

Große Sprachmodelle (LLMs) sind wie Studenten, die fast das gesamte Internet gelesen haben. Wir wissen jedoch nicht genau, welche Bücher sie gelesen haben. Dies ist ein Problem, weil:

Privatsphäre: Sie könnten private Informationen (wie Ihre Privatadresse) aus dem Internet auswendig gelernt haben.
Urheberrecht: Sie könnten urheberrechtlich geschützte Geschichten oder Artikel auswendig gelernt haben.
Betrug: Wenn eine Testfrage in ihren Trainingsdaten enthalten war, könnten sie einfach die Antwort rezitieren, anstatt tatsächlich zu „denken“.

Forscher suchen nach einem Weg, um bei einem Textstück sagen zu können: „Ja, diese KI hat diesen exakten Text definitiv schon einmal gesehen“, oder „Nein, das ist neu für sie“.

Die alte Methode: Dem „Flüstern“ lauschen

Frühere Methoden versuchten, Trainingsdaten zu erkennen, indem sie darauf achteten, wie „überrascht“ die KI von bestimmten Wörtern war.

Die Analogie: Stellen Sie sich vor, die KI liest einen Satz. Wenn sie ein Wort sieht, das sie gut kennt (aus ihrem Training), sagt sie es mit Zuversicht. Wenn sie ein seltsames Wort sieht, stottert sie (geringe Wahrscheinlichkeit).
Der Fehler: Die alten Methoden (wie Min-K%) betrachteten lediglich das „Stottern“. Sie gingen davon aus, dass, wenn eine KI viel stottert, der Text neu ist. Aber das ist ein wenig so, als würde man ein Buch danach beurteilen, dass man nur auf die Tippfehler achtet. Es übersieht das größere Bild davon, wie die KI über den Satz als Ganzes denkt.

Die neue Idee: Die „Top-1 Gap“

Die Autoren dieses Papers erkannten, dass es einen besseren Hinweis gibt: Die Lücke (Gap) zwischen dem, was die KI als Nächstes erwartet hätte, und dem, was tatsächlich geschah.

Die Analogie: Stellen Sie sich eine Quizshow vor.
- Szenario A (Trainingsdaten): Die KI hat die Frage und die Antwort auswendig gelernt. Wenn der Moderator die erste Hälfte des Satzes sagt, kennt die KI die Antwort sofort. Sie ist nicht nur zuversichtlich; es ist das Einzige, was ihr im Sinn ist. Die Lücke zwischen ihrer „Top-Wahl“ und der „tatsächlichen Antwort“ ist Null.
- Szenario B (Neue Daten): Die KI hat diesen Satz noch nie gesehen. Sie muss basierend auf Grammatik und Logik raten. Sie könnte ein Wort wählen, das grammatikalisch sinnvoll ist (ihre „Top-Wahl“), aber das tatsächliche nächste Wort im Satz ist etwas leicht anderes.
- Die Erkenntnis: Wenn die KI bei neuen Daten rät, gibt es eine spürbare Lücke (Gap) zwischen ihrer „Top-Wahl“ und dem „tatsächlichen Wort“. Wenn sie Trainingsdaten rezitiert, verschwindet diese Lücke.

Das Paper nennt dies die „Gap-K%“. Es misst, wie groß die Lücke zwischen der besten Vermutung der KI und dem realen Wort ist. Eine große Lücke deutet darauf hin, dass der Text neu ist; eine winzige Lücke deutet darauf hin, dass die KI ihn schon einmal gesehen hat.

Das Geheimrezept: „Sliding Window“ Glättung

Die Autoren bemerkten, dass KIs nicht nur bei einzelnen Wörtern Fehler machen; sie machen Fehler bei Phrasen.

Die Analogie: Stellen Sie sich ein verrauschtes Radiosignal vor. Wenn Sie nur eine Sekunde zuhören, klingt es vielleicht statisch (schwankend). Aber wenn Sie einen 5-Sekunden-Clip hören, können Sie die Melodie klar hören.
Die Methode: Das Paper verwendet ein „gleitendes Fenster“ (Sliding Window). Anstatt die KI Wort für Wort zu beurteilen, betrachtet es kleine Wortgruppen (wie ein gleitendes Fenster, das sich über einen Satz bewegt) und berechnet den Durchschnitt des „Gap“-Scores.
Warum es funktioniert: Dies glättet das Rauschen. Es hilft dem Detektor, einen ganzen Abschnitt eines Textes zu identifizieren, in dem die KI Schwierigkeiten hat, ihre Vermutungen mit der Realität in Einklang zu bringen, anstatt durch ein einzelnes seltsames Wort abgelenkt zu werden.

Was sie herausgefunden haben (Die Ergebnisse)

Die Forscher haben ihre neue „Gap-K%“-Methode gegen die alten Methoden auf zwei großen Benchmarks (WikiMIA und MIMIR) getestet.

Das Ergebnis: Gap-K% hat fast jedes Mal gewonnen. Es war besser darin, auswendig gelernte Texte zu erkennen, selbst wenn der Text leicht umformuliert (paraphrasiert) wurde oder wenn unterschiedliche Größen von KI-Modellen verwendet wurden.
Die Quintessenz: Durch die Konzentration auf die „Lücke“ zwischen der besten Vermutung der KI und der Realität sowie durch die Glättung der Ergebnisse über kleine Wortgruppen, haben sie ein viel schärferes Werkzeug zur Erkennung dessen geschaffen, was die KI auswendig gelernt hat.

Zusammenfassung

Betrachten Sie die alten Methoden als den Versuch, eine Nadel im Heuhaufen zu finden, indem man nach der schärfsten Spitze sucht. Die neue Methode (Gap-K%) betrachtet die Form des gesamten Heuhaufens. Sie erkennt, dass wenn eine KI etwas rezitiert, das sie auswendig gelernt hat, ihre „beste Vermutung“ und die „reale Antwort“ perfekt übereinstimmen, wodurch keine Lücke bleibt. Wenn sie bei neuen Dingen rät, öffnet sich diese Lücke. Indem sie diese Lücke messen und über Sätze hinweg glätten, können sie mit hoher Genauigkeit feststellen, ob die KI den Text schon einmal gesehen hat.

Technisches Resümee: Gap-K% – Messung der Top-1-Vorhersage-Lücke zur Detektion von Pretraining-Daten

Problemdefinition

Die Undurchsichtigkeit massiver Pretraining-Korpora in Large Language Models (LLMs) schafft erhebliche Datenschutz- und Urheberrechtsrisiken, einschließlich des potenziellen Abflusses von personenbezogenen Daten (PII) und urheberrechtlich geschützten Inhalten. Darüber hinaus kann die unbeabsichtigte Einbeziehung von Benchmark-Datensätzen in die Pretraining-Daten die Modellleistung künstlich aufblähen, was zu unfairen Vergleichen führt. Die zentrale Herausforderung, die hier adressiert wird, ist die Detektion von Pretraining-Daten, ein spezifischer Fall von Membership Inference Attacks (MIA), mit dem Ziel zu bestimmen, ob eine gegebene Textsequenz Teil des Trainingsdatensatzes eines Modells war.

Bestehende State-of-the-Art-Methoden (z. B. Min-K%, Min-K%++) stützen sich primär auf Token-Level-Likelihoods und behandeln Tokens als unabhängig. Diese Ansätze übersehen oft zwei kritische Aspekte:

Die Lücke zwischen der Top-1-Vorhersage des Modells und dem Ziel-Token.
Die lokalen Korrelationen zwischen benachbarten Tokens innerhalb einer Sequenz.

Methodik: Gap-K%

Die Autoren schlagen Gap-K% vor, eine Detektionsmethode, die auf der Optimierungsdynamik des autoregressiven LLM-Pretrainings basiert.

Theoretische Erkenntnis

Die Methode wird durch das Verhalten des Next-Token-Prediction-Ziels motiviert. Während des Trainings bestraft die Cross-Entropy-Loss explizit Fälle, in denen die Top-1-Vorhersage ( $v_{max}$ ) nicht mit dem Ground-Truth-Ziel-Token ( $y_t$ ) übereinstimmt.

Trainingsdaten: Das Modell lernt, die Lücke zwischen der Log-Wahrscheinlichkeit des Ziel-Tokens und der Top-1-Vorhersage zu minimieren. Folglich ist das Ziel-Token bei Trainingsbeispielen häufig die Top-1-Vorhersage, was zu einer minimalen Lücke führt.
Nicht-Trainingsdaten: Bei ungesehenen Daten verlässt sich das Modell auf gelernte syntaktische und semantische Korrelationen anstatt auf Auswendiglernen. Dies führt oft zu „konfidenten Fehlvorhersagen“ (confident mispredictions), bei denen das Modell ein falsches Token mit hoher Wahrscheinlichkeit zuordnet, das sich deutlich vom Ziel unterscheidet. Dies resultiert in einer größeren Log-Wahrscheinlichkeits-Lücke zwischen dem Ziel-Token und der Top-1-Vorhersage.

Algorithmische Komponenten

Gap-K% quantifiziert dieses Phänomen durch drei Schritte:

Top-1 Gap Scoring:
Für jedes Token $x_t$ berechnet die Methode einen normalisierten Gap-Score $g_t$ :
$g_t = \frac{\log p(x_t | x_{<t}) - \max_{v \in V} \log p(v | x_{<t})}{\sigma_t}$
Wobei $\sigma_t$ die Standardabweichung der Log-Wahrscheinlichkeiten ist. Im Gegensatz zu Min-K%++, das relativ zum Mittelwert der Verteilung normalisiert, normalisiert Gap-K% relativ zum Modus (Top-1-Vorhersage). Dies ermöglicht es der Metrik, zwischen unsicheren Vorhersagen (flache Verteilung) und konfidenten Fehlvorhersagen (gepeakte Verteilung auf einem falschen Token) zu unterscheiden.
Sequenzielle Glättung (Sequential Smoothing):
Um lokale Korrelationen zu erfassen und Fluktuationen auf Token-Ebene abzumildern, wird ein gleitendes Fenster der Größe $w$ auf die Gap-Scores angewendet:
$\bar{g}^{(w)}_t = \frac{1}{w} \sum_{i=0}^{w-1} g_{t+i}$
Dieser Schritt aggregiert Signale über zusammenhängende Segmente und spiegelt die Beobachtung wider, dass Membership-Signale oft Phrasen statt isolierter Tokens umfassen.
Gap-K% Metrik:
Der endgültige Detektionswert ist der Durchschnitt der niedrigsten $k\%$ der geglätteten Gap-Scores in der Sequenz. Ein Score nahe 0 deutet auf eine kleine Lücke hin (was auf Membership hindeutet), während ein großer negativer Score auf eine signifikante Lücke hindeutet (was auf Nicht-Membership hindeutet).

Zentrale Beiträge

Identifikation eines neuen Signals: Die Autoren identifizieren die Diskrepanz zwischen Top-1-Vorhersagen und Ziel-Tokens als ein effektives Detektionssignal, das in der Gradientendynamik der Next-Token-Prediction verwurzelt ist.
Neuartige Methode (Gap-K%): Sie schlagen eine Methode vor, die diese Top-1-Vorhersage-Lücken nutzt und Token-Level-Signale über sequenzielle Glättung aggregiert, um lokale Korrelationen zu erfassen, womit die Einschränkungen der unabhängigen Token-Analyse adressiert werden.
State-of-the-Art Performance: Die Methode erzielt überlegene Leistungen in Standard-Benchmarks über verschiedene Modellgrößen und Eingabelängen hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten Gap-K% auf zwei Benchmarks: WikiMIA (Wikipedia-basiert) und MIMIR (Pile-basiert, anspruchsvoller aufgrund minimaler distributional differences).

WikiMIA Performance:
- Über fünf Modelle (Mamba-1.4B, Pythia-6.9B/12B, LLaMA-13B/65B) und Eingabelängen (32, 64, 128) hinweg übertraf Gap-K% konsistent die Baselines inklusive Loss, Zlib, Neighbor, Min-K% und Min-K%++.
- Im Original-Setting erreichte Gap-K% absolute AUROC-Verbesserungen von 9,7 % gegenüber dem Durchschnitt der bestehenden Baselines und 2,4 % gegenüber der stärksten Baseline (Min-K%++).
- Im Paraphrasierungs-Setting erzielte es Gewinne von 5,7 % gegenüber dem Baseline-Durchschnitt und 1,7 % gegenüber Min-K%++.
- Die Methode zeigte zudem Robustheit bei aktuellen Modellen (LLaMA 3.1, Gemma2) und deren Instruction-Tuned-Varianten.
MIMIR Performance:
- Auf dem anspruchsvolleren MIMIR-Benchmark erreichte Gap-K% die höchste durchschnittliche Performance über die evaluierten Pythia-Modelle von 1,4B bis 12B Parametern und übertraf Min-K%++ in allen Größenordnungen.
Ablationsstudien:
- Sequenzielle Lokalität: Die Glättung verbesserte die Performance nur, wenn sie auf die ursprüngliche Token-Reihenfolge angewendet wurde, was bestätigt, dass Membership-Signale eine sequenzielle Lokalität aufweisen.
- Komponenten-Analyse: Der Ersatz der Mittelwert-basierten Normalisierung durch die reine Top-1-Lücke lieferte nur marginale Gewinne, und die Glättung allein verbesserte die Performance moderat. Die Kombination aus beiden (die vollständige Gap-K%-Methode) lieferte den größten Leistungsgewinn, was zeigt, dass die Top-1-Lücke ein diskriminatives Signal liefert, das durch sequenzielle Glättung stabilisiert und verstärkt wird.
- Robustheit: Gap-K% blieb unter starker adversarieller Paraphrasierung (mit DIPPER) effektiv und übertraf alle Baselines.

Bedeutung und Limitationen

Bedeutung:
Das Paper argumentiert, dass das Verständnis der Optimierungsdynamik von LLMs – speziell wie das Training die Ausrichtung zwischen Top-1-Vorhersagen und Ground Truth erzwingt – einen robusten Mechanismus zur Detektion von Pretraining-Daten bietet. Durch den Übergang von einfachen Token-Likelihoods zur Analyse der „Konfidenz“ von Fehlvorhersagen und deren lokalem Kontext bietet Gap-K% ein nuancierteres und effektiveres Detektionswerkzeug. Diese Perspektive unterstreicht die Bedeutung von Top-1-Vorhersage-Verhalten und sequenziellen Korrelationen für das Verständnis von Memorization und Privacy-Risiken.

Limitationen:

Gray-Box-Annahme: Die Methode erfordert Zugriff auf Token-Level-Wahrscheinlichkeitsausgaben (Logits), was ihre Anwendung auf Modelle oder APIs einschränkt, die diese Informationen preisgeben. Sie funktioniert derzeit nicht in einem vollkommenen Black-Box-Szenario.
Modell-Umfang: Obwohl sie an jüngsten Modellfamilien (LLaMA 3.1, Gemma2) getestet wurde, beschränkt sich die Evaluierung auf Modelle bis zu einigen zehn Milliarden Parametern; das Verhalten im Bereich von Hunderten von Milliarden Parametern ist bisher unverifiziert.
Adversarielle Robustheit: Während die Methode robust gegenüber Standard-Paraphrasierung ist, wurde sie nicht gegen adaptive Adversaries getestet, die gezielt darauf optimiert sind, die Detektion durch Manipulation von Token-Level-Statistiken zu umgehen.

Die Autoren betonen, dass ihre Arbeit der nicht-kommerziellen, akademischen Forschung dient, um das Verständnis von Transparenz und Datenschutz in LLMs zu verbessern.