💬 NLP

Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora?

Dieses Paper führt die Quantile-Guided Density Estimation (QGDE) ein, eine Methode, welche die stabilen Token-ID-Verhältnisverteilungen in veröffentlichten BPE-Tokenizern nutzt, um die Zusammensetzungsverhältnisse versteckter Pretraining-Korpora sowohl auf Token- als auch auf Kategorienebene präzise zu schätzen.

Ursprüngliche Autoren: Qingjie Zhang, Xingzhang Ren, Zixuan Chen, Jinfeng Li, YueFeng Chen, Yitong Yang, Hui Xue, Dayiheng Liu, Han Qiu

Veröffentlicht 2026-08-12

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qingjie Zhang, Xingzhang Ren, Zixuan Chen, Jinfeng Li, YueFeng Chen, Yitong Yang, Hui Xue, Dayiheng Liu, Han Qiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten gerade einen brandneuen, superintelligenten Roboter-Koch gekauft. Er kann Gedichte schreiben, mathematische Probleme lösen und sogar Videospiele programmieren. Aber es gibt einen Haken: Das Rezeptbuch, mit dem er das Kochen gelernt hat, ist in einem Tresor eingeschlossen. Sie können die fertigen Gerichte des Roboters sehen und Sie können sogar die Liste der Zutaten sehen, die er vielleicht verwendet hat, aber Sie haben keine Ahnung, wie die tatsächliche Mischung der Zutaten war. In der Welt der Künstlichen Intelligenz wird dieses „Rezeptbuch“ als Pretraining-Korpus bezeichnet, und die „Liste der Zutaten“ ist das Tokenizer-Vokabular.

Wenn Unternehmen ein neues KI-Modell veröffentlichen, teilen sie oft die finalen Gewichte (das Gehirn des Roboters) und die Vokabelliste (das Zutatenverzeichnis), halten aber das exakte Rezept geheim. Dies ist ein Problem, denn zu wissen, was die KI „gegessen“ hat, hilft uns zu verstehen, warum sie in manchen Dingen gut und in anderen schlecht ist. Jahrelang haben Wissenschaftler versucht, das Rezept zu erraten, indem sie das Verhalten des Roboters oder die Regeln untersuchten, mit denen Wörter in Stücke geschnitten wurden. Aber diese Vermutungen waren oft zu grob, so als würde man sagen: „Er hat wahrscheinlich viel Obst gegessen“, ohne zu wissen, ob es Äpfel oder Bananen waren. Die große Frage war: Kann man allein anhand des Zutatenverzeichnisses das exakte Verhältnis jeder einzelnen Zutat bestimmen, die der Roboter konsumiert hat?

Dieses Paper sagt: „Ja, das können wir, und so geht es.“ Die Forscher entdeckten, dass die Art und Weise, wie Wörter in diesen Verzeichnissen zerteilt und nummeriert werden, nicht zufällig ist; sie folgt einem verborgenen, stabilen Muster, ganz ähnlich wie die Häufigkeit von Wörtern in einer Sprache einer vorhersehbaren Kurve folgt. Sie erkannten, dass man, wenn man das Muster eines „bekannten“ Rezepts (eines Korpus, auf den wir Zugriff haben) kennt, dieses Muster auf ein „verborgenes“ Rezept übertragen kann, um das Rezept zu erraten. Sie entwickelten ein cleveres Werkzeug namens QGDE (Quantile-Guided Density Estimation). Denken Sie an einen Detektiv, der nicht nur nach einem einzelnen Hinweis sucht, sondern ein ganzes Set an „Was-wäre-wenn“-Szenarien (Quantil-Trends) verwendet und diese basierend darauf gewichtet, wie dicht besiedelt die Nachbarschaft der Hinweise ist (lokale Dichtegewichtung).

Die Ergebnisse sind überraschend präzise. In ihren Tests konnte QGDE das Verhältnis spezifischer Wörter mit einer winzigen Fehlerrate von nur 3,00 % erraten. Wenn sie diese Wörter in größere Kategorien wie „Web“, „Mathe“ oder „Code“ gruppierten, lag der Fehler immer noch bei nur 3,08 %. Dies ist eine enorme Verbesserung gegenüber bisherigen Methoden, die so waren, als würde man das Wetter anhand einer einzelnen Wolke erraten. Das Paper testete dies auch an einem echten, veröffentlichten KI-Modell namens SmolLM, bei dem das tatsächliche Rezept bekannt war. Selbst dort übertraf QGDE andere Methoden, was bewies, dass das Zutatenverzeichnis tatsächlich das Geheimnis des Rezepts in sich trägt. Die Autoren weisen jedoch vorsichtig darauf hin, dass dies zwar in ihren Simulationen und bei SmolLM gut funktioniert, wir es aber dennoch nicht an Giganten wie ChatGPT oder Qwen testen können, da deren vollständige Trainingsrezepte weiterhin verschlossen bleiben. Aber für den Moment deutet es darauf hin, dass Sie, wenn Sie das nächste Mal die Vokabelliste einer KI sehen, vielleicht gerade auf eine Karte zu ihrer verborgenen Ernährung blicken.

Technisches Resümee: Können veröffentlichte LLM-Vokabulare die Schätzung auf Token-Ebene verborgener Korpora unterstützen?

1. Problemformulierung

Die Zusammensetzung von Pretraining-Korpora ist grundlegend für das Verständnis der Fähigkeiten großer Sprachmodelle (LLMs), doch diese Informationen bleiben oft undurchsichtig, selbst wenn die Modellgewichte veröffentlicht werden. Während veröffentlichte Tokenizer-Vokabulare (typischerweise trainiert mit Byte-Pair Encoding, oder BPE) oft öffentlich zugänglich sind, werden sie selten von den exakten Statistiken der Trainingsdaten begleitet.

Das adressierte Kernproblem ist die Korpus-Verhältnisabschätzung auf Token-Ebene. Gegeben sei ein veröffentlichtes Ziel-Tokenizer-Vokabular $V^*$ , das auf einem verborgenen Korpus $C^*$ trainiert wurde; das Ziel ist es, das Korpus-Verhältnis $r^*_i$ für jedes Token $v_i$ im Vokabular zu schätzen. Im Gegensatz zu vorangegangener Arbeit, die grobkörnige Kategorienmischungen (z. B. Sprach- oder Domänenanteile) oder spezifische Token-Gruppen ableitet, zielt dieses Paper darauf ab, das Verhältnis für beliebige einzelne Token zu schätzen.

Die Autoren setzen voraus, dass Zugriff auf eines oder mehrere bekannte Korpora $D$ mit beobachtbaren Token-Verhältnissen besteht. Die Herausforderung besteht darin, einen Schätzer $\hat{f}$ zu lernen, der Token-IDs auf Verhältnisse in dem verborgenen Korpus abbildet, indem die Beziehung zwischen Token-IDs und Verhältnissen, die in den bekannten Korpora beobachtet wurden, genutzt wird.

2. Zentrale Beobachtung: Übertragbarkeit von ID-Verhältnis-Verteilungen

Bevor sie eine Lösung vorschlagen, untersuchen die Autoren, ob die Beziehung zwischen Token-IDs und Korpus-Verhältnissen über verschiedene Korpora hinweg übertragbar ist.

Methode: Sie trainierten BPE-Tokenizer auf verschiedenen Sprachen (Englisch, Französisch, Japanisch, Chinesisch) und Domänen (Web, Wikipedia, Code, Mathematik) und plotten die Verteilungen von Token-IDs gegenüber ihren Korpus-Verhältnissen im Log-Log-Raum.
Ergebnis: Trotz signifikanter Unterschiede in der Sprachstruktur oder dem Domäneninhalt teilen die Token-ID–Verhältnis-Verteilungen eine stabile globale Form.
Quantifizierung: Unter Verwendung eines richtungsabhängigen Transfer-Ähnlichkeitsmaßes basierend auf der Kullback–Leibler-Divergenz zeigten sie, dass diese Verteilungen weitgehend übertragbar sind. Beispielsweise zeigen Englisch und Französisch eine nahezu Austauschbarkeit, während selbst strukturell unterschiedliche Paare wie Code und Wikipedia eine erhebliche Ähnlichkeit beibehalten.
Implikation: Diese Stabilität motiviert den Transfer der distributionalen Struktur von bekannten Korpora auf einen Ziel-Tokenizer, der auf verborgenen Daten trainiert wurde.

3. Methodik: Quantil-gestützte Dichteschätzung (QGDE)

Um diese Übertragbarkeit zu nutzen, schlagen die Autoren die Quantile-Guided Density Estimation (QGDE) vor. Die Methode besteht aus drei Hauptphasen:

A. Anpassung von ID-Verhältnis-Trends mit Quantilen

Anstatt einen einzelnen Median-Trend anzupassen (wie in vorangegangener Arbeit wie PoCTrace), modelliert QGDE die gemeinsame ID–Verhältnis-Beziehung mithilfe einer Familie von Quantil-Trends.

Log-Log-Transformation: In Anlehnung an das Zipfsche Gesetz werden Token-IDs ( $t$ ) und Verhältnisse ( $r$ ) im Log-Log-Raum modelliert, wo die Beziehung einer linearen Tendenz entspricht.
Quantilsregression: Für einen Satz von Quantilstufen $\tau$ passt die Methode log-lineare Kurven $q_\tau(x) = a_\tau + b_\tau x$ an. Dies erfasst nicht nur die zentrale Tendenz, sondern auch die volle vertikale Streuung plausibler Verhältnisse für eine gegebene Token-ID.
Generierung von Kandidaten: Für eine Ziel-Token-ID $t_i$ liefert jeder Quantil-Trend eine Kandidat-Log-Verhältnis-Schätzung $z_{i,\tau}$ .

B. Auswahl von Quantil-Ankern

Um Redundanz zu vermeiden und eine Abdeckung zu gewährleisten, wählt die Methode einen kleinen Satz repräsentativer Quantil-Anker $T^*_K$ aus.

Optimierung: Anker werden ausgewählt, indem die Quantile Anchor Coverage (QAC) maximiert wird, welche zählt, wie viele bekannte ID–Verhältnis-Punkte innerhalb einer vertikalen Bandbreite der ausgewählten Trends liegen.
Ergebnis: Dieser Prozess bevorzugt Anker, deren Trends gemeinsam durch gut unterstützte Regionen der Verteilung verlaufen, anstatt sich gleichmäßig zu verteilen oder auf spärliche Bereiche zu fokussieren. Die empirische Analyse zeigt, dass die Abdeckung sättigt, wenn die Anzahl der Anker ( $K$ ) steigt (z. B. abnehmender Grenznutzen nach $K=14$ ).

C. Lokale Dichtegewichtung

Der letzte Schritt konvertiert die multiplen Kandidatenschätzungen mittels lokaler Dichtegewichtung in eine einzelne Punktschätzung.

Mechanismus: Für eine Ziel-Token-ID identifiziert die Methode nahegelegene bekannte ID–Verhältnis-Punkte innerhalb eines lokalen Fensters.
Gewichtung: Sie weist jedem Kandidatenschätzer weiche Gewichte zu, basierend darauf, wie stark die umgebenden Punkte diesen spezifischen Quantil-Trend unterstützen, unter Verwendung einer Gaußschen Kern-Dichteschätzung.
Endgültige Schätzung: Die geschätzte Ratio ist der dichte-gewichtete Durchschnitt der Kandidatenschätzungen. Dies transformiert das „Bereichs-Signal“ vorangegangener Arbeiten in eine feingliedrige Schätzung auf Token-Ebene.

4. Experimentelle Ergebnisse

Die Autoren evaluierten QGDE sowohl in kontrollierten Settings (unter Verwendung von mC4, OSCAR, FineWeb, etc.) als auch in einem realistischen Setting (unter Verwendung des veröffentlichten SmolLM-Tokenizers).

Kontrollierte Settings

Schätzung auf Token-Ebene: QGDE übertraf zwei Baselines signifikant: den direkten ID-Verhältnis-Transfer (Kopieren der Quell-Verhältnisse nach Position) und PoCTrace (einzelner Median-Trend).
- Leistung: QG-DE erreichte mittlere relative Fehler (MRE) von nur 3,00 % bei der Token-Ebene-Schätzung in gemischten Quellen-Settings.
- Ablation: Die Erhöhung der Anzahl der Quantil-Anker ( $K$ ) von 3 auf 14 reduzierte die Fehler, insbesondere in Domänen-Settings, drastisch, bevor die Gewinne stagnierten.
- Quell-Mischungen: Die Verwendung gemischter bekannter Korpora lieferte im Allgemeinen bessere Ergebnisse als Single-Source-Settings, wobei das exakte Verhältnis der Mischung weniger wichtig war als die Vielfalt der abgedeckten Komponenten.

Aggregation auf Kategorie-Ebene

Mischungsschätzung: Token-Ebene-Schätzungen wurden aggregiert, um Sprach- oder Domänenanteile zu schätzen.
Vergleich: QGDE übertraf die Data Mixture Inference (DMI) Baseline deutlich.
- Fehlerreduktion: In Sprach-Settings sank der MRE von 9,09 % (DMI) auf 3,08 % (QGDE). In Domänen-Settings sank er von ~15,14 % auf **5,3 %**.
- Beobachtung: Während die Erhöhung von $K$ die Genauigkeit auf Token-Ebene verbesserte, waren die Gewinne auf Kategorie-Ebene aufgrund des Glättungseffekts der Aggregation weniger ausgeprägt.

Realistisches Setting (SmolLM)

Validierung: Die Methode wurde am SmolLM-Tokenizer getestet, bei dem die Ground-Truth-Trainingsdaten-Anteile (FineWeb-edu, Cosmopedia, Python-edu) bekannt waren.
Ergebnisse: QGDE erzielte die niedrigsten Fehler sowohl für die Token-Ebene-Schätzung (5,72–5,78 % MRE) als auch für die Kategorie-Ebene-Schätzung (5,93 % MRE) und übertraf damit sowohl den direkten Transfer als auch PoCTrace. Dies bestätigte die Wirksamkeit der Methode selbst dann, wenn die exakten Komponent-Korpora nicht direkt als Trainingsquellen verwendet werden konnten.

5. Beiträge und Bedeutung

Das Paper leistet drei primäre Beiträge:

Entdeckung der Übertragbarkeit: Es zeigt, dass Token-ID–Verhältnis-Verteilungen über BPE-Vokabulare hinweg übertragbar sind, die auf unterschiedlichen Sprachen und Domänen trainiert wurden, was ein nutzbares Signal zur Schätzung verborgener Korpus-Verhältnisse liefert.
Methodische Innovation: Es führt QGDE ein, einen allgemeinen Schätzer auf Token-Ebene, der multiple Quantil-Trends und lokale Dichtegewichtung nutzt, um die übertragbare Verteilung zu approximieren, und geht damit über die grobe Mischungsinferenz oder das Tracking spezifischer Tokens hinaus.
Empirische Validierung: Es zeigt, dass QGDE sowohl in kontrollierten als auch in realistischen Settings eine hohe Genauigkeit (bis zu 3,00 % MRE) erreicht und bestehende Baselines übertrifft.

Bedeutung:
Die Autoren argumentieren, dass veröffentlichte Tokenizer-Vokabulare ein nützliches Signal für die feingliedrige Korpus-Schätzung liefern. Diese Fähigkeit geht über die grobe Kompositions-Inferenz hinaus, die mit aktuellen Methoden möglich ist, und bietet einen Weg, die Datenquellen von veröffentlichten LLMs zu auditieren und zu interpretieren, selbst wenn die Trainingskorpora verborgen bleiben. Die Arbeit legt nahe, dass der „Fingerabdruck“ der Korpus-Zusammensetzung in der Struktur des Tokenizer-Vokabulars kodiert ist und mit ausreichender statistischer Modellierung dekodiert werden kann.

Einschränkungen:
Die Autoren merken an, dass der Mangel an Ground-Truth-Daten für veröffentlichte LLMs (z. B. ChatGPT, Qwen, DeepSeek) die direkte Evaluierung an diesen Modellen einschränkt. Die Validierung stützt sich derzeit auf kontrollierte Experimente und den seltenen Fall von SmolLM, bei dem die Trainingsdaten öffentlich sind. Eine breitere Validierung steht nach der Veröffentlichung von mehr Trainingskorpora aus.