💬 NLP

Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora?

Dit artikel introduceert Quantile-Guided Density Estimation (QGDE), een methode die gebruikmaakt van stabiele token ID-ratioverdelingen in vrijgegeven BPE-tokenizers om de compositieratio's van verborgen pretraining-corpora op zowel token- als categorieniveau nauwkeurig te schatten.

Oorspronkelijke auteurs: Qingjie Zhang, Xingzhang Ren, Zixuan Chen, Jinfeng Li, YueFeng Chen, Yitong Yang, Hui Xue, Dayiheng Liu, Han Qiu

Gepubliceerd 2026-08-12

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Qingjie Zhang, Xingzhang Ren, Zixuan Chen, Jinfeng Li, YueFeng Chen, Yitong Yang, Hui Xue, Dayiheng Liu, Han Qiu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je net een gloednieuwe, superintelligente robotchef hebt gekocht. Hij kan poëzie schrijven, wiskundige problemen oplossen en zelfs videogames programmeren. Maar er is een addertje onder het gras: het kookboek dat de robot gebruikte om te leren koken, zit opgesloten in een kluis. Je kunt de uiteindelijke gerechten van de robot zien, en je kunt zelfs de lijst met ingrediënten zien die hij misschien heeft gebruikt, maar je hebt geen idee wat de werkelijke mix van ingrediënten was. Was het 90% pizzadeeg en 10% specerijen? Of misschien 50% chocolade en 50% broccoli? In de wereld van Kunstmatige Intelligentie wordt dit "receptenboek" een pretraining corpus genoemd, en de "lijst met ingrediënten" is de tokenizer vocabulary.

Wanneer bedrijven een nieuw AI-model uitbrengen, delen ze vaak de uiteindelijke gewichten (het brein van de robot) en de vocabulairelijst (het ingrediëntenwoordenboek), maar houden ze het exacte recept geheim. Dit is een probleem omdat weten wat de AI heeft "gegeten", ons helpt te begrijpen waarom hij in sommige dingen goed is en in andere slecht. Jarenlang hebben wetenschappers geprobeerd het recept te raden door naar het gedrag van de robot te kijken of naar de regels die hij gebruikte om woorden in stukjes te hakken. Maar deze gissingen waren vaak te grof, zoals zeggen dat hij "waarschijnlijk veel fruit heeft gegeten" zonder te weten of het appels of bananen waren. De grote vraag was: Kunnen we alleen naar het ingrediëntenwoordenboek kijken en de exacte verhouding van elk enkel ingrediënt dat de robot heeft geconsumeerd achterhalen?

Dit artikel zegt: "Ja, dat kunnen we, en dit is hoe." De onderzoekers ontdekten dat de manier waarop woorden in deze woordenboeken in stukjes worden gehakt en genummerd niet willekeurig is; het volgt een verborgen, stabiel patroon, vergelijkbaar met hoe de frequentie van woorden in elke taal een voorspelbare curve volgt. Ze realiseerden zich dat als je het patroon van een "bekend" recept kent (een corpus waar we toegang toe hebben), je dat patroon kunt overdragen om het recept van een "verborgen" recept te raden. Ze bouwden een slim instrument genaamd QGDE (Quantile-Guided Density Estimation). Denk aan een detective die niet naar slechts één aanwijzing kijkt, maar een hele reeks "wat als"-scenario's (kwantieltrends) gebruikt en deze weegt op basis van hoe druk het is in de buurt van de aanwijzingen (lokale dichtheidsgewichten).

De resultaten zijn verrassend nauwkeurig. In hun tests kon QGDE de verhouding van specifieke woorden raden met een piepkleine foutmarge van slechts 3,00%. Wanneer ze die woorden groepeerden in grotere categorieën zoals "Web", "Wiskunde" of "Code", was de fout nog steeds slechts 3,08%. Dit is een enorme verbetering ten opzichte van eerdere methoden, die leken op het voorspellen van het weer door naar een enkele wolk te kijken. Het artikel testte dit ook op een echt, uitgebracht AI-model genaamd SmolLM, waarbij het werkelijke recept bekend was. Zelfs daar presteerde QGDE beter dan andere methoden, wat bewijst dat het ingrediëntenwoordenboek inderdaad het geheim van het recept bevat. De auteurs merken echter voorzichtig op dat hoewel dit goed werkt in hun simulaties en op SmolLM, we het nog steeds niet kunnen testen op reuzen zoals ChatGPT of Qwen omdat hun volledige trainingsrecepten op slot blijven. Maar voor nu suggereert het dat de volgende keer dat je de vocabulairelijst van een AI ziet, je misschien wel naar een kaart van zijn verborgen dieet kijkt.

Technische Samenvatting: Kunnen vrijgegeven LLM-vocabulaire structuren ondersteunen voor schatting op token-niveau van verborgen corpora?

1. Probleemformulering

De samenstelling van pretraining-corpora is fundamenteel voor het begrijpen van de capaciteiten van Large Language Models (LLM's), maar deze informatie blijft vaak opaak, zelfs wanneer de modelgewichten worden vrijgegeven. Hoewel vrijgegeven tokenizer-vocabularia (meestal getraind met Byte-Pair Encoding, of BPE) vaak publiek zijn, worden ze zelang niet vergezeld door de exacte statistieken van de trainingsdata.

Het kernprobleel dat wordt aangepakt is corpusratio-schatting op token-niveau. Gegeven een vrijgegeven doel-tokenizer-vocabulaire $V^*$ getraind op een verborgen corpus $C^*$ , is het doel om de corpusratio $r^*_i$ voor elke token $v_i$ in de vocabulaire te schatten. In tegenstelling tot eerder werk dat grove categorie-mengsels afleidt (bijv. taal- of domeinproporties) of specifieke tokengroepen traceert, streeft dit artikel ernaar om de ratio voor arbitraire individuele tokens te schatten.

De auteurs gaan ervan uit dat toegang beschikbaar is tot één of meer bekende corpora $D$ met observeerbare token-ratio's. De uitdaging is om een estimator $\hat{f}$ te leren die token-ID's naar ratio's in het verborgen corpus mapt door gebruik te maken van de relatie tussen token-ID's en ratio's die in de bekende corpora zijn waargenomen.

2. Kernobservatie: Overdraagbaarheid van ID-ratio-distributies

Voordat ze een oplossing voorstellen, onderzoeken de auteurs of de relatie tussen token-ID's en corpus-ratio's overdraagbaar is naar verschillende corpora.

Methode: Ze trainden BPE-tokenizers op verschillende talen (Engels, Frans, Japans, Chinees) en domeinen (Web, Wikipedia, Code, Wiskunde) en plotten de distributies van token-ID's versus hun corpus-ratio's in een log-log-ruimte.
Bevinding: Ondanks significante verschillen in taalstructuur of domeininhoud, delen de token-ID–ratio-distributies een stabiele globale vorm.
Kwantificering: Met behulp van een directionele transfer-gelijkenissscore gebaseerd op de Kullback–Leibler (KL) divergentie, toonden ze aan dat deze distributies breed overdraagbaar zijn. Zo zijn Engels en Frans bijvoorbeeld bijna uitwisselbaar, terwijl zelfs structureel verschillende paren zoals Code en Wikipedia substantiële gelijkenis behouden.
Implicatie: Deze stabiliteit motiveert het overdragen van de distributieve structuur van bekende corpora naar een doel-tokenizer getraind op verborgen data.

3. Methodologie: Quantile-Guided Density Estimation (QGDE)

Om deze overdraagbaarheid uit te buiten, stellen de auteurs Quantile-Guided Density Estimation (QGDE) voor. De methode bestaat uit drie hoofdfasen:

A. Het fitten van ID-ratio-trends met kwantielen

In plaats van een enkele mediaan-curve te fitten (zoals gedaan in eerder werk zoals PoCTrace), modelleert QGDE de gedeelde ID–ratio-relatie met behulp van een familie van kwantiel-trends.

Log-Log Transformatie: Volgens de wet van Zipf worden token-ID's ( $t$ ) en ratio's ( $r$ ) gemodelleerd in een log-log-ruimte, waar de relatie een lineaire trend benadert.
Kwantielregressie: Voor een set kwantiel-niveaus $\tau$ fitte de methode log-lineaire curven $q_\tau(x) = a_\tau + b_\tau x$ . Dit legt niet alleen de centrale tendens vast, maar ook de volledige verticale spreiding van plausibele ratio's voor een gegeven token-ID.
Genereren van kandidaten: Voor een doel-token met ID $t_i$ levert elke kwantiel-trend een kandidaat log-ratio schatting $z_{i,\tau}$ op.

B. Selectie van Kwantiel-ankers

Om redundantie te voorkomen en dekking te garanderen, selecteert de methode een kleine set representatieve kwantiel-ankers $T^*_K$ .

Optimalisatie: Ankers worden geselecteerd door de Quantile Anchor Coverage (QAC) te maximaliseren, die telt hoeveel bekende ID–ratio punten binnen een verticale bandbreedte van de geselecteerde trends vallen.
Resultaat: Dit proces bevoordeelt ankers waarvan de trends gezamenlijk door goed ondersteunde regio's van de distributie lopen, in plaats van uniform verspreid te zijn of te focussen op ijle gebieden. Empirische analyse laat zien dat de dekking verzadigt naarmate het aantal ankers ( $K$ ) toeneemt (bijv. verminderde meeropbrengst na $K=14$ ).

C. Lokale Dichtheidsgewogen Schatting

De laatste stap zet de meerdere kandidaat-schattingen om in een enkele punt-schatting met behulp van lokale dichtheidsgewichten.

Mechanisme: Voor een doel-token-ID identificeert de methode nabijgelegen bekende ID–ratio punten binnen een lokaal venster.
Weging: Het wijst zachte gewichten toe aan elke kandidaat-schatting op basis van hoe sterk de omliggende punten die specifieke kwantiel-trend ondersteunen, met behulp van Gaussian kernel density estimation.
Eindschatting: De geschatte ratio is het dichtheid-gewogen gemiddelde van de kandidaat-schattingen. Dit transformeert het "bereik-stijl" signaal van eerder werk naar een fijnmazige schatting op token-niveau.

4. Experimentele Resultaten

De auteurs evalueerden QGDE in zowel gecontroleerde settings (met behulp van mC4, OSCAR, FineWeb, etc.) als in een realistische setting (met behulp van de vrijgegeven SmolLM tokenizer).

Gecontroleerde Settings

Schatting op token-niveau: QGDE presteerde aanzienlijk beter dan twee baselines: directe ID-ratio-transfer (het kopiëren van bron-ratio's op basis van positie) en PoCTrace (enkele mediaan-trend).
- Prestaties: QGDE bereikte Mean Relative Errors (MRE) zo laag als 3,00% voor token-niveau schatting in gemengde bron-settings.
- Ablatie: Het verhogen van het aantal kwantiel-ankers ( $K$ ) van 3 naar 14 verminderde de fouten scherp, vooral in domein-settings, waarna de winst verzadigde.
- Bron-mengsels: Het gebruik van gemengde bekende corpora leverde over het algemeen betere resultaten op dan single-source settings, hoewel de exacte ratio van het mengsel er minder toe deed dan de diversiteit van de gedekte componenten.

Aggregatie naar Categorie-niveau

Mengsel-schatting: Token-niveau schattingen werden geaggregeerd om taal- of domeinproporties te schatten.
Vergelijking: QGDE presteerde aanzienlijk beter dan de Data Mixture Inference (DMI) baseline.
- Foutreductie: In taal-settings daalde de MRE van 9,09% (DMI) naar 3,08% (QGDE). In domein-settings daalde het van ~15,14% naar **5,3%**.
- Observatie: Hoewel het verhogen van $K$ de nauwkeurigheid op token-niveau verbeterde, waren de winsten op categorie-niveau minder uitgesproken vanwege het gladstrijkende effect van aggregatie.

Realistische Setting (SmolLM)

Validatie: De methode werd getest op de SmolLM tokenizer, waarbij de grondwaarheid van de trainingsdata-proporties bekend waren (FineWeb-edu, Cosmopedia, Python-edu).
Resultaten: QGDE behaalde de laagste fout voor zowel de token-niveau (5,72–5,78% MRE) als de categorie-niveau (5,93% MRE) schatting, waarmee het zowel directe transfer als PoCTrace versloeg. Dit bevestigde de effectiviteit van de methode, zelfs wanneer de exacte component-corpora niet direct als trainingsbronnen gebruikt konden worden.

5. Bijdragen en Betekenis

Het artikel levert drie primaire bijdragen:

Ontdekking van Overdraagbaarheid: Het toont aan dat token-ID–ratio-distributies overdraagbaar zijn tussen BPE-vocabularia getraind op verschillende talen en domeinen, wat een bruikbaar signaal biedt voor het schatten van verborgen corpus-ratio's.
Methodologische Innovatie: Het introduceert QGDE, een algemene estimator op token-niveau die gebruik maakt van meerdere kwantiel-trends en lokale dichtheidsgewichten om de overdraagbare distributie te benaderen, waarmee het verder gaat dan grove mengsel-inferentie of specifieke token-tracing.
Empirische Validatie: Het toont aan dat QGDE een hoge nauwkeurigheid bereikt (zo laag als 3,00% MRE) in zowel gecontroleerde als realistische settings, waarbij het bestaande baselines overtreft.

Betekenis:
De auteurs stellen dat vrijgegeven tokenizer-vocabularia een nuttig signaal bieden voor fijnmazige corpus-schatting. Deze capaciteit gaat verder dan de grove samenstelling-inferentie die mogelijk is met huidige methoden, en biedt een pad om de databronnen van vrijgegeven LLM's te auditeren en te interpreteren, zelfs wanneer de trainings-corpora verborgen blijven. Het werk suggereert dat de "vingerafdruk" van de corpus-samenstelling is gecodeerd in de structuur van de tokenizer-vocabulaire op een manier die gedecodeerd kan worden met voldoende statistische modellering.

Beperkingen:
De auteurs merken op dat het gebrek aan grondwaarheid voor vrijgegeven LLM's (bijv. ChatGPT, Qwen, DeepSeek) directe evaluatie op deze modellen beperkt. Validatie rust momenteel op gecontroleerde experimenten en het zeldzame geval van SmolLM waarbij de trainingsdata publiek zijn. Bredere validatie wacht op de release van meer trainings-corpora.