💬 NLP

Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora?

Questo articolo introduce la Quantile-Guided Density Estimation (QGDE), un metodo che sfrutta le distribuzioni stabili dei rapporti di ID dei token nei tokenizer BPE rilasciati per stimare accuratamente i rapporti di composizione dei corpora di pretraining nascosti sia a livello di token che di categoria.

Autori originali: Qingjie Zhang, Xingzhang Ren, Zixuan Chen, Jinfeng Li, YueFeng Chen, Yitong Yang, Hui Xue, Dayiheng Liu, Han Qiu

Pubblicato 2026-08-12

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Qingjie Zhang, Xingzhang Ren, Zixuan Chen, Jinfeng Li, YueFeng Chen, Yitong Yang, Hui Xue, Dayiheng Liu, Han Qiu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver appena acquistato un robot chef nuovissimo e super intelligente. Può scrivere poesie, risolvere problemi di matematica e persino programmare videogiochi. Ma c'è un problema: il libro di ricette che ha usato per imparare a cucinare è chiuso in una cassaforte. Puoi vedere i piatti finiti dal robot, e puoi persino vedere l'elenco degli ingredienti che potrebbe aver usato, ma non hai idea di quale fosse la miscela reale di ingredienti. Era composto al 90% da impasto per pizza e al 10% da spezie? O forse 50% cioccolato e 50% broccoli? Nel mondo dell'Intelligenza Artificiale, questo "libro di ricette" è chiamato corpus di pre-addestramento, e l'elenco degli "ingredienti" è il vocabolario del tokenizer.

Quando le aziende rilasciano un nuovo modello di IA, spesso condividono i pesi finali (il cervello del robot) e l'elenco del vocabolario (il dizionario degli ingredienti), ma tengono segreta la ricetta esatta. Questo è un problema perché sapere cosa ha "mangiato" l'IA ci aiuta a capire perché è brava in alcune cose e scarsa in altre. Per anni, gli scienziati hanno cercato di indovinare la ricetta osservando il comportamento del robot o le regole che usava per sminuzzare le parole in pezzi. Ma queste ipotesi erano spesso troppo approssimative, come dire "probabilmente ha mangiato molta frutta" senza sapere se fossero mele o banane. La grande domanda era: possiamo guardare solo il dizionario degli ingredienti e scoprire il rapporto esatto di ogni singolo ingrediente che il robot ha consumato?

Questo articolo dice: "Sì, possiamo farlo, ed ecco come". I ricercatori hanno scoperto che il modo in cui le parole vengono sminuzzate e numerate in questi dizionari non è casuale; segue un modello nascosto e stabile, proprio come il modo in cui la frequenza delle parole in qualsiasi lingua segue una curva prevedibile. Si sono resi conto che se conosci il modello di una ricetta "nota" (un corpus a cui abbiamo accesso), puoi trasferire quel modello per indovinare la ricetta di una ricetta "nascosta". Hanno costruito uno strumento ingegnoso chiamato QGDE (Quantile-Guided Density Estimation). Pensa a un detective che non si limita a guardare un singolo indizio, ma utilizza un intero insieme di scenari "cosa succederebbe se" (trend dei quantili) e li pesa in base a quanto è affollato il quartiere degli indizi (pesatura della densità locale).

I risultati sono sorprendentemente precisi. Nei loro test, QGDE è riuscito a indovinare il rapporto di parole specifiche con un tasso di errore minuscolo, pari a solo il 3,00%. Quando hanno raggruppato quelle parole in categorie più ampie come "Web", "Matematica" o "Codice", l'errore era ancora solo del 3,08%. Questo è un enorme miglioramento rispetto ai metodi precedenti, che erano come tentare di indovinare il tempo guardando una singola nuvola. Il documento ha testato anche il metodo su un modello di IA reale e rilasciato, chiamato SmolLM, dove la ricetta effettiva era nota. Anche in quel caso, QGDE ha superato gli altri metodi, dimostrando che il dizionario degli ingredienti contiene davvero il segreto della ricetta. Tuttavia, gli autori sottolineano con cautela che, sebbene questo funzioni bene nelle loro simulazioni e su SmolLM, non possiamo ancora testarlo su giganti come ChatGPT o Qwen perché le loro ricette di addestramento complete rimangono sigillate. Ma per ora, suggerisce che la prossima volta che vedrete l'elenco del vocabolario di un'IA, potreste trovarvi davanti a una mappa della sua dieta nascosta.

Riepilogo Tecnico: I vocabolari dei LLM rilasciati possono supportare la stima a livello di token dei corpora nascosti?

1. Formulazione del Problema

La composizione dei corpora di pretraining è fondamentale per comprendere le capacità dei Large Language Model (LLM), eppure questa informazione rimane spesso opaca anche quando i pesi del modello vengono rilasciati. Sebbene i vocabolari dei tokenizer rilasciati (tipicamente addestrati utilizzando il Byte-Pair Encoding, o BPE) siano spesso pubblici, raramente sono accompagnati dalle esatte statistiche dei dati di addestramento.

Il problema centrale affrontato è la stima del rapporto del corpus a livello di token. Dato un vocabolario di un target tokenizer $V^*$ addestrato su un corpus nascosto $C^*$ , l'obiettivo è stimare il rapporto $r^*_i$ per ogni token $v_i$ nel vocabolario. A differenza del lavoro precedente che inferisce miscele di categorie grossolane (ad esempio, proporzioni di linguaggio o di dominio) o traccia gruppi di token specifici, questo articolo mira a stimare il rapporto per arbitrari singoli token.

Gli autori assumono l'accesso a uno o più corpora noti $D$ con rapporti di token osservabili. La sfida consiste nell'apprendere un estimatore $\hat{f}$ che mappi gli ID dei token ai rapporti nel corpus nascosto, sfruttando la relazione tra gli ID dei token e i rapporti osservati nei corpora noti.

2. Osservazione Chiave: Trasferibilità delle Distribuzioni ID-Rapporto

Prima di proporre una soluzione, gli autori indagano se la relazione tra gli ID dei token e i rapporti sia trasferibile tra diversi corpora.

Metodo: Hanno addestrato tokenizer BPE su varie lingue (inglese, francese, giapponese, cinese) e domini (Web, Wikipedia, Code, Math) e hanno tracciato le distribuzioni degli ID dei token rispetto ai loro rapporti in uno spazio log-log.
Risultato: Nonostante le significative differenze nella struttura linguistica o nel contenuto del dominio, le distribazioni ID del token–rapporto condividono una forma globale stabile.
Quantificazione: Utilizzando un punteggio di similarità di trasferimento direzionale basato sulla divergenza di Kullback–Leibler (KL), hanno dimostrato che queste distribuzioni sono ampiamente trasferibili. Ad esempio, l'inglese e il francese mostrano una quasi-intercambiabilità, mentre anche coppie strutturalmente distinte come Code e Wikipedia mantengono una sostanziale similarità.
Implicazione: Questa stabilità motiva il trasferimento della struttura distributiva dai corpora noti al target tokenizer addestrato su dati nascosti.

3. Metodologia: Stima della Densità Guidata dai Quantili (QGDE)

Per sfruttare questa trasferibilità, gli autori propongono la Quantile-Guided Density Estimation (QGDE). Il metodo consiste in tre fasi principali:

A. Adattamento dei Trend ID-Rapporto con i Quantili

Invece di adattare una singola curva mediana (come fatto nel lavoro precedente come PoCTrace), QGDE modella la relazione condivisa ID–rapporto utilizzando una famiglia di trend quantilici.

Trasformazione Log-Log: Seguendo la legge di Zipf, gli ID dei token ( $t$ ) e i rapporti ( $r$ ) sono modellati in uno spazio log-log, dove la relazione approssima un trend lineare.
Regressione Quantilica: Per un insieme di livelli quantilici $\tau$ , il metodo adatta curve log-lineari $q_\tau(x) = a_\tau + b_\tau x$ . Ciò cattura non solo la tendenza centrale, ma l'intera dispersione verticale dei rapporti plausibili per un dato ID del token.
Generazione dei Candidati: Per un target token con ID $t_i$ , ogni trend quantilico fornisce una stima del log-rapporto candidata $z_{i,\tau}$ .

B. Selezione degli Anchor Quantilici

Per evitare ridondanze e garantire la copertura della distribuzione, il metodo seleziona un piccolo insieme di anchor quantilici rappresentativi $T^*_K$ .

Ottimizzazione: Gli anchor sono selezionati massimizzando la Quantile Anchor Coverage (QAC), che conta quanti punti ID–rapporto noti cadono entro una banda verticale dei trend selezionati.
Risultato: Questo processo favorisce anchor i cui trend passano congiuntamente attraverso regioni ben supportate della distribuzione, piuttosto che distribuirsi uniformemente o concentrarsi in aree scarse. L'analisi empirica mostra che la copertura satura all'aumentare del numero di anchor ( $K$ ) (ad esempio, rendimenti decrescenti dopo $K=14$ ).

C. Ponderazione della Densità Locale

L'ultimo passaggio converte le molteplici stime candidate in una singola stima puntuale utilizzando la ponderazione della densità locale.

Meccanismo: Per un target token ID, il metodo identifica i punti ID–rapporto noti vicini all'interno di una finestra locale.
Ponderazione: Assegna pesi morbidi a ogni stima candidata in base a quanto fortemente i punti circostanti supportano quel particolare trend quantilico, utilizzando la stima della densità del kernel gaussiano.
Stima Finale: La stima del rapporto è la media ponderata per densità delle stime candidate. Questo trasforma il segnale "a intervallo" del lavoro precedente in una stima puntuale fine a livello di token.

4. Risultati Sperimentali

Gli autori hanno valutato QGDE sia in scenari controllati (usando mC4, OSCAR, FineWeb, ecc.) sia in uno scenario realistico (usando il tokenizer rilasciato di SmolLM).

Scenari Controllati

Stima a Livello di Token: QGDE ha superato significativamente due baseline: il trasferimento diretto del rapporto dell'ID (copiando i rapporti della sorgente per posizione) e PoCTrace (singolo trend mediano).
- Performance: QGDE ha ottenuto Errori Relativi Medi (MRE) bassi fino al 3,00% per la stima a livello di token in scenari di miscela mista.
- Ablazione: L'aumento del numero di anchor quantilici ( $K$ ) da 3 a 14 ha ridotto drasticamente gli errori, in particolare negli scenari di dominio, dopo di che i guadagni si sono saturati.
- Miscele di Sorgenti: L'uso di corpora noti misti ha generalmente prodotto risultati migliori rispetto agli scenari a singola sorgente, sebbene il rapporto esatto della miscela contasse meno della diversità dei componenti coperti.

Aggregazione a Livello di Categoria

Stima della Miscela: Le stime a livello di token sono state aggregate per stimare le proporzioni di linguaggio o di dominio.
Confronto: QGDE ha superato sostanzialmente il baseline di Data Mixture Inference (DMI).
- Riduzione dell'Errore: Negli scenari linguistici, l'MRE è sceso da circa il 9,09% (DMI) al 3,08% (QGDE). Negli scenari di dominio, è sceso da circa il 15,14% a ~5,3%.
- Osservazione: Sebbene l'aumento di $K$ abbia migliorato l'accuratezza a livello di token, i guadagni a livello di categoria sono stati meno pronunciati a causa dell'effetto di smoothing dell'aggregazione.

Scenario Realistico (SmolLM)

Validazione: Il metodo è stato testato sul tokenizer di SmolLM, dove le proporzioni dei dati di addestramento (ground truth) erano disponibili (FineWeb-edu, Cosmopedia, Python-edu).
Risultati: QGDE ha ottenuto l'errore più basso sia per la stima a livello di token (5,72–5,78% MRE) che per quella a livello di categoria (5,93% MRE), superando sia il trasferimento diretto che PoCTrace. Ciò ha confermato l'efficacia del metodo anche quando i corpora componenti esatti non potevano essere utilizzati come sorgenti di addestramento dirette.

5. Contributi e Significato

Il documento presenta tre contributi primari:

Scoperta della Trasferibilità: Dimostra che le distribuzioni ID–rapporto sono trasferibili tra i vocabolari BPE addestrati su diversi linguaggi e domini, fornendo un segnale utilizzabile per stimare i rapporti dei corpora nascosti.
Innovazione Metodologica: Introduce QGDE, un estimatore generale a livello di token che utilizza molteplici trend quantilici e la ponderazione della densità locale per approssimare la distribuzione trasferibile, andando oltre l'inferenza di miscela grossolana o il tracciamento di token specifici.
Validazione Empirica: Mostra che QGDE raggiunge un'alta accuratezza (fino al 3,00% MRE) sia in scenari controllati che realistici, superando le baseline esistenti.

Significato:
Gli autori sostengono che i vocabolari dei tokenizer rilasciati forniscono un segnale utile per la stima fine del corpus. Questa capacità va oltre l'inferenza della composizione grossolana possibile con i metodi attuali, offrendo una via per l'audit e l'interpretazione delle fonti di dati dei LLM rilasciati, anche quando i corpora di addestramento rimangono nascosti. Il lavoro suggerisce che l' "impronta digitale" della composizione del corpus è codificata nella struttura del vocabolario del tokenizer in un modo che può essere decodificato con un modello statistico sufficiente.

Limitazioni:
Gli autori notano che la scarsità di ground truth per i LLM rilasciati (ad esempio, ChatGPT, Qwen, DeepSeek) limita la valutazione diretta su questi modelli. La validazione attuale si basa su esperimenti controllati e sul raro caso di SmolLM in cui i dati di addestramento sono pubblici. Una validazione più ampia attende il rilascio di ulteriori corpora di addestramento.