💬 NLP

From Where Words Come: Efficient Regularization of Code Tokenizers Through Source Attribution

Questo lavoro presenta il Source-Attributed BPE (SA-BPE), una tecnica di regolarizzazione che ottimizza i tokenizer per il codice riducendo i token sottotrained derivanti da squilibri nei dati di addestramento, migliorando così efficienza e sicurezza dei modelli linguistici senza alterare la procedura di inferenza.

Autori originali: Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov

Pubblicato 2026-04-16

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Pavel Chizhov, Egor Bogomolov, Ivan P. Yamshchikov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che un'intelligenza artificiale (come quelle che scrivono codice o chattano con noi) sia come un cuoco stellato che deve preparare piatti complessi. Per cucinare, il cuoco ha bisogno di ingredienti. Nel mondo delle AI, questi "ingredienti" sono le parole o, più precisamente, i token (i pezzi di testo in cui il computer spezza le frasi).

Il problema è che i cuochi attuali (i modelli di linguaggio) spesso ricevono un cestino degli ingredienti disordinato.

Il Problema: Il Cestino degli Ingredienti "Spazzatura"

Nel mondo della programmazione, i token sono creati da un algoritmo chiamato BPE (Byte-Pair Encoding). Funziona un po' come un bambino che gioca con i LEGO: prende due pezzi che stanno spesso insieme e li incolla per formarne uno nuovo, più grande.

Tuttavia, nel mondo del codice, questo processo a volte va fuori controllo. Immagina che il bambino incollino pezzi di LEGO che appartengono a un unico, specifico castello che ha costruito una volta sola, anni fa.

Il risultato? Il cestino degli ingredienti si riempie di pezzi di quel castello specifico (nomi di variabili strane, errori di battitura di un solo progetto, nomi di file unici).
La conseguenza: Quando il cuoco (l'AI) deve cucinare un nuovo piatto (capire un nuovo codice), si trova con migliaia di pezzi di LEGO che non gli servono mai. Questi pezzi "non addestrati" (under-trained) sono come ingredienti scaduti: il cuoco non sa come usarli, quindi quando ci prova, potrebbe allucinazione (inventare cose che non esistono) o essere ingannato da hacker che usano questi pezzi strani per rompere le regole.

La Soluzione: Il "Filtro dell'Origine" (SA-BPE)

Gli autori di questo paper hanno inventato un nuovo metodo chiamato SA-BPE (Source-Attributed BPE). Ecco come funziona, con una metafora semplice:

Immagina di dover creare un dizionario per un cuoco che lavora in una cucina internazionale.

Il metodo vecchio (BPE normale): Prendi tutti i testi che trovi e incolla le parole che si vedono spesso. Se una parola strana appare 100 volte in un unico progetto di un solo programmatore, il metodo vecchio la include nel dizionario. Risultato: il dizionario è pieno di "gossip" locali che nessuno conosce.
Il metodo nuovo (SA-BPE): Prima di incollare due pezzi, il cuoco chiede: "Da quanti progetti diversi viene questa combinazione? E in quante lingue diverse appare?"
- Se una combinazione appare solo in un solo progetto o in una sola lingua, SA-BPE dice: "No, aspetta. Questo è troppo specifico, è come se avessimo un ingrediente che esiste solo nella cucina di Mario. Non lo mettiamo nel dizionario generale."
- Se la combinazione appare in molti progetti e in molte lingue, allora sì, la incollano.

È come se avessimo un filtro di qualità che scarta gli ingredienti "locali" e mantiene solo quelli "universali".

Perché è Geniale?

Pulisce la dispensa: Il dizionario finale è più pulito. Non ci sono migliaia di pezzi di LEGO inutili.
Meno sprechi: Il computer non spreca memoria e tempo di calcolo per imparare a usare pezzi che non userà mai.
Più sicuro: Meno pezzi "strani" nel dizionario significa meno possibilità che un hacker trovi un buco nella sicurezza usando parole che il modello non capisce davvero.
Nessun rallentamento: La cosa più bella è che, una volta creato il nuovo dizionario, il cuoco lo usa esattamente come prima. Non deve imparare una nuova ricetta per cucinare; è solo che ha ingredienti migliori. Quindi, la velocità non cambia, ma la qualità del piatto sì.

In Sintesi

Questo paper ci dice che per fare un'AI migliore, non serve sempre farla mangiare di più (più dati), ma serve farle mangiare meglio.

Invece di accumulare tutto ciò che si vede (anche spazzatura specifica di un solo progetto), il nuovo metodo SA-BPE agisce come un selezionatore intelligente che chiede: "Questa parola è utile per tutti, o è solo un ricordo di un singolo progetto?". Se è solo un ricordo, lo scarta. Il risultato è un'AI più intelligente, più veloce e meno propensa a fare errori strani quando scrive codice.

1. Il Problema: Tokenizzazione e Token "Sottotrained"

L'efficienza e la sicurezza dei Modelli Linguistici di Grandi Dimensioni (LLM), specialmente nel dominio del codice, dipendono fortemente dalla qualità del tokenizzatore. Il metodo standard, Byte-Pair Encoding (BPE), costruisce un vocabolario fondendo iterativamente le coppie di token più frequenti.

Tuttavia, il BPE presenta un difetto critico nei dati di codice: la tendenza a generare token sottotrained (sottoaddestrati). Questi sono token presenti nel vocabolario ma raramente o mai visti durante l'addestramento del modello. Le cause principali includono:

Squilibrio nei dati: Dominanza di repository specifici e lingue di programmazione particolari nel set di addestramento.
Token ripetitivi e specifici: Il BPE tende a fondere stringhe uniche di repository specifici (es. nomi di variabili o metodi specifici di un progetto, come Loremipumdolor... con errori di battitura) che non hanno utilità generale.
Conseguenze: Questi token mancano di rappresentazioni vettoriali (embedding) adeguate, "ingombrano" il vocabolario, possono causare allucinazioni e, in casi peggiori, essere sfruttati per attacchi di tipo jailbreak a livello di token.

2. Metodologia: SA-BPE (Source-Attributed BPE)

Gli autori propongono SA-BPE, una serie di modifiche all'algoritmo BPE standard per introdurre regolarizzazione direttamente durante la fase di training del tokenizzatore. L'obiettivo è de-prioritizzare i termini che appaiono solo in un piccolo sottoinsieme di documenti, ispirandosi al concetto inverso di TF-IDF.

Le modifiche si basano sul tracciamento di due metriche per ogni coppia di token da fondere:

R (Repository): Il numero di repository in cui la coppia è presente.
L (Linguaggi): Il numero di linguaggi di programmazione in cui la coppia è presente.

Vengono implementate due strategie principali:

Criterio di Salto (Merge Skip Criterion): Si introduce una soglia minima ( $R_t$ e $L_t$ ). Se una fusione proposta appare in meno di $R_t$ repository o $L_t$ linguaggi, viene saltata. Questo previene la creazione di token basati su dati troppo specifici o sporchi.
Criterio di Priorità (Priority Criterion): Invece di scegliere la fusione basandosi solo sulla frequenza ( $F$ $F$ ), si modifica la funzione obiettivo per includere la diversità delle fonti. Le varianti testate includono:
- $F \cdot L$ : Priorità alle fusioni universali tra linguaggi.
- $F \cdot \log(R + 1)$ o $F \cdot \log R$ : Penalizza le fusioni presenti in pochi repository (nullificando quelle presenti in un solo repository).
- Combinazioni come $F \cdot \log R \cdot L$ .

Vantaggio Chiave: A differenza di altri metodi che richiedono procedure di inferenza modificate o pruning post-training, SA-BPE modifica solo la fase di training del vocabolario. L'inferenza rimane identica al BPE standard, garantendo compatibilità con gli strumenti esistenti senza overhead computazionale aggiuntivo.

3. Contributi Chiave

Analisi dei Token Sottotrained: Gli autori hanno analizzato modelli di codice popolari (CodeGemma, Qwen 2.5 Coder, StarCoder2) e identificato che una percentuale significativa di token sottotrained deriva da nomi di variabili specifici di repository, punteggiatura eccessiva o errori di battitura nei dati di addestramento.
Proposta di SA-BPE: Un framework di regolarizzazione che utilizza l'attribuzione della fonte (repository e linguaggio) per guidare l'algoritmo BPE, riducendo l'overfitting sui dati di addestramento.
Validazione Sperimentale: Addestramento di modelli LLM piccoli (100M parametri) e valutazione su dataset multilingue e monolingue (Java, Python, ecc.), dimostrando una riduzione drastica dei token sottotrained.

4. Risultati Sperimentali

I risultati sono stati valutati su metriche intrinseche (tasso di compressione, copertura, lunghezza media del token) ed estrinseche (analisi con la libreria magikarp per rilevare token sottotrained).

Riduzione dei Token Sottotrained: Le varianti SA-BPE hanno ridotto il numero di token verificati come sottotrained da 640 (nel BPE base) a 44 nella configurazione migliore ( $F \cdot \log R \cdot L$ con salto per $L=1$ ).
Miglioramento della Generalizzazione: I tokenizzatori SA-BPE mostrano una copertura maggiore sui dati di valutazione (test) e una lunghezza media dei token inferiore, indicando una migliore capacità di generalizzare su nuovi repository senza creare token inutili.
Compressione: Il tasso di compressione rimane competitivo o leggermente superiore rispetto al BPE standard, dimostrando che la regolarizzazione non compromette l'efficienza della codifica.
Supporto Multilingua: Le modifiche che includono il fattore linguistico ( $L$ ) migliorano le prestazioni per le lingue a risorse limitate, riducendo il bias verso le lingue ad alta frequenza.
Efficienza: Il tempo di inferenza non è influenzato negativamente; anzi, un vocabolario più pulito può portare a un leggero miglioramento delle prestazioni.

5. Significato e Impatto

Questo lavoro è significativo perché affronta un problema fondamentale nell'addestramento di LLM per il codice: la qualità del vocabolario.

Sicurezza: Riducendo i token sottotrained, si diminuisce la superficie di attacco per jailbreak e si riduce il rischio di allucinazioni.
Efficienza: Permette di creare tokenizzatori più compatti ed efficienti senza cambiare l'architettura del modello o il processo di inferenza.
Applicabilità: Sebbene testato sul codice, il metodo è concettualmente applicabile anche al linguaggio naturale, utilizzando "documenti" o "libri" come unità di fonte invece di repository.

In sintesi, SA-BPE offre uno strumento pratico e leggero per migliorare l'addestramento dei tokenizzatori, garantendo che il vocabolario rifletta strutture linguistiche robuste e generalizzabili piuttosto che artefatti specifici dei dati di addestramento.