🤖 AI

You Can Learn Tokenization End-to-End with Reinforcement Learning

Questo articolo propone l'apprendimento della tokenizzazione end-to-end utilizzando il reinforcement learning con stime della funzione di punteggio e sconto temporale per ridurre la varianza, dimostrando che questo approccio supera i precedenti metodi straight-through alla scala di 100 milioni di parametri.

Autori originali: Sam Dauncey, Roger Wattenhofer

Pubblicato 2026-08-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Sam Dauncey, Roger Wattenhofer

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I computer moderni non comprendono naturalmente il linguaggio umano; comprendono solo numeri. Per colmare questo divario, i sistemi di intelligenza artificiale che elaborano il testo devono prima tradurre parole e frasi in un flusso di numeri che possano digerire. Per anni, il metodo standard per farlo è stato un passaggio rigido e pre-programmato chiamato tokenizzazione. Pensate a questo processo come a un bibliotecario che, prima che un libro possa essere letto da una macchina, deve tagliare le pagine in pezzi specifici e predeterminati basandosi su un libro di regole fissato. Questo libro di regole decide dove finisce una parola e dove inizia la successiva, spesso raggruppando insieme combinazioni comuni di lettere. Sebbene questo funzioni bene, è un passaggio manuale e statico che risiede al di fuori del cervello dell'intelligenza artificiale, separato dal processo di apprendimento stesso. Man mano che queste menti digitali diventano più grandi e capaci, gli scienziati hanno iniziato a chiedersi se questo approccio rigido e pre-tagliato non stia frenando il loro sviluppo, e se la macchina potrebbe imparare a tagliare il testo da sola in un modo che abbia più senso per la propria logica interna.

Un team di ricercatori dell'ETH di Zurigo ha compiuto un passo significativo nel rispondere a quella domanda, insegnando a un'intelligenza artificiale come tagliare il proprio testo da zero, senza alcuna regola pre-scritta. Nel loro nuovo lavoro, hanno dimostrato che un modello di computer può essere addestrato per decidere esattamente dove posizionare i confini tra i pezzi di testo, semplicemente cercando di minimizzare i propri errori durante l'apprendimento. Invece di seguire un manuale fisso o usare un'intuizione intelligente basata su spazi e punteggiatura, il modello utilizza un approccio per tentativi ed errori simile a quello con cui un animale impara a navigare in un labirinto. Il modello ipotizza stocasticamente dove dovrebbe andare un taglio, vede quanto bene predice la parte successiva del testo e poi adatta la sua strategia. Se un'ipotesi porta a una migliore predizione, il modello rinforza quella decisione; se porta a confusione, prova qualcos'altro. Con il tempo, il modello scopre il proprio modo ottimale di scomporre il linguaggio, insegnandosi efficacemente le regole della tokenizzazione mentre apprende la lingua.

I ricercatori hanno scoperto che, quando hanno lasciato che il modello apprendesse in questo modo, esso iniziò naturalmente a posizionare i tagli nelle stesse posizioni in cui lo fanno gli esseri umani, come negli spazi tra le parole o alla fine delle frasi, anche se non gli era stato detto di farlo. Ciò è accaduto senza che al modello venisse data alcuna istruzione specifica sulla grammatica o sulla struttura del linguaggio. Nei test eseguiti utilizzando un dataset di oltre cento milioni di parametri, questo approccio auto-appreso si è dimostrato più efficace dei metodi precedenti che cercavano di apprendere i confini utilizzando una tecnica matematica diversa e meno diretta. Il nuovo metodo non solo ha prodotto risultati migliori, ma ha anche eguagliato le prestazioni di sistemi che si affidano ai tradizionali libri di regole creati artigianalmente, nonostante non avesse alcuna conoscenza preventiva di tali regole.

Uno degli aspetti più sorprendenti di questa scoperta è che il modello ha imparato a essere efficiente. Ha capito come raggruppare i byte di dati in segmenti che avessero senso per il suo compito specifico, che si trattasse di leggere testo generale o di comprendere il codice informatico. Quando i ricercatori hanno testato il modello sul codice Python, esso ha imparato a iniziare nuovi segmenti all'inizio dei nomi delle funzioni e a mantenere insieme certe frasi comuni, mostrando una comprensione intuitiva della struttura del codice che stava leggendo. Ciò suggerisce che il modello non sta solo memorizzando schemi, ma sta attivamente sviluppando una strategia che si allinea con il significato del testo che elabora.

Lo studio ha anche affrontato un ostacolo importante che aveva precedentemente reso difficile questo tipo di apprendimento: il rumore nel segnale di apprendimento. Poiché la decisione di tagliare il testo è una scelta binaria — o tagli qui o non tagli — è matematicamente difficile dire al modello esattamente come migliorare. I ricercatori hanno risolto questo problema prendendo in prestito tecniche dall'apprendimento per rinforzo, un campo in cui gli agenti imparano attraverso ricompense e penalità. Hanno introdotto un metodo che attenua il rumore, permettendo al modello di vedere quali decisioni specifiche fossero responsabili dei suoi successi o fallimenti su un tratto di testo più lungo. Ciò ha permesso al modello di apprendere efficacemente senza necessitare di una quantità impossibile di potenza di calcolo.

Sebbene gli esperimenti attuali siano stati condotti su modelli di una dimensione specifica, i risultati offrono una visione convincente per il futuro dell'intelligenza artificiale. Rimuovendo la necessità di un passaggio separato e pre-programmato per preparare il testo, i ricercatori hanno dimostrato che l'elaborazione del linguaggio può diventare un processo di apprendimento completamente integrato e "end-to-end". Il modello non impara solo a parlare; impara come ascoltare e come interpretare il mondo circostante nel modo più efficiente possibile. Questo approccio potrebbe portare in futuro a sistemi in grado di gestire lingue e tipi di dati per i quali non esiste un libro di regole progettato dall'uomo, rendendo l'intelligenza artificiale più adattabile e inclusiva. Il lavoro suggerisce che il design rigido e artigianale di come forniamo i dati alle macchine potrebbe presto essere sostituito da un metodo più fluido e auto-scoperto, in cui la macchina impara il modo migliore per leggere il mondo secondo i propri termini.

Sintesi Tecnica: Apprendimento della Tokenizzazione End-to-End con Reinforcement Learning

Problematica
La tokenizzazione rimane un passaggio di pre-processing codificato (hardcoded) nelle pipeline di addestramento dei Large Language Models (LLM), basandosi tipicamente su euristiche come il Byte-Pair Encoding (BPE) o regole artigianali (ad esempio, la suddivisione delle cifre o la preservazione degli spazi bianchi). Mentre la tendenza generale nell'architettura dell'IA si sta muovendo verso l'apprendimento end-to-end, la tokenizzazione ha ampiamente resistito a questo cambiamento. I precedenti tentativi di integrare la tokenizzazione nell'architettura del modello hanno affrontato due limitazioni principali:

Affidamento alle Euristiche: I metodi che operano direttamente sui byte utilizzano spesso regole fisse (ad esempio, il rilevamento degli spazi bianchi) o picchi di entropia per determinare i confini dei token, i quali non sono appresi dai dati.
Debolezza Teorica degli Estimatori Straight-Through (STE): I precedenti tenti di apprendere i confini dei token end-to-end si sono basati su STE. Questi metodi rilassano le decisioni discrete dei confini in variabili continue per permettere la backpropagation. Tuttavia, gli STE mancano di forti garanzie teoriche perché non ottimizzano direttamente il problema decisionale discreto; si affidano ad approssimazioni di gradiente euristiche che potrebbero non convergere verso una strategia ottimale.

Metodologia
Gli autori propongono un metodo per apprendere i confini dei token end-to-end utilizzando stimatori della funzione di punteggio (score function estimators) derivati dal reinforcement learning (RL), specificamente all'interno di un'architettura U-Net autoregressiva.

Architettura: Il modello elabora il testo a livello di byte, predice stocasticamente i confini dei token, effettua il downsampling a una rappresentazione a livello di token, lo elabora e poi effettua l'upsampling nuovamente al livello di byte per la predizione del byte successivo. Ciò consente al modello di riutilizzare le rappresentazioni a livello di byte al livello di token.
Stima della Funzione di Punteggio: Invece degli STE, gli autori trattano la selezione dei confini dei token come una decisione stocastica discreta. Formulano l'obiettivo di apprendimento come la minimizzazione della cross-entropy attesa del prossimo token marginalizzata su tutte le possibili strategie di tokenizzazione. Il gradiente viene stimato utilizzando l'algoritmo REINFORCE (Williams, 1992), che decompone il gradiente in un termine di perdita condizionale e un termine di policy gradient.
Riduzione della Varianza: Un'applicazione diretta di REINFORCE soffre di un'elevata varianza, rendendo l'addestramento instabile. Gli autori introducono tre tecniche specifiche per ridurre la varianza e rendere pratico il metodo:
1. Ricompense Relative di Early Exit: Sottraggono una ricompensa di base (stimata da un modello a livello di byte con early-exit) dalla ricompensa totale per rimuovere il rumore indipendente dalla tokenizzazione.
2. Discounting Temporale: Applicano un fattore di sconto ( $\gamma = 0.99$ ) alle ricompense future quando calcolano gli advantage. Questo scollega l'influenza delle parti distanti della sequenza, riducendo la varianza fornendo stimoli di addestramento più indipendenti per ogni sequenza.
3. Advantage Relativi al Batch: Centrano le stime di advantage attraverso il batch per correggere i bias in cui il modello dell'ultimo layer supera costantemente il modello di early-exit.
Controllo del Tasso di Downsampling: Per evitare che il modello scelga una strategia computazionalmente costosa di separazione di ogni singolo byte, viene imposto un tasso di downsampling target tramite un termine di perdita aggiuntivo che applica pressione alla media dei logit del batch.

Contributi Chiave

Apprendimento End-to-End senza Bias Induttivo: Gli autori dimostrano che le strategie di tokenizzazione che si allineano con i confini semantici (ad esempio, gli spazi bianchi) possono essere apprese puramente ottimizzando la cross-entropy loss usando uno stimatore della funzione di punteggio, senza espliciti priori linguistici o bias induttivi.
Superiorità rispetto agli Estimatori Straight-Through: Il paper sostiene che il loro approccio basato sulla funzione di punteggio superi i precedenti metodi basati su STE sia qualitativamente (producendo confini più significativi dal punto di vista semantico) che quantitativamente (minore validation loss e bits-per-byte).
Robustezza ai Tassi di Downsampling: Il metodo dimostra una prestazione robusta attraverso una gamma di tassi di downsampling (aspect ratio di tokenizzazione), mostrando che le strategie apprese si adattano efficacemente a diversi obiettivi di compressione.

Risultati Sperimentali
Gli esperimenti sono stati condotti su modelli da 147 milioni di parametri addestrati sul dataset FineWeb e su modelli da 90 milioni di parametri sul dataset CodeParrot.

Analisi Qualitativa: I confini dei token appresi si allineano in modo affidabile con i caratteri di spazio bianco (spazi, nuove righe) e con le interruzioni semantiche, nonostante il modello non abbia alcuna istruzione esplicita a riguardo. Nel codice, i confini si allineano con i nomi dei moduli e gli header delle licenze.
Prestazioni Quantitative:
- Sui benchmark di linguaggio naturale (PIQA, HellaSwag, LAMBADA, ARC-Easy), la policy appresa ha ottenuto meno bits-per-byte rispetto ai baseline uniformi, ai metodi basati su STE (Nawrot et al., 2023; Hwang et al., 2025) e a un baseline casuale.
- La prestazione del metodo appreso è stata paragonabile a un baseline guidato da BPE (dove i confini sono fissati da un tokenizer BPE pre-addestrato), ottenendo 1.297 bits-per-byte sul test set di FineWeb rispetto a 1.299 per la guida BPE.
- Il metodo ha superato gli approcci basati su STE nelle curve di validation loss durante l'intero ciclo di addestramento.
Ablation: Una variante con una finestra ridotta ( $w=1$ ) ha performato in modo comparabile al modello completo, suggerendo che la finestra scorrevole (sliding window) per i logit dei confini non è strettamente necessaria a questa scala.

Significatività e Rivendicazioni
Il paper sostiene che gli estimatori della funzione di punteggio, supportati dalle tecniche di riduzione della varianza del reinforcement learning, offrono un'alternativa teoricamente solida e praticamente efficace agli estimatori straight-through per l'apprendimento dei confini discreti dei token. Gli autori sostengono che questo approccio permette alla tokenizzazione di diventare una componente completamente appresa dell'architettura del LLM, allontanandosi dai design artigianali e costruiti a mano.

Gli autori rimangono modesti riguardo alla scala dei loro esperimenti (scala di 100M di parametri), notando che gli effetti a valle sulla qualità del linguaggio sono difficili da valutare direttamente a questa dimensione rispetto ai modelli di frontiera. Tuttavia, affermano che il metodo recupera con successo le prestazioni del downsampling guidato da BPE senza priori esterni. Identificano problemi aperti riguardanti la scalabilità dei rapporti di aspetto ottimali della tokenizzazione con la dimensione del modello e la generalizzazione di queste strategie a tassi di downsampling variabili. Il lavoro suggerisce che, man mano che i modelli diventano sempre più end-to-end, gli stimatori della funzione di punteggio potrebbero diventare il metodo preferito per la tokenizzazione.

Sintesi Tecnica: Apprendimento della Tokenizzazione End-to-End con Reinforcement Learning

Articoli simili