🤖 machine learning

Fast and Expressive Multi-Byte Prediction with Probabilistic Circuits

Questo articolo introduce MTPC, un framework basato su circuiti probabilistici per la predizione multi-token che ottimizza il compromesso tra espressività e latenza codificando le distribuzioni congiunte sui futuri token, accelerando così significativamente la generazione di LLM a livello di byte e di subword pur preservando le prestazioni del modello originale.

Autori originali: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Pubblicato 2026-06-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Andreas Grivas, Lorenzo Loconte, Emile van Krieken, Piotr Nawrot, Yu Zhao, Euan Wielewski, Pasquale Minervini, Edoardo Ponti, Antonio Vergari

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di scrivere una storia, ma con una regola molto severa: puoi scrivere solo una lettera alla volta. Ogni volta che digiti una lettera, devi fermarti, riflettere e chiedere al tuo cervello super-intelligente (l'IA) cosa viene dopo. È così che funzionano la maggior parte degli attuali Large Language Models (LLM). È accurato, ma incredibilmente lento, specialmente se stai scrivendo in "byte" (i mattoni fondamentali del testo) piuttosto che in intere parole, perché devi digitare migliaia di lettere per scrivere una singola frase.

Il documento presenta un nuovo metodo chiamato MTPC (Multi-Token Prediction Circuits) per risolvere questo problema di velocità senza perdere la qualità della storia.

Ecco come funziona, utilizzando alcune analogie quotidiane:

1. Il Problema: Il "Gioco dell'Indovino" vs. La "Palla di Cristallo"

Per velocizzare le cose, i ricercatori hanno provato un trucco chiamato Multi-Token Prediction (MTP). Invece di indovinare una singola lettera, l'IA prova a indovinare un intero blocco di lettere in una volta sola (come indovinare le successive 8 lettere di una parola).

Il Vecchio Modo (Assunzione di Indipendenza): Immagina di dover indovinare le prossime 8 lettere di una parola, ma di trattare ogni lettera come se non avesse alcuna relazione con le altre. Indovini la prima lettera, poi la seconda, poi la terza, ignorando completamente che se la prima è "C", la seconda è improbabile che sia "Z".
- Il Risultato: Questo è veloce, ma porta al non-senso. Potresti ottenere "Cretoria" invece di "Pretoria" o "Craporia" perché il modello non si è reso conto che quelle lettere dovevano incastrarsi tra loro. È come cercare di costruire una casa scegliendo i mattoni casualmente senza controllare se si adattano.
Il Nuovo Modo (MTPC): Gli autori dicono: "Smettiamola di indovinare le lettere in isolamento. Indoviniamo l'intero blocco come un gruppo connesso". Utilizzano uno strumento matematico chiamato Circuito Probabilistico.
- L'Analogia: Pensa al vecchio modo come a una fila di persone che si passano un biglietto, dove ognuno sussurra una parola a caso. Il nuovo modo è come un direttore d'orchestra che guida un'orchestra. Il direttore (il circuito) sa che se il primo strumento suona un accordo di Do maggiore, i successivi strumenti devono suonare note che si adattino a quell'accordo. Comprendono le dipendenze tra le lettere.

2. Il Toolkit: L' "Architetto di Circuiti"

Il documento propone un framework flessibile (MTPC) che ti permette di scegliere quanto le lettere debbano essere "connesse". Offrono diverse "architetture" (forme del circuito) per bilanciare velocità e intelligenza:

FF (Completamente Fattorizzato): La modalità "Indovino a Caso". Veloce, ma stupida. (I membri dell'orchestra suonano da soli).
CP (Canoniche Poliadiche): Un "Indovino di Gruppo". Indovinano alcuni temi principali e costruiscono le lettere attorno ad essi. Un po' più intelligente.
HMM (Modello di Markov Nascosto): Una "Reazione a Catena". La prima lettera influenza la seconda, che influenza la terza, e così via. È molto intelligente ma lento, perché devi aspettare che una finisca prima di iniziare la successiva.
BTree (Albero Binario): Il "Riunione di Squadra". Questo è il protagonista del documento. Immagina di dividere le 8 lettere in due gruppi da 4. Il modello indovina il primo gruppo e il secondo gruppo contemporaneamente, ma sono collegati da un "caposquadra" (una variabile nascosta) che assicura che concordino sul tema generale.
- Perché è fantastico: Ottiene l'intelligenza della "Reazione a Catena" ma la velocità del "Indovino a Caso" perché fa due cose contemporaneamente.

3. La Rete di Sicurezza: "Speculative Decoding"

Potresti preoccuparti: "Se l'IA indovina un intero blocco in una volta sola, che succede se sbaglia?"

Il documento utilizza una tecnica chiamata Speculative Decoding.

L'Analogia: Immagina un corridore veloce (il Modello Draft) e un giudice lento e ultra-accurato (il Verificatore).
1. Il corridore veloce scatta in avanti e indovina le prossime 8 lettere.
2. Il giudice lento controlla una per una.
3. Se il giudice concorda con l'ipotesi del corridore, ottimo! Teniamo quelle lettere.
4. Se il giudice non è d'accordo, ci fermiamo proprio lì, scartiamo le ipotesi errate e teniamo solo quelle approvate dal giudice.

Poiché il Modello Draft (MTPC) è così bravo a capire come le lettere si connettono (grazie al circuito BTree), il giudice concorda con il corridore molto più spesso rispetto a prima. Questo significa che riusciamo a tenere di più le ipotesi veloci, accelerando l'intero processo.

4. I Risultati: Accelerare Senza Rompere le Cose

Gli autori hanno testato questo metodo su due modelli specifici di IA:

EvaByte: Un modello che scrive già in byte.
Llama 3.2 3B (Byte): Un popolare modello convertito per scrivere in byte.

Le Scoperte:

Accelerazione Massiccia: Rispetto al vecchio metodo "una lettera alla volta", MTPC ha reso EvaByte 5,15 volte più veloce e Llama 2,24 volte più veloce.
Meglio del Trucco dell' "Indipendenza": Anche rispetto ad altri metodi veloci che indovinano semplicemente le lettere in modo indipendente, MTPC è stato 1,17 volte più veloce.
Nessuna Perdita di Qualità: Fondamentalmente, grazie alla "Rete di Sicurezza" (Speculative Decoding), la qualità dell'output finale è esattamente la stessa di quando l'IA l'avrebbe scritto una lettera alla volta. Non si perde accuratezza in cambio della velocità.

Riassunto

Il documento presenta un nuovo modo per rendere più veloce la generazione di testo dell'IA, insegnando all'IA di indovinare blocchi di testo come un gruppo connesso piuttosto che come lettere isolate. Utilizzando una smart struttura ad "Albero Binario" (BTree) per organizzare queste ipotesi e un "Giudice" per verificarle, hanno ottenuto un enorme aumento di velocità (fino a 5 volte) garantendo al contempo che il testo rimanga perfetto. È come insegnare a un dattilografo a digitare intere parole in una volta, ma con una rete di sicurezza che cattura istantaneamente ogni errore di battitura.

Riepilogo Tecnico: Predizione Multi-Byte Rapida ed Espressiva con Circuiti Probabilistici

Definizione del Problema

I modelli linguistici di grandi dimensioni (LLM) autoregressivi (AR) generano testo un token alla volta, incorrendo in elevata latenza e costi energetici. Questo collo di bottiglia è particolarmente severo per gli LLM a livello di byte, che mancano di tokenizer ma richiedono significativamente più passaggi di decodifica per generare la stessa lunghezza di testo rispetto ai modelli a subword. Sebbene la Multi-Token Prediction (MTP) offra una soluzione prevedendo simultaneamente una finestra di futuri token, gli approoli esistenti affrontano un critico compromesso tra espressività ed efficienza:

Assunzioni di Indipendenza: Molti metodi MTP attuali assumono che i futuri token siano indipendenti (Fully Factorised, FF). Sebbene efficienti, ciò sacrifica l'espressività, portando a continuazioni a base di "insalata di byte" (ad esempio, combinazioni senza senso di byte validi) e scarsi tassi di accettazione durante la decodifica speculativa.
Teste Autoregressive Superficiali: Metodi alternativi (ad esempio, Hydra, EAGLE) mantengono la generazione autoregressiva all'interno della finestra di predizione. Sebbene più espressivi, sono più vicini a una decodifica AR accelerata che a una vera MTP congiunta e non espongono la struttura di dipendenza come una scelta di modellazione regolabile.
Latenza vs. Espressività: Manca un framework sistematico per navigare lo spettro tra modelli completamente fattorizzati e distribuzioni congiunte complesse senza incorrere in una latenza proibitiva.

Metodologia: Framework MTPC

Gli autori propongono MTPC (Multi-Token Prediction Circuits), un framework che utilizza i Circuiti Probabilistici (PC) per parametrizzare la distribuzione congiunta sui futuri token. MTPC tratta la distribuzione congiunta come un grafo computazionale trattabile che codifica modelli di miscela gerarchici, consentendo un'esplorazione sistematica delle varianti architettoniche.

Componenti Core

Architetture di Circuiti Probabilistici: MTPC generalizza i metodi esistenti e introduce nuove strutture per modellare le dipendenze tra i futuri byte:
- MTPC-FF: Un modello completamente fattorizzato (equivalente allo standard MTP indipendente) rappresentato come un prodotto di unità di input.
- MTPC-CP: Una decomposizione Canonic-Polyadic (CP) che introduce una variabile latente discreta per creare una miscela di componenti fattorizzate, recuperando parte delle dipendenze.
- MTPC-HMM: Una parametrizzazione Hidden Markov Model che utilizza una sequenza di variabili latenti per catturare dipendenze distanti tramite matrici di transizione tempo-dipendenti.
- MTPC-BTree: Una nuova fattorizzazione ad Albero Binario (Binary Tree) che codifica una gerarchia di variabili latenti. Questa struttura consente il campionamento parallelo di token e variabili latenti, affrontando i problemi di asimmetria e latenza riscontrati negli HMM.
Parametrizzazione con LLM:
- Il framework utilizza un backbone LLM (con optional LoRA adapter) per estrarre caratteristiche contestuali dalla cronologia dell'input.
- Una rete neurale head mappa queste caratteristiche nei parametri del PC (distribuzioni delle unità di input e pesi delle unità di somma), creando un circuito neurale condizionale.
- Ciò consente al modello di astrarre dalle specifiche strutture dei circuiti (FF, CP, HMM, BTree) e concentrarsi sull'apprendimento dei parametri tensoriali.
Integrazione della Decodifica Speculativa:
- MTPC impiega la decodifica auto-speculativa, dove il modello draft e il verificatore (LLM AR) condividono lo stesso backbone.
- Il modello draft campiona una finestra di token in parallelo dal PC.
- Il verificatore accetta o rifiuta questi token in parallelo.
- Garanzie: Il framework garantisce che la decodifica greedy produca output identici al target LLM AR e che il campionamento corrisponda al target in termini di aspettativa, assicurando l'assenza di perdita nella qualità della generazione.
Dimensioni del Compromesso:
- Architettura del Circuito: Scegliere tra FF, CP, HMM o BTree per bilanciare la modellazione delle dipendenze e il costo computazionale.
- Condivisione dei Layer: Regolare il numero di layer LoRA nel modello draft (da 0 a 4 layer) per controllare la divergenza tra le rappresentazioni del draft e del verificatore, modulando ulteriormente il compromesso espressività-latenza.

Contributi Chiave

Framework MTPC: Introduzione di un framework MTP rapido basato su Circuiti Probabilistici che rilassa le assunzioni di indipendenza e generalizza i metodi di decomposizione tensoriale (come il CP) in un framework PC unificato.
Analisi Sistematica dei Compromessi: Identificazione rigorosa dei trade-off tra token accettati (espressività) e latenza di generazione. Il paper dimostra che il throughput ottimale non è sempre raggiunto dal modello più espressivo (ad esempio, HMM), ma da architetture come BTree che offrono una migliore parallelizzazione.
Validazione Empirica: Applicazione di MTPC su due LLM a livello di byte:
- EvaByte (6.5B): Un modello a livello di byte pre-addestrato con capacità MTP.
- Llama 3.2 3B (Byte): Una versione "byte-fied" di un popolare modello subword, non pre-addestrato per MTP.

Risultati Sperimentali

Gli autori hanno valutato MTPC su GPU NVIDIA L40S e RTX 3090 utilizzando il dataset Tulu 3.

Guadagni di Throughput:
- EvaByte: MTPC ha ottenuto un accelerazione di 5.15× rispetto alla generazione AR standard e un accelerazione di 1.17× rispetto all'MTP con assunzioni di indipendenza (FF).
- Llama 3.2 3B: MTPC ha ottenuto un accelerazione di 2.24× rispetto alla generazione AR e un accelerazione di 1.17× rispetto all'FF MTP.
Performance delle Architetture:
- BTree vs. HMM: Sebbene gli HMM abbiano ottenuto alti tassi di accettazione, la loro natura autoregressiva ha introdotto un'alta latenza, risultando in un throughput complessivo inferiore. Le architetture BTree hanno trovato l'equilibrio ottimale, permettendo il campionamento parallelo e ottenendo il throughput più elevato, specialmente per finestre ampie ( $n=16$ ).
- Layer LoRA: L'aggiunta di adapter LoRA al modello draft ha aumentato l'espressività (token accettati) ma anche la latenza. La configurazione ottimale variava a seconda del modello: 1 layer LoRA era ottimale per EvaByte, mentre 2 layer LoRA hanno beneficiato Llama.
Dimensione della Finestra: Estendere la finestra di predizione a $n=16$ ha aumentato significativamente il throughput per i circuiti espressivi (HMM, BTree) rispetto a $n=8$ , specialmente quando combinato con gli adapter LoRA.

Significato e Rivendicazioni

Il paper sostiene che MTPC fornisce un modo sistematico per navigare lo spettro delle varianti architettoniche di MTP, andando oltre la scelta binaria tra predizione indipendente e teste autoregressive superficiali. Sfruttando i Circuiti Probabilistici, il framework permette ai ricercatori di modellare esplicitamente le dipendenze inter-token mantenendo la trattabilità.

Gli autori sottolineano che questi guadagni di throughput sono ottenuti senza sacrificare la qualità della generazione, poiché il processo di decodifica speculativa garantisce l'allineamento con il target LLM AR. Il lavoro suggerisce che gli LLM a livello di byte, spesso ostacolati dall'overhead computazionale, possono diventare più mainstream attraverso tali strategie di predizione multi-byte efficienti. Il framework è presentato come uno strumento flessibile per ottimizzare l'efficienza dei modelli di prossima generazione a livello di byte, con il codice e i modelli resi pubblicamente disponibili.