🤖 machine learning

Approximate Speculative Decoding

Questo articolo introduce l'Approximate Speculative Decoding (ASD), un metodo senza addestramento che accelera la generazione autoregressiva accettando selettivamente i disallineamenti dei token di bozza basandosi su un budget di rimpianto per riutilizzare le suffissi validi, migliorando così il throughput senza richiedere nuovi modelli di bozza o fine-tuning.

Autori originali: Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

Pubblicato 2026-08-05

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuannuo Feng, Zegang Peng, Yuxin Xie, Yubing Ye, Yizhe Chen, Wenshuai Yao, Wenyong Zhou, Wang Kang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di scrivere una storia con un amico molto intelligente, ma incredibilmente lento. Ogni volta che vuoi aggiungere una nuova parola alla tua storia, devi aspettare che il tuo amico rifletta profondamente, consulti l'intera sua biblioteca di conoscenze e ti dica esattamente quale parola viene dopo. Ecco come funzionano i moderni modelli linguistici AI: generano testo una parola alla volta, e la parte del "pensare" occupa la maggior parte del tempo, rendendo il processo simile a guardare la vernice che asciuga. Per velocizzare questo processo, gli scienziati hanno inventato un trucco chiamato "decodifica speculativa" (speculative decoding). Immaginalo come avere un assistente junior veloce che indovina le prossime parole per te. Poi chiedi al tuo amico esperto, lento, di controllare rapidamente se queste ipotesi sono corrette. Se l'esperto concorda, puoi scrivere diverse parole in una volta sola invece di una sola, risparmiando una quantità enorme di tempo.

Tuttavia, c'è un problema. L'amico esperto è un maniaco delle regole. Se l'assistente indovina anche solo una parola che non è la scelta assolutamente perfetta che l'esperto avrebbe scelto, l'esperto interrompe immediatamente l'intero processo. Buttano via tutte le altre parole che l'assistente ha indovinato per quel turno, anche se la maggior parte di esse era in realtà perfetta. È come un insegnante che valuta un compito e smette di leggere non appena vede una sola risposta errata, buttando il resto del foglio nel cestino. Questa regola del "tutto o niente" mantiene la storia perfetta, ma spreca molto del duro lavoro dell'assistente e rallenta il processo.

Questo articolo presenta un nuovo metodo chiamato Approximate Speculative Decoding (ASD), che agisce come un insegnante più intelligente e flessibile. Invece di buttare via l'intero compito solo perché c'è un piccolo errore, l'ASD si chiede: "Questo errore è minimo? E l'assistente ha comunque indovinato le parole successive?". Se la risposta è sì, l'ASD accetta il piccolo errore, tiene le parole buone che seguono e va avanti. È come un insegnante che dice: "Hai sbagliato l'ortografia di 'perché', ma hai scritto perfettamente le dieci parole successive, quindi correggiamo solo quella parola e continuiamo". I ricercatori hanno scoperto che, essendo leggermente più indulgenti con i piccoli errori, potevano far scrivere all'AI significativamente più velocemente senza rovinare la qualità della storia.

La storia dell'assistente "con budget"

L'idea centrale dietro l'ASD è smettere di trattare ogni errore come un disastro. Nel vecchio modo, se il tuo assistente indovinava una parola che non era la scelta principale, il sistema si fermava immediatamente. Ma gli autori si sono resi conto che a volte la "scelta sbagliata" dell'assistente è in realtà molto vicina a quella giusta, e le parole che seguono sono ancora perfette.

Per risolvere questo, il team ha creato un sistema con un budget. Immagina di avere un barattolo di "token di errore". Ti è permesso commettere alcuni piccoli errori, ma devi pagarli con il tuo barattolo.

Il Gate Locale (Local Gate): Prima di accettare un errore, il sistema controlla quanto sia "grave". Se la scelta dell'assistente è solo leggermente meno probabile della parola perfetta, è un errore economico. Se è un errore enorme, costa troppi token e il sistema dice "no".
Il Limite di Blocco (Block Cap): Non puoi commettere troppi errori in un singolo lotto di ipotesi. Questo evita che l'assistente diventi troppo impreciso tutto in una volta.
Il Budget della Richiesta (Request Budget): Questo è il barattolo totale di token per l'intera conversazione. Una volta esauriti i token, devi tornare a essere perfetto (seguendo rigorosamente le vecchie regole) per il resto della storia.

La magia avviene quando il sistema accetta un piccolo errore. Poiché le prossime ipotesi dell'assistente erano in realtà perfette (corrispondevano a ciò che l'esperto avrebbe scelto), il sistema può "riutilizzarle". Non ha bisogno di chiedere all'esperto lento di controllarle di nuovo. Le accetta semplicemente e va avanti. Questo trasforma un momento di "fermati e butta via" in un momento di "correggi e continua".

Cosa hanno scoperto

I ricercatori hanno testato questa idea utilizzando modelli AI molto popolari (come Qwen3 e DeepSeek) su una varietà di compiti, dalla risoluzione di problemi matematici alla scrittura di codice. Non hanno avuto bisogno di riaddestrare i modelli o di insegnare nulla di nuovo all'assistente; hanno solo cambiato il modo in cui l'insegnante (il verificatore) corregge il lavoro.

I risultati sono stati piuttosto promettenti. Usando questo approccio a budget, il sistema è diventato più veloce senza richiedere un addestramento aggiuntivo.

Su un set di sette diversi compiti, il sistema è stato il 7,78% più veloce in media rispetto al vecchio metodo rigoroso.
Nei casi migliori, come sul dataset MATH-500, la velocità è aumentata dell'11,73%.
Quando lo hanno testato su un modello massiccio chiamato DeepSeek-V4-Flash, hanno visto i tassi di accettazione (quante ipotesi il sistema mantiene) salire di circa il 10% - 16%.

L'articolo nota con attenzione che questo non è un bacchetta magica che rende tutto perfetto. Gli autori affermano esplicitamente che questo metodo cambia il percorso che l'AI prende per arrivare alla risposta. A volte, la storia potrebbe essere leggermente diversa, o l' "hash" (un'impronta digitale digitale del testo) potrebbe cambiare, anche se la risposta finale è ancora corretta. Ad esempio, in alcuni test di programmazione, l'accuratezza è scesa leggermente (di meno dell'1,5%), ma in molti altri compiti, l'accuratezza è rimasta esattamente la stessa o è addirittura migliorata leggermente.

Perché questo è importante

La bellezza di questo articolo è che non richiede la costruzione di una nuova AI più veloce o l'addestramento di un nuovo assistente. Cambia solo le regole del gioco per quello che già possiedi. È come rendersi conto che un vigile urbano molto severo sta rallentando l'intera città perché ferma l'auto per ogni singola infrazione minore, quando un approccio più flessibile manterrebbe il traffico scorrevole con rischi solo minimi e gestibili.

Gli autori suggeriscono che questo metodo è un ottimo modo per spremere più velocità dai sistemi AI attuali. Sottolineano che, sebbene i guadagni di velocità siano reali e misurabili (fino al 15,26% in alcuni casi), gli utenti devono essere consapevoli che stanno scambiando una piccola parte di perfezione rigorosa con molta velocità. È un compromesso calcolato: la tua storia viene scritta molto più velocemente e, per la maggior parte delle persone, le piccole differenze nella formulazione non importeranno affatto. L'articolo conclude che questo approccio "a budget" è un modo pratico, che non richiede addestramento, per rendere la generazione dell'AI più veloce, a patto di controllare i risultati per assicurarsi che la qualità sia ancora adeguata alle proprie esigenze.

Sintesi Tecnica: Approximate Speculative Decoding (ASD)

Definizione del Problema

I modelli linguistici di grandi dimensioni (LLM) autoregressivi generano token in modo sequenziale, creando un significativo collo di bottiglia nell'inferenza dovuto alle esecuzioni ripetute di un modello target di grandi dimensioni. Lo speculative decoding affronta questo problema utilizzando un modello "drafter" leggero per proporre un blocco di futuri token, che vengono poi verificati in parallelo dal modello target.

Sotto la verifica greedy standard, il processo è strettamente binario: il verificatore si impegna sul prefisso più lungo di token draft che corrisponde esattamente ai token argmax (greedy) del modello target. Il processo si interrompe al primo mismatch, scartando i restanti token draft e appendendo un singolo token di recupero target. Questo approccio presenta due limitazioni primarie:

Troncamento Binario Intrinseco: Tratta un token draft con un logit target quasi in parità (basso regret) in modo identico a un token fortemente sfavorito, interrompendosi immediatamente al primo mismatch.
Spreco di Computazione: In una passata di verifica con teacher-forcing, il modello target ha già punteggiato i successivi token draft condizionati dal prefisso (incluso il mismatch). Se un mismatch precoce viene accettato, un suffisso contiguo di successivi token draft può già essere "target-greedy" sotto questo nuovo prefisso realizzato. La verifica standard scarta questi token riutilizzabili, richiedendo ulteriori passate forward del target per il recupero.

La sfida centrale è che l'accettazione di un token non-greedy altera la traiettoria di decoding. Sebbene ciò possa sbloccare suffissi riutilizzabili, non è un'ottimizzazione priva di perdite; l'accumulo incontrollato di mismatch può degradare la qualità del task. Il paper postula che l'obiettivo non sia ignorare i mismatch, ma permettere un numero limitato di eccezioni esplicite controllando al contempo la loro magnitudo cumulativa.

Metodologia: Approximate Speculative Decoding (ASD)

ASD è un metodo lato verificatore privo di addestramento che sostituisce la regola della "troncatura al primo mismatch" con una strategia di selezione del prefisso più lungo con budget (budgeted longest-prefix selection). Opera senza modificare il modello drafter, non richiede fine-tuning e non aggiunge ulteriori passate forward del modello target.

Meccanismi Core

Local Target-Logit Regret:
Per un token draft $x_i$ e un target argmax $y^*_i$ , ASD calcola il regret locale $r_i = z_i(y^*_i) - z_i(x_i)$ , che rappresenta la preferenza del target per il token corretto rispetto al token draft.
Sistema di Controllo a Tre Livelli:
ASD accetta un mismatch solo se soddisfa tre vincoli, permettendo di selezionare il prefisso contiguo più lungo:
- Local Regret Gate ( $g$ ): Un gate normalizzato $r_i / q_i \leq g$ (dove $q_i$ è la lunghezza della proposta rimanente) filtra i mismatch individualmente costosi, favorendo le eccezioni proporzionate al potenziale riutilizzo del suffisso.
- Per-Block Exception Cap ( $M$ ): Limita il numero di eccezioni all'interno di un singolo blocco draft per prevenire la concentrazione di errori.
- Persistent Request-Level Regret Budget ( $B$ ): Mantiene un registro del regret cumulativo ( $s$ ) attraverso l'intera richiesta. Un prefisso è fattibile solo se il suo regret cumulativo $C_t \leq B - s$ . Questo limita la deviazione totale durante la generazione.
Realized-Prefix Suffix Reuse:
Una volta che ASD si impegna su un prefisso che termina con un mismatch accettato, riutilizza i successivi token draft che rimangono target-greedy sotto la storia realizzata (la storia che include il mismatch accettato). Questi token vengono impegnati senza ulteriori decisioni approssimate o passate forward aggiuntive del target.
Implementazione Vettorizzata:
L'algoritmo costruisce una maschera di fattibilità per ogni posizione nel blocco draft basata sui vincoli sopra descritti. La lunghezza accettata è il prefisso più lungo con tutti i valori "true" di questa maschera, computabile tramite somme e prodotti cumulativi in tempo $O(K)$ . Quando il budget $B=0$ , ASD recupera esattamente lo standard della verifica greedy stretta.

Contributi Chiave

Il paper presenta tre contributi primari:

Formulazione: Formula la verifica greedy approssimata come un problema di selezione del prefisso più lungo contiguo con budget, utilizzando un registro persistente a livello di richiesta per tenere conto dei mismatch tra draft e target accettati.
Identificazione del Meccanismo: Identifica e formalizza il riutilizzo del suffisso del prefisso realizzato, dimostrando che dopo un'eccezione accettata, un suffisso contiguo target-greedy può essere impegnato senza decisioni approssimate aggiuntive, a patto che le cache siano aggiornate coerentemente.
Validazione Empirica: Fornisce prove sperimentali che questo verificatore privo di training migliora significativamente il throughput su vari modelli e task senza richiedere modifiche al meccanismo di generazione delle proposte.

Risultati Sperimentali

Gli esperimenti sono stati condotti su target Qwen3-8B/14B, Llama-3.1-8B e Qwen2.5-7B accoppiati con drafter DSpark, EAGLE3 e Medusa su benchmark tra cui GSM8K, MATH-500, HumanEval, MBPP, MMLU, MT-Bench e Alpaca.

Guadagni di Throughput: ASD migliora il throughput a carico fisso del 3,05%–15,26% rispetto allo speculative decoding stretto accoppiato.
- Su Qwen3-14B + DSpark-14B, il guadagno medio su sette task è del 7,78%.
- Il guadagno massimo osservato è stato del 15,26% su GSM8K con Llama-3.1-8B + EAGLE3.
Trade-off di Accuratezza: Il metodo è un'approssimazione controllata, non un'ottimizzazione che preserva l'output.
- Sulla matrice primaria DSpark-14B, cinque di sette task hanno mostrato cambiamenti di accuratezza non negativi.
- Le riduzioni di accuratezza osservate sono state piccole (es. -0,61 punti su HumanEval, -0,64 su MT-Bench) e dipendenti dal task.
- Su GSM8K e MATH-500, la divergenza dell'hash ha superato il 95%, indicando traiettorie alterate, eppure l'accuratezza misurata è rimasta stabile o è migliorata.
Scalabilità: I guadagni persistono attraverso diverse famiglie di drafter (DSpark, EAGLE3, Medusa) e modelli target, indicando che il beneficio è guidato dal meccanismo lato verificatore piuttosto che da specifiche architetture di proposta.
Compatibilità con Grandi Modelli: Su DeepSeek-V4-Flash (284B) con DSpark in un setting di compatibilità FP4-to-FP8, ASD ha aumentato l'accettazione lato verificatore di circa il 10%–16% su GSM8K e MATH-500.

Significato e Claim

Il paper sostiene che ASD fornisce una via ampiamente compatibile e priva di training per un decoding speculativo blockwise greedy più veloce. La sua importanza risiede nel:

Disaccoppiamento tra Verifica e Proposta: A differenza del lavoro precedente che si concentra sul migliorare il drafter, ASD ottimizza la decisione di impegno del verificatore dopo che il punteggio è stato completato.
Controllo Esplicito del Trade-off: Introducendo un budget di regret persistente e gate locali, ASD permette agli utenti di sintonizzare esplicitamente il fronte velocità-accuratezza, andando oltre la natura binaria "tutto o niente" della verifica stretta.
Efficienza del Sistema: Il metodo riduce il numero di costose round di verifica del target, riutilizzando i suffissi punteggiati dal target, ottenendo guadagni di throughput senza passate forward aggiuntive o riaddestramento del modello.

Gli autori sottolineano che ASD limita il regret locale accumulato ma non garantisce output identici, preservazione semantica o correttezza del task. Di conseguenza, raccomandano un modello di deployment in cui i controlli del verificatore siano congelati su dati disgiunti, seguiti da un audit naturale della qualità del task per ogni combinazione specifica di target, drafter e workload.