💬 NLP

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs

Il documento propone Pair-In, Pair-Out (PIPO), un framework unificato che combina la compressione dell'input latente con la previsione di output multi-token e un meccanismo di accettazione leggero basato sulla confidenza per ottenere significativi aumenti di velocità nella latenza e prestazioni di ragionamento migliorate nei grandi modelli linguistici senza il sovraccarico di un passaggio di verifica separato.

Autori originali: Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

Pubblicato 2026-05-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Wenhui Tan, Minghao Li, Xiaoqian Ma, Siqi Fan, Xiusheng Huang, Liujie Zhang, Ruihua Song, Weihang Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un modello linguistico di grandi dimensioni (LLM) come uno scriba molto intelligente, ma molto lento, che scrive storie una parola alla volta. Per risolvere un problema matematico difficile o scrivere codice complesso, questo scriba deve pensare ad alta voce, generando una lunga "catena di pensiero" prima di scrivere la risposta finale. Il problema è che scrivere una parola, fermarsi, pensare e scrivere la parola successiva è incredibilmente lento e costoso.

Il documento introduce un nuovo metodo chiamato PIPO (Pair-In, Pair-Out) per rendere questo scriba molto più veloce senza farlo commettere più errori. Ecco come funziona, utilizzando semplici analogie:

1. Il Problema: Il Collo di Bottiglia "Un Passo alla Volta"

Attualmente, lo scriba lavora come una persona che digita su una macchina da scrivere: digita una lettera, preme "Invio", aspetta che la macchina elabori, digita la lettera successiva e così via. Anche se lo scriba è intelligente, la macchina è lenta perché può gestire solo una lettera per ciclo.

2. La Soluzione: L'Autobus a "Due Piani" (PIPO)

PIPO cambia le regole della strada. Invece di far elaborare allo scriba una parola alla volta, PIPO gli permette di elaborare due parole alla volta.

Pair-In (La Compressione): Immagina che lo scriba riceva una pila di due lettere (ad esempio, "T" e "h"). Invece di inserirle nella macchina separatamente, uno speciale "compressore" le piega insieme in un unico pacchetto compatto (una rappresentazione latente). È come piegare una grande mappa in un piccolo fazzoletto da tasca in modo che passi attraverso una porta stretta.
Il Viaggio: La macchina elabora questo singolo pacchetto "piegato".
Pair-Out (Lo Svolgimento): Una volta che la macchina ha finito, non sputa fuori solo una lettera. Ha una speciale "testa di svolgimento" che prende il risultato e produce istantaneamente due lettere: la parola successiva attesa e una parola bozza prevista (ad esempio, "e" e " ").

Il Risultato: Lo scriba ora scrive due lettere per ogni singolo ciclo della macchina. Questo raddoppia effettivamente la velocità di scrittura.

3. Il Rischio: Il "Gioco delle Indovinate"

C'è un inconveniente. Prevedere la seconda parola è un'ipotesi. Se l'ipotesi è sbagliata, l'intera frase potrebbe diventare senza senso.

Vecchio Metodo (Decodifica Speculativa): In precedenza, per verificare se un'ipotesi era corretta, lo scriba doveva fermarsi, eseguire un enorme test di "verifica" (come un editor senior che rilegge l'intera bozza) e poi decidere se l'ipotesi era buona. Questo passo di verifica era così lento da annullare i guadagni di velocità.
Il Metodo di PIPO (La Testa di Fiducia): PIPO installa un minuscolo, super-veloce "misuratore di fiducia" proprio accanto allo scriba. Questo misuratore è addestrato a guardare le due parole e dire istantaneamente: "Sono al 95% sicuro che questa seconda parola sia corretta", oppure "Non sono sicuro, saltiamola".
- Se il misuratore dice "Vai", lo scriba mantiene entrambe le parole.
- Se il misuratore dice "No", lo scriba mantiene la prima parola e sostituisce la seconda con un "vuoto" (padding) per mantenere il ritmo.

4. L'Ingrediente Segreto: Imparare dagli Errori (Distillazione On-Policy)

Come fa il "misuratore di fiducia" a imparare ad essere così preciso senza un editor lento?

Il documento utilizza un trucco di addestramento astuto chiamato Distillazione On-Policy.

Immagina che lo scriba (lo studente) provi a scrivere una storia.
Un insegnante super-intelligente (un modello più grande, pre-addestrato) scrive anche lui la storia.
Il sistema confronta l'ipotesi dello studente con la risposta dell'insegnante.
La Magia: Il sistema si rende conto che l'"insegnante" sta facendo esattamente lo stesso lavoro dell'"editor" nel vecchio metodo. Quindi, invece di eseguire un controllo editoriale lento ogni volta, il sistema utilizza le risposte dell'insegnante per addestrare il minuscolo "misuratore di fiducia" durante la fase di apprendimento.
Una volta addestrato, il misuratore di fiducia sa esattamente quando fidarsi dell'ipotesi e quando essere prudente, tutto senza aver bisogno dell'editor lento durante il processo effettivo di scrittura.

5. I Risultati: Più Veloce e Più Intelligente

Il documento ha testato questo metodo su difficili compiti matematici e di codifica (come la competizione matematica AIME e i benchmark di codifica).

Velocità: Poiché elabora due parole alla volta e salta il lento controllo editoriale, PIPO è da 2 a 2,6 volte più veloce del metodo standard. Ottiene la prima parola molto più velocemente e mantiene il flusso in movimento.
Accuratezza: Sorprendentemente, non è diventato solo più veloce; è diventato migliore. Inserendo più "pensiero" nella stessa quantità di spazio (perché comprime l'input), il modello ha potuto generare catene di ragionamento più lunghe e complete. In alcuni test, il tasso di successo è aumentato di oltre 7 punti rispetto ai metodi normali.

Riepilogo

PIPO è come aggiornare un camion delle consegne da una strada a una corsia singola a un'autostrada a due corsie.

Comprimi il carico (input) per far entrare due pacchetti in un unico slot.
Consegna due pacchetti alla volta (output).
Usa un sensore intelligente (testa di fiducia) per decidere se il secondo pacchetto è sicuro da mantenere, addestrato da un insegnante che conosce già la risposta.

Questo permette all'IA di pensare più a lungo e rispondere più velocemente, risolvendo problemi complessi senza il solito rallentamento.

Riepilogo Tecnico: Pair-In, Pair-Out (PIPO) per LLM Efficienti

1. Enunciato del Problema

I moderni Modelli Linguistici di Grande Dimensione (LLM) si basano sempre più su catene di pensiero (CoT) lunghe per compiti complessi come matematica e programmazione. Sebbene questo paradigma migliori l'accuratezza, crea un collo di bottiglia significativo nell'inferenza: la decodifica autoregressiva standard emette un solo token per passo in avanti, rendendo il costo per token il fattore di latenza dominante per tracce di ragionamento lunghe.

Le soluzioni esistenti affrontano il problema da due direzioni indipendenti:

Lato Input: Metodi di compressione latente (es. CoLaR) fondono più token di input in una singola rappresentazione continua per ridurre la lunghezza della sequenza.
Lato Output: La previsione multi-token (MTP) e la decodifica speculativa (es. EAGLE, Medusa) tentano di emettere più token per passo. Tuttavia, questi metodi richiedono tipicamente un costoso passaggio di "verifica" (un passaggio in avanti completo del backbone principale) per validare i token bozza, il che spesso annulla i guadagni di efficienza, specialmente a lunghezze di contesto elevate. Inoltre, i metodi MTP non verificati rischiano di propagare bozze inaffidabili, degradando l'accuratezza.

Attualmente non esiste un framework unificato che sfrutti simultaneamente la compressione dell'input e la previsione multi-token dell'output senza incorrere nel pesante costo del verificatore.

2. Metodologia: Pair-In, Pair-Out (PIPO)

PIPO propone un framework unificato che tratta la compressione latente e la previsione multi-token come operazioni speculari attorno al backbone dell'LLM.

2.1 Architettura Principale

Il framework opera su coppie di token anziché su singoli token:

Pair-In (Compressione): Un compressore MLP leggero ripiega due embedding di token di input consecutivi ( $x_{2i}, x_{2i+1}$ ) in una singola rappresentazione latente ( $z_i$ ). Ciò dimezza la lunghezza effettiva dell'input.
$z_i = f_\theta([x_{2i}; x_{2i+1}])$
Il compressore è inizializzato in modo che $f_\theta([a; b]) \approx a + b$ per mantenere la distribuzione di pre-addestramento del backbone.
Pair-Out (Previsione): Il backbone elabora lo stato latente compresso e produce uno stato nascosto ( $h^b_i$ $h_{i}^{b}$ ).
1. Token del Backbone: La testa LM standard prevede il prossimo token del backbone ( $x_{2i+2}$ ).
2. Token Bozza: Una testa di Previsione Multi-Token (MTP), condizionata allo stato nascosto del backbone e al token del backbone previsto, prevede un ulteriore token bozza ( $x_{2i+3}$ ).
3. Testa di Confidenza: Un MLP leggero prevede un punteggio di confidenza ( $c_i$ ) per il token bozza.
  $c_i = g_\phi([h^b_i; h^d_i])$
- Logica di Accettazione: Se $c_i \geq \tau_c$ , il token bozza viene accettato e la prossima coppia di input consiste in due token appena generati. Se rifiutato, la bozza viene sostituita da un token di riempimento ( $x_{pad}$ ) e la prossima coppia di input è $(x_{2i+2}, x_{pad})$ . Ciò garantisce che l'interfaccia rimanga coerente indipendentemente dall'accettazione.

2.2 Strategia di Addestramento

PIPO utilizza un processo di addestramento in due fasi per colmare il divario tra addestramento e inferenza:

Fine-Tuning Supervisionato (SFT):
- Il modello viene addestrato con un obiettivo di previsione della prossima coppia utilizzando la perdita Cross-Entropy (CE) sia per i token del backbone che per quelli bozza.
- Una testa di confidenza viene avviata (bootstrapped) utilizzando la perdita Binary Cross-Entropy (BCE), allineando il punteggio di confidenza con la probabilità del token bozza ground-truth.
- Padding Casuale: Durante l'addestramento, una frazione delle posizioni bozza viene sostituita casualmente con token di riempimento per esporre il modello a scenari di rifiuto.
Distillazione On-Policy (OPD):
- PIPO affronta lo spostamento della distribuzione tra addestramento e inferenza generando risposte utilizzando la politica corrente dello studente.
- Insight Chiave: Il ruolo del "teacher" nell'OPD è funzionalmente identico al "verificatore" nella decodifica speculativa. Entrambi giudicano la coerenza di una bozza rispetto a una distribuzione di riferimento più forte.
- Supervisione Gratuita: La probabilità di accettazione per la testa di confidenza è derivata direttamente dal calcolo della perdita OPD: $y_c = \min(p_t(x)/p_s(x), 1)$ , dove $p_t$ è la probabilità del teacher (backbone) e $p_s$ è la probabilità dello studente (bozza).
- Ciò permette di addestrare la testa di confidenza con il criterio di campionamento per rifiuto come etichetta senza richiedere passaggi in avanti aggiuntivi o un modello verificatore separato.

3. Contributi Chiave

Framework Unificato: PIPO unifica la compressione latente lato input e la previsione multi-token lato output in un'interfaccia simmetrica "Pair-In/Pair-Out", dimezzando efficacemente la lunghezza dell'input e raddoppiando l'output per passo.
Eliminazione del Verificatore: Osservando che il teacher OPD e il verificatore speculativo svolgono lo stesso ruolo, PIPO addestra una testa di confidenza leggera utilizzando il rapporto di campionamento per rifiuto come etichetta gratuita. Ciò sostituisce il costoso passaggio di verifica del backbone per ogni passo con un singolo passaggio in avanti dell'MLP.
Efficienza e Accuratezza: Il metodo ottiene significativi acceleramenti nel Time-to-First-Token (TTFT) e nel Time-Per-Output-Token (TPOT) migliorando al contempo l'accuratezza pass@4 su benchmark di ragionamento complessi.

4. Risultati Sperimentali

Gli autori hanno valutato PIPO sui backbone Qwen3.5-4B e Qwen3.5-9B su quattro benchmark: AIME 2025, GPQA-Diamond, LiveCodeBench v6 e LongBench v2.

Accuratezza: PIPO + OPD ha ottenuto i punteggi pass@4 più alti tra tutti i metodi.
- Su Qwen3.5-9B, PIPO ha migliorato il pass@4 di +7,15 punti rispetto alla decodifica autoregressiva standard.
- Su Qwen3.5-4B, il miglioramento è stato di +3,83 punti rispetto al miglior baseline.
- Il vantaggio si è ampliato con budget di contesto più lunghi (fino a 32K slot), poiché PIPO adatta catene di ragionamento più complete nello stesso budget.
Efficienza:
- TTFT: Fino a 2,64× di accelerazione (ad esempio, a una lunghezza di input di 128K) grazie alla fase di prefill compressa.
- TPOT: Fino a 2,07× di accelerazione perché vengono emessi due token per ogni passaggio in avanti del backbone.
Studi di Ablazione:
- I compressori non lineari sono essenziali; i compressori lineari hanno causato un calo significativo delle prestazioni.
- L'inizializzazione del compressore come somma additiva ( $a+b$ ) è critica per la stabilità.
- La testa di confidenza rifiuta efficacemente le bozze inaffidabili, superando i baseline di rifiuto casuale e trovando un "punto dolce" (soglia $\tau_c \approx 0,95$ ) che massimizza il pass@4.

5. Significato e Affermazioni

Il documento afferma che PIPO rappresenta un cambiamento nel modo in cui viene affrontata la decodifica efficiente degli LLM:

Simmetria: Dimostra che la compressione dell'input e l'espansione dell'output non sono strategie in competizione, ma operazioni complementari e speculari che possono essere combinate.
Ammortizzazione dei Costi: Ammortizza con successo il costo della verifica. Invece di pagare un costo di inferenza elevato (passaggio completo del backbone) per ogni passo, la logica di verifica viene distillata in un segnale di addestramento leggero (la testa di confidenza), trasformando un costo di inferenza ricorrente in un segnale di addestramento una tantum.
Praticità: Il framework si basa principalmente su componenti pronti all'uso (teste MTP pre-addestrate, backbone standard) e richiede solo piccoli moduli aggiuntivi (compressore e testa di confidenza), rendendolo fattibile da implementare su LLM esistenti di alta qualità.

Gli autori notano limitazioni, tra cui il focus sull'elaborazione a coppie (anziché su fattori di compressione più grandi), la restrizione ai modelli solo testo e la valutazione principalmente su compiti con risposte verificabili (matematica/codice) piuttosto che su generazione aperta. Tuttavia, sostengono che PIPO offra un percorso robusto per ridurre i costi di inferenza del ragionamento a catena lunga senza sacrificare l'affidabilità.