💬 NLP

Compressing Sequences in the Latent Embedding Space: $K$ -Token Merging for Large Language Models

Il paper propone K-Token Merging, un framework di compressione nello spazio latente che unisce blocchi di K embedding in un singolo vettore tramite un encoder leggero, permettendo ai LLM di gestire prompt più lunghi con riduzioni fino al 75% della lunghezza dell'input e una minima perdita di prestazioni.

Autori originali: Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

Pubblicato 2026-04-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zihao Xu, John Harvill, Ziwei Fan, Yizhou Sun, Hao Ding, Hao Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🧠 Il Problema: L'Intelligenza Artificiale che "mangia" troppa memoria

Immagina di dover spiegare a un amico molto intelligente (l'Intelligenza Artificiale) una storia lunghissima. Per farlo, devi scriverle ogni singola parola, una per una.
Oggi, quando le AI leggono testi lunghi (come un libro intero o un codice complesso), devono tenere a mente ogni singola parola contemporaneamente. È come se dovessero tenere in equilibrio 1000 palline sulla punta delle dita contemporaneamente. Più palline ci sono, più faticoso diventa, e l'AI si blocca o diventa lentissima.

In termini tecnici, questo costo cresce in modo "esponenziale": raddoppiare la lunghezza del testo significa quadruplicare lo sforzo.

💡 La Soluzione: Il "Riassunto Magico" (K-Token Merging)

Gli autori di questo studio hanno pensato: "Aspetta, non dobbiamo leggere ogni singola parola come se fosse unica. Molte parole vicine si comportano come un unico blocco di significato."

Hanno inventato un metodo chiamato K-Token Merging (Fusione di K Token). Ecco come funziona, usando un'analogia:

1. L'Analogia del "Pacco di Lettere"

Immagina di dover spedire 100 lettere a un amico.

Il metodo vecchio: Metti ogni lettera in una busta separata e le spedisci una per una. È costoso, lento e occupa molto spazio nel furgone postale.
Il metodo nuovo (K-Token Merging): Prendi 4 lettere vicine, le metti in un'unica scatola compatta e le spedisci come un unico pacco.

Quando il pacco arriva all'AI, lei non vede le 4 lettere separate, ma un "pacco compresso" che contiene tutto il significato di quelle 4 lettere. L'AI impara a leggere il pacco e a capire che dentro ci sono 4 parole, senza doverle processare una alla volta.

2. Come funziona nella pratica?

Il sistema usa due trucchi intelligenti:

L'Enciclopedia Compatta (L'Encoder): C'è un piccolo "traduttore" che prende un gruppo di parole (diciamo 4) e le trasforma in un unico "super-oggetto" digitale. È come prendere 4 ingredienti e frullarli in un unico succo che contiene il sapore di tutti.
L'Addestramento (LoRA): L'AI viene addestrata a capire questi "succo di parole". Non le viene insegnato a leggere le parole singole, ma a capire il succo.
La Magia dell'Output: Quando l'AI deve rispondere, non restituisce un "pacco". Restituisce le parole normali, una per una, così l'utente finale non nota alcuna differenza. È come se l'AI pensasse in modo compatto, ma parlasse normalmente.

🚀 I Risultati: Più veloce, stesso risultato

Gli autori hanno testato questo metodo su tre tipi di compiti:

Logica (Alberi): Capire chi è il "padre" e chi il "figlio" in una struttura complessa.
Sentimenti (Recensioni Amazon): Capire se una recensione è positiva o negativa.
Codice (Programmi): Modificare un programma informatico seguendo istruzioni.

Il risultato è sbalorditivo:

Hanno ridotto la lunghezza dell'input fino al 75%.
Significa che l'AI deve processare solo 1 parola ogni 4 che le vengono date.
La velocità: Poiché il lavoro è quadrato rispetto alla lunghezza, ridurre il testo del 75% riduce il lavoro computazionale di circa il 94%. È come passare da un'auto che fa 10 km/h a un'auto che fa 100 km/h.
La precisione: Nonostante la compressione, l'AI sbaglia pochissimo (meno dell'1-2% in meno rispetto a leggere tutto).

🎯 Perché è diverso dagli altri metodi?

Prima di questo, esistevano due modi per comprimere:

Tagliare le parole (Hard Compression): Come tagliare le pagine di un libro per renderlo più leggero. Il problema? Se tagli la pagina sbagliata, perdi informazioni importanti (es. "non" diventa "sì").
Cambiare le parole (Soft Compression): Come scrivere un riassunto. Funziona bene, ma spesso non riduce abbastanza lo spazio.

Il metodo K-Token Merging è diverso perché non cancella nulla. Non taglia le parole, le "impacchetta" meglio. È come dire: "Invece di portare 4 mattoni uno per uno, portiamoli tutti insieme su un carrello". Il contenuto è lo stesso, ma il trasporto è molto più efficiente.

🔮 Il Futuro

Gli autori dicono che questo è solo l'inizio. In futuro, potrebbero:

Comprimere anche le parole che l'AI genera (non solo quelle che legge).
Adattare la compressione: comprimere di più dove il testo è ripetitivo e di meno dove è importante.

In sintesi

Immagina di dover portare una montagna di libri in montagna. Invece di caricare ogni libro singolarmente, li metti in scatole compatte che contengono lo stesso contenuto ma pesano la metà. Arrivi in cima molto più velocemente, e quando apri le scatole, i libri sono perfetti come prima. K-Token Merging è proprio questa scatola magica per le Intelligenze Artificiali.

1. Il Problema

I Large Language Models (LLM) affrontano costi computazionali e di memoria proibitivi quando elaborano prompt lunghi. Questo è dovuto al meccanismo di self-attention (basato su softmax), la cui complessità scala quadraticamente ( $O(n^2)$ ) rispetto alla lunghezza dell'input.

Le soluzioni esistenti per la compressione dei prompt si dividono in due categorie, entrambe con limitazioni:

Compressione "Hard" (es. LLMLingua2, SelectiveContext): Rimuove o riassume token basandosi sulla loro informazione. Funziona bene per informazioni sparse, ma fallisce in compiti densi (come ragionamento matematico, revisione di documenti o codice) dove ogni token è cruciale.
Compressione "Soft" (es. Gist, LTSC): Impara nuovi token o adatta i parametri per creare rappresentazioni compatte. Tuttavia, queste operano principalmente a livello di sequenza di token, ignorando una fonte significativa di ridondanza: lo spazio di embedding latente stesso.

Il paper evidenzia un'inefficienza fondamentale: per un vocabolario di 150k token, un singolo token richiede circa 28.672 bit di embedding, mentre l'informazione teorica necessaria per identificarlo è di soli ~18 bit. Esiste quindi un enorme margine di miglioramento nella rappresentazione degli input.

2. Metodologia: K-Token Merging

Gli autori propongono K-Token Merging, un framework di compressione che opera direttamente nello spazio degli embedding latenti invece che nello spazio dei token.

Architettura e Funzionamento

Il metodo utilizza un encoder leggero (una piccola MLP) per fondere blocchi contigui di $K$ token di input in un singolo embedding compresso.

Fase di Prefill (Input):
- L'input originale di $N$ token viene diviso in blocchi di $K$ token.
- L'encoder $f$ prende le embedding originali di $K$ token consecutivi e produce una singola embedding compressa $C_i$ .
- Inizializzazione Intelligente: Per accelerare la convergenza, l'embedding compressa viene inizializzata come la media (mean pooling) delle $K$ embedding originali. L'encoder è strutturato come una somma tra questa media e l'output di una piccola MLP i cui pesi sono inizializzati vicini allo zero. Questo garantisce che all'inizio dell'addestramento la rappresentazione sia semanticamente stabile.
Fase di Generazione (Output):
- Il modello LLM (adattato tramite LoRA) elabora la sequenza compressa.
- Cruciale: Durante la generazione, il modello produce token originali e non compressi. Ogni nuovo token generato viene aggiunto al prefisso misto (compressi/non compressi) e il processo continua in modo autoregressivo standard.
- Questo approccio evita l'esplosione del vocabolario tipica dell'aggiunta di nuovi token $K$ -gram, permettendo di generalizzare a combinazioni di token mai viste durante l'inferenza.

Obiettivo di Addestramento

Il modello viene fine-tunato utilizzando LoRA insieme all'encoder. La funzione di perdita (loss) è calcolata solo sulle posizioni dei token originali generati (non sulle embedding compressa di input), assicurando che il modello impari a interpretare gli embedding compressi mantenendo la qualità della generazione sul vocabolario originale.

3. Contributi Chiave

Nuovo Framework: Introduzione di K-Token Merging, il primo metodo che comprime sequenze di token fondendo i loro embedding nello spazio latente, invece di eliminare token o imparare nuovi token di vocabolario.
Ricetta di Addestramento: Sviluppo di una strategia di addestramento che combina un encoder leggero con l'adattamento LoRA, inclusa una strategia di inizializzazione basata sulla media per una convergenza rapida.
Efficienza Estrema: Dimostrazione che è possibile ridurre la lunghezza di input fino al 75% con una degradazione delle prestazioni minima, spostando il trade-off verso la frontiera di Pareto ottimale.

4. Risultati Sperimentali

Il metodo è stato valutato su tre dataset con compiti diversi, utilizzando come modello base Qwen-2.5 0.5B.

Textualized Tree (Ragionamento Strutturale):
- Il compito richiede di determinare relazioni genitore-figlio in alberi testuali.
- Risultato: Con $K=4$ (riduzione del 75% della lunghezza), il modello ottiene un'accuratezza del 98.38% (vs 99.97% del baseline non compresso). Il punteggio P-L F1 (che bilancia accuratezza e compressione) è il migliore in assoluto (0.851).
Amazon Reviews (Classificazione Sentiment):
- Classificazione di recensioni in positive/negative.
- Risultato: Il modello a 4-token raggiunge un'accuratezza del 91.05% con una riduzione del 75% della lunghezza, ottenendo il miglior punteggio P-L F1 (0.822), superando i baseline soft e hard del 25.5%.
CommitPackFT (Modifica del Codice):
- Generazione di codice aggiornato basato su istruzioni.
- Risultato: Il modello mantiene una bassa perplessità (1.391) con una riduzione del 75% della lunghezza, dimostrando che la compressione non distrugge la logica complessa del codice.

Impatto Computazionale: Poiché il costo del prefill scala con $O(n^2)$ , ridurre la lunghezza di input del 75% (da $N$ a $0.25N$ ) riduce il costo computazionale del prefill a circa il 6.25% dell'originale, portando a una riduzione stimata del 94% dei FLOPs totali quando la lunghezza di output è molto inferiore a quella di input.

5. Significato e Conclusioni

Il paper dimostra che esiste una significativa ridondanza nello spazio di embedding dei token che può essere sfruttata senza perdere informazioni semantiche critiche.

Vantaggi rispetto ai metodi esistenti: A differenza della compressione "hard", non perde informazioni critiche; a differenza dell'espansione del vocabolario con $K$ -gram, non soffre di esplosione del vocabolario e generalizza a combinazioni inedite.
Implicazioni Future: Questo approccio apre la strada a un'elaborazione di contesti lunghi molto più efficiente. Le limitazioni attuali (mancanza di compressione durante la generazione e uso di un rapporto di compressione fisso) suggeriscono direzioni per ricerche future, come l'encoding ricorsivo o strategie di compressione adattiva.

In sintesi, K-Token Merging offre un compromesso superiore tra efficienza computazionale e prestazioni, rendendo i LLM più pratici per applicazioni che richiedono contesti di input molto estesi.