Large Language Model as Token Compressor and Decompressor

Titolo: Large Language Model come Compressore e Decompressore di Token

1. Il Problema

I Large Language Models (LLM) hanno ottenuto successi straordinari, ma la loro capacità di gestire contesti lunghi è fondamentalmente limitata dalla complessità quadratica ($O(N^2)$) del meccanismo di attenzione. Quando le sequenze di token raggiungono decine o centinaia di migliaia di elementi, l'overhead computazionale e di memoria rende proibitivi l'inferenza su larga scala, la comprensione di documenti estesi e il recupero multi-hop.
Le soluzioni esistenti si dividono in due categorie, entrambe con limiti significativi:

• Metodi euristici (es. fusione o pruning di token): Rimuovono o fondono token ridondanti basandosi su similarità locale o punteggi di attenzione. Tuttavia, rischiano di perdere significato discorsivo o pragmatico difficile da recuperare.
• Metodi basati sull'apprendimento (es. AutoCompressor, ICAE, Gist Tokens): Generano vettori di contesto compressi a lunghezza fissa o embedding continui. Questi approcci spesso trattano la compressione come un compito esterno e ausiliario, slegato dal processo di ragionamento generativo principale. Inoltre, le rappresentazioni continue sono non lessicali, poco interpretabili e non permettono una ricostruzione fedele dell'input originale, limitando la loro utilità in scenari che richiedono verificabilità.

2. Metodologia

Il paper propone un nuovo approccio che sfrutta la conoscenza semantica intrinseca dell'LLM per fungere sia da compressore che da decompressore. L'idea centrale è che gli LLM, addestrati su vasti corpus, sono motori potenti di astrazione semantica e possono "parlare la propria lingua interna" per comprimere il testo.

Framework di Autoencoding Auto-Regressivo:
Il sistema addestra un LLM pre-esistente a tradurre testi lunghi in una lingua interna compatta di Z-token (codici latenti discreti a lunghezza variabile) e a ricostruire esattamente il testo originale da essi.

• Compressore (LLM Compressor):

  • Mappa una sequenza di input $X$ (lunghezza $N$) in una sequenza di Z-token $Z$ (lunghezza $K \ll N$).
  • Utilizza un approccio auto-regressivo per generare Z-token, permettendo una compressione a lunghezza variabile: segmenti semanticamente densi ricevono più Z-token, mentre le regioni ridondanti vengono compresse aggressivamente.
  • Estende il vocabolario originale includendo un set di Z-token ($V_z$).
  • Utilizza un estimatore Gumbel-Softmax per mantenere la discretizzazione durante l'addestramento, permettendo il flusso di gradienti.
  • Supporta finestre scorrevoli (sliding windows) per testi molto lunghi, con vincoli di coerenza semantica sulle regioni sovrapposte.

• Decompressore (LLM Decompressor):

  • Traduce i Z-token di nuovo in testo superficiale o esegue compiti a valle direttamente nello spazio dei Z-token.
  • È vincolato a generare output solo dal vocabolario originale dell'LLM ($V_{base}$), garantendo che la "lingua interna" sia tradotta in linguaggio naturale comprensibile.
  • Utilizza una strategia di schedule sampling per mitigare il bias di esposizione durante l'addestramento.

Due Paradigmi di Utilizzo:

1. Decompressore come Inferencer: Il compressore agisce come un "prompt compressor" appreso. Il decompressore esegue il ragionamento (es. QA, riassunto) direttamente sulla sequenza di Z-token, senza dover prima ricostruire il testo completo.
2. Decompressore come Reconstructor: Il testo viene ricostruito dai Z-token. Un LLM separato può eseguire il ragionamento nello spazio latente dei Z-token prima della ricostruzione finale, permettendo un ragionamento astratto ad alta efficienza.

3. Contributi Chiave

• Linguaggio Interno Discreto e Interpretabile: A differenza degli embedding continui, i Z-token sono unità simboliche discrete. Il paper dimostra che questi token sono polisemici ma controllabili: lo stesso token può rappresentare concetti diversi a seconda del contesto, ma la ricostruzione rimane fedele grazie ai vincoli del vocabolario di base e alla sequenza completa.
• Compressione Adattiva: Il sistema non usa un rapporto di compressione fisso, ma adatta dinamicamente la lunghezza dei Z-token in base alla densità informativa del testo.
• Integrazione End-to-End: La compressione non è un modulo esterno, ma è integrata nel flusso di ragionamento dell'LLM, permettendo al modello di "pensare" nella sua lingua astratta compatta.
• Ricostruzione Fedele: Il metodo garantisce la ricostruzione esatta del testo originale, a differenza di molti metodi di compressione semantica che perdono dettagli.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su sei dataset su larga scala (Wikipedia, CNN/DailyMail, HotpotQA, QuALITY, NarrativeQA, QASPER) utilizzando modelli della famiglia Qwen (0.6B, 1.7B, 4B).

• Riduzione dei Token: Il metodo ha raggiunto una riduzione dei token fino a 18x su dataset come Wikipedia e HotpotQA.
• Qualità di Ricostruzione: Su Wikipedia, il metodo ha ottenuto il punteggio BLEU-4 più alto (99.31 a 4x compression) e la perdita di entropia incrociata (CE-Loss) più bassa rispetto a metodi come ICAE, Gist Token e AutoCompressor.
• Prestazioni a Valle:
  • QA a Lungo Contesto: Ha superato gli stati dell'arte (SOTA) su HotpotQA, QuALITY, NarrativeQA e QASPER, mantenendo capacità di inferenza multi-hop anche con forte compressione.
  • Riassunto: Su CNN/DailyMail, ha mantenuto prestazioni pari o superiori al modello originale, con un tempo di inferenza ridotto di 2x (da 35 a 17 minuti).
• Efficienza Computazionale:
  • Riduzione dell'overhead di memoria e calcolo grazie alla complessità $O(K^2)$ invece di $O(N^2)$.
  • Speedup: Fino a 4.6x di velocità di inferenza e riduzioni significative nell'uso della memoria GPU.
• Robustezza: L'uso dello schedule sampling ha migliorato significativamente la qualità della decodifica libera (free decoding), riducendo l'accumulo di errori.

5. Significato e Impatto

Questo lavoro offre una prospettiva innovativa sulla compressione del testo, trasformando l'LLM da semplice consumatore di token a creatore di una propria "lingua sintetica" efficiente.

• Scalabilità: Apre la strada a ragionamenti su contesti estremamente lunghi senza i costi proibitivi dell'attenzione quadratica.
• Interpretabilità: La natura discreta e simbolica dei Z-token offre una finestra sulla rappresentazione interna della conoscenza semantica degli LLM, rendendo la compressione controllabile e analizzabile.
• Versatilità: Il framework supporta nativamente sia la ricostruzione fedele che l'esecuzione diretta di compiti complessi nello spazio latente, offrendo un percorso promettente per l'efficienza dei token nel ragionamento a lungo contesto.

In sintesi, il paper dimostra che un LLM può essere addestrato a comprimere e decomprimere il testo in modo adattivo e fedele, agendo come un motore di distillazione semantica che riduce drasticamente i costi computazionali mantenendo o migliorando le prestazioni.