Sintesi Tecnica: SPECTRA

Problematica

Nell'era dei Large Language Models (LLM) agentici, l'inferenza è sempre più dominata da input a contesto lungo, che spaziano da interi codebase a dialoghi multi-turno. Man mano che la lunghezza del contesto cresce, la cache Key-Value (KV)—il deposito attivo di chiavi e valori dell'attenzione—diventa il collo di bottiglia principale, superando spesso la dimensione dei pesi del modello stesso. Questa cache deve risiedere in una memoria veloce ed essere riletta ad ogni step di generazione, limitando sia la lunghezza massima del contesto che la dimensione del batch che una GPU può supportare.

I metodi di compressione esistenti rientrano generalmente in tre categorie: l'evizione dei token (scartare i token non importanti), la proiezione a basso rango (riduzione della dimensionalità) e la quantizzazione (riduzione della precisione). Sebbene la quantizzazione sia ampiamente utilizzata, essa incontra un "cliff a 2 bit" dove le prestazioni degradano drasticamente. A 2 bit per valore (quattro livelli), l'intervallo dinamico limitato non riesce ad accomodare la distribuzione ricca di outlier della cache; le voci grandi consumano i livelli disponibili, facendo collassare i valori più piccoli e critici nel rumore. Inoltre, la quantizzazione standard applica una larghezza di bit uniforme su tutti i canali, ignorando il fatto che i canali della cache KV sono fortemente correlati, rendendo difficile identificare quali canali specifici trasportino la maggior parte delle informazioni.

Metodologia: SPECTRA

Gli autori propongono SPECTRA, un codec senza addestramento (training-free) e pronto all'uso (drop-in) che inquadra la compressione della cache KV come un problema di rate-distortion (rapporto tasso-distorsione). Invece di fissare un budget in anticipo (ad esempio, un rango o una larghezza di bit specifica), SPECTRA alloca dinamicamente i bit alle parti della cache che contano di più. Il metodo si basa su tre osservazioni chiave derivate dal sondaggio di modelli pre-addestrati:

1. Concentrazione nel Basis Corretto: Nel basis dei canali grezzi, i canali della cache KV sono altamente correlati. Tuttavia, quando ruotati in un basis calcolato dalle statistiche della stessa cache (specificamente, la matrice di Gram delle attivazioni), i canali diventano non correlati e l'energia si concentra nettamente: una piccola frazione di canali trasporta la stragrande maggioranza del segnale.
2. Allocazione Pesata sull'Importanza: Allocare i bit in base all'importanza del canale (energia) supera significativamente la precisione uniforme, particolarmente nel regime sub-2-bit. I canali con zero bit vengono effettivamente scartati, unificando la quantizzazione e la riduzione del rango in un unico meccanismo di controllo.
3. Importanza Pesata sulle Attivazioni: L'importanza di un canale è determinata da quanto fortemente le attivazioni di input lo guidano, non semplicemente dall'entità delle sue proiezioni di peso. Pertamente, la trasformazione deve essere pesata dalle statistiche di attivazione ($G = E[h^\top h]$) piuttosto che dalle sole matrici di peso.

La Pipeline di SPECTRA

SPECTRA implementa queste osservazioni attraverso un processo in tre fasi:

1. Trasformata Pesata su G (Latent Caching):
   Il metodo fattorizza le proiezioni di chiave e valore ($W_K, W_V$) utilizzando una Decomposizione ai Valori Singolari (SVD) pesata dalla matrice di Gram delle attivazioni $G$. Bianco-izzando i pesi con $G^{1/2}$, il metodo trova una fattorizzazione a basso rango che minimizza l'errore nella metrica delle reali attivazioni prodotte dal modello, piuttosto che nello spazio dei pesi grezzi. Ciò produce una rappresentazione latente compatta ed ordinata per energia ($C$) dove le coordinate sono ortogonali e ordinate per varianza.

   • Raffinamento: Una correzione a forma chiusa e senza addestramento viene applicata alla proiezione di uscita ($W_O$) per compensare il residuo strutturato introdotto dalla troncatura a basso rango.

2. Quantizzazione Rate-Distortion (Water-Filling):
   Una volta che la cache è trasformata in questo spazio latente ordinato per energia, SPECTRA applica un algoritmo di "reverse water-filling" per allocare i bit. In base alle varanze marginali misurate delle coordinate latenti, l'algoritmo assegna più bit ai canali ad alta varianza (alta energia) e meno (fino a zero) ai canali a bassa varianza.

   • Raggruppamento: Per mantenere una struttura di cache append-only adatta all'inferenza in streaming, le coordinate adiacenti vengono raggruppate per condividere una singola larghezza di bit.

3. Integrazione nel Sistema:
   Le matrici di trasformazione ($W_{down}, W_{up}$) e la correzione $W_O$ vengono riincorporate nei pesi del modello, rendendo SPECTRA un sostituto "drop-in" che non richiede fine-tuning. Durante l'inferenza, i token vengono proiettati verso il basso, quantizzati per token e aggiunti alla cache latente. Le chiavi e i valori completi vengono ricostruiti on-the-fly per l'attenzione standard.

Contributi Chiave

• Visione Unificata della Compressione: Il paper riclassifica la compressione della cache KV come un singolo problema di spesa di un budget di bit fisso tra i canali, unificando la proiezione a basso rango (scarto dei canali) e la quantizzazione (riduzione dei bit) come due estremità dello stesso spettro di controllo.
• Trasformata Pesata sulle Attivazioni: Identifica che minimizzare l'errore di ricostruzione nella metrica delle attivazioni del modello (tramite una trasformata pesata su $G$) è superiore alla fattorizzazione nello spazio dei pesi, produndo un latente che è sia second-moment-ortogonale che ordinato per energia.
• Codec SPECTRA: Un'implementazione pratica e senza addestramento che concentra il budget di bit sui canali che trasportano il segnale, spingendo la compressione utile oltre il "cliff a 2 bit".

Risultati Sperimentali

Gli autori hanno valutato SPECTRA su Llama-3.1-8B, Mistral-7B e Qwen2.5-7B utilizzando i benchmark LongBench e RULER (Needle-in-a-Haystack).

• Performance vs Compressione:
  • A 4x di compressione, SPECTRA è quasi lossless, eguagliando o superando le prestazioni del modello denso (fp16) e superando i baseline come KIVI, OTT e PolarQuant.
  • A 8x di compressione, dove i metodi di quantizzazione uniforme collassano (scendendo significativamente sotto il baseline denso), SPECTRA rimane competitivo. Per Llama-3.1-8B, SPECTRA ottiene un punteggio medio su LongBench di 51.89 con 8.84x di compressione, mentre i baseline come TurboQuant e RotateKV scendono rispettivamente a ~47 e ~46.
  • SPECTRA rimane utilizzabile fino a 12x di compressione (ad esempio, punteggio 48.81 per 11.12x per Llama), un regime in cui altri metodi falliscono completamente.
• Capacità di Memoria:
  • Su una GPU H200 con 24GB di memoria, un modello denso Llama-3.1-8B supporta un contesto di circa 65k token. SPECTRA a 12x di compressione estende questo a 793k token, moltiplicando efficacemente la capacità del contesto di oltre 12 volte senza cambiare l'hardware.
• Retrieval:
  • Nei compiti Needle-in-a-Haystack, SPECTRA mantiene una precisione di recupero quasi perfetta fino a 12x di compressione, mentre i baseline a 2 bit degradano bruscamente a contesti lunghi.

Significato e Rivendicazioni

Il paper sostiene che la leva primaria per la compressione della cache KV non è solo quanto finemente quantizzare, ma cosa memorizzare. Ruotando la cache in un sistema di coordinate derivato dalle statistiche del modello stesso, SPECTRA rivela che l'informazione è altamente concentrata. Ciò consente al metodo di spendere i bit dove contano di più, superando efficacementamente il "cliff a 2 bit" che affligge la quantizzazione uniforme.

Gli autori sottolineano che SPECTRA è una soluzione senza addestramento e pronta all'uso che non richiede pre-addestramento, fine-tuning o cambiamenti architettonici. Sebbene l'attuale implementazione si concentri sul risparmio di memoria (ricostruendo chiavi/valori on-the-fly), il paper nota che la struttura dello spazio latente apre teoricamente la strada al risparmio computazionale tramite l'attenzione diretta nello spazio latente, che viene lasciata come lavoro futuro. Il contributo principale è dimostrare che spingere la compressione oltre il cliff a 2 bit è possibile trattando la cache come un segnale da codificare tramite principi di codifica di trasformata piuttosto che come un tensore da ritagliare uniformemente.