🤖 machine learning

OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization

OSCAR è un metodo di quantizzazione del cache KV a 2 bit deployabile che sfrutta la stima offline della covarianza spettrale per derivare rotazioni allineate all'attenzione e soglie di clipping, consentendo un'accuratezza quasi senza perdite su compiti di ragionamento in contesto lungo riducendo significativamente l'utilizzo della memoria e migliorando il throughput di inferenza nei moderni framework di servizio LLM.

Autori originali: Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

Pubblicato 2026-05-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: L'"Accumulatore di Memorie"

Immagina un modello linguistico di grandi dimensioni (LLM) come un bibliotecario brillante ma dimenticabond. Quando gli poni una domanda lunga, deve mantenere un elenco continuo di tutto ciò che hai detto finora (la "KV Cache") per comprendere il contesto.

Man mano che la conversazione si allunga (fino a 32.000 parole o più), questo elenco diventa enorme. Per memorizzarlo, il bibliotecario ha bisogno di una quantità enorme di memoria costosa (come un gigantesco magazzino ad alta velocità). Se il magazzino si riempie, il bibliotecario deve smettere di lavorare o rallentare drasticamente.

L'obiettivo di questo paper è ridurre quel magazzino di 8 volte senza che il bibliotecario dimentichi nulla di importante. Vogliono comprimere gli appunti da "alta definizione" (BF16) a dimensioni di "piccolo schizzo" (2-bit).

Il Vecchio Metodo: Il "Mescolamento di Hadamard"

In precedenza, i ricercatori tentavano di ridurre questi appunti semplicemente mescolando le parole. Usavano un trucco matematico chiamato rotazione di Hadamard.

L'Analogia: Immagina di avere una stanza disordinata con alcuni divani giganti e goffi (i valori anomali o "outliers") e molte sedie piccole. Non riesci a farli entrare tutti in una scatola piccola. Il vecchio metodo consisteva nel prendere un gigantesco mixer e far ruotare la stanza. Questo disperdeva i divani giganti in modo che sembrassero alcune sedie leggermente più grandi, rendendo più facile impacchettarli.
Il Difetto: Questo mescolamento è "cieco". Non sa quali parti della stanza sono effettivamente importanti per il lavoro del bibliotecario. Quando si comprime tutto in un piccolo schizzo a 2 bit, questo mescolamento cieco sfoca accidentalmente i dettagli più critici, facendo sì che il bibliotecario inizi ad allucinare o a dare risposte sbagliate. È come cercare di impacchettare un vaso delicato e un sasso insieme; se scuoti semplicemente la scatola, il vaso si rompe.

La Nuova Soluzione: OSCAR (L'"Architetto Intelligente")

Gli autori propongono OSCAR (Offline Spectral Covariance-Aware Rotation). Invece di scuotere la stanza alla cieca, OSCAR agisce come un architetto intelligente che studia esattamente come lavora il bibliotecario prima che inizi l'impacchettamento.

1. La "Calibrazione Offline" (La Fase di Studio)

Prima che il bibliotecario inizi a servire i clienti, OSCAR prende un piccolo campione di conversazioni e chiede: "Quali parti della memoria usa effettivamente il bibliotecario per prendere decisioni?"

L'Analogia: Immagina che il bibliotecario debba scegliere un libro basandosi su una domanda specifica. OSCAR si rende conto che il bibliotecario si preoccupa profondamente del colore della copertina del libro (la "Query") ma non si preoccupa molto dello spessore delle pagine (il "Value").
Il Risultato: OSCAR crea una mappa personalizzata (una matrice di rotazione) che allinea l'archiviazione della memoria a queste esigenze specifiche. Garantisce che le parti di cui il bibliotecario si preoccupa di più siano preservate con alta precisione, mentre le parti meno importanti vengono compresse in modo più aggressivo.

2. L'"Impacchettamento Intelligente" (La Rotazione)

OSCAR utilizza questa mappa per ruotare i dati in una forma perfetta per la compressione.

L'Analogia: Invece di far ruotare la stanza a caso, OSCAR riorganizza i mobili in modo che tutti gli oggetti fragili siano allineati in un modo che si adatta perfettamente alla piccola scatola. Separa le "direzioni importanti" dal "rumore".
La Magia: Facendo questo, possono comprimere i dati fino a 2 bit (estremamente piccoli) mantenendo comunque l'accuratezza del bibliotecario quasi identica alla versione originale ad alta definizione.

3. Il "Magazzino Ibrido" (Il Sistema)

OSCAR non comprime tutto in una volta. Utilizza un intelligente sistema ibrido:

I Token "Sink" e "Recenti": Le prime poche parole (l'inizio della storia) e le ultime poche parole (ciò che hai appena detto) vengono mantenute in alta definizione. Questi sono gli ancoraggi più critici.
I Token "Storici": La parte centrale della conversazione (la lunga storia) è la parte che viene compressa nel piccolo schizzo a 2 bit utilizzando la rotazione intelligente di OSCAR.

Perché Questo È Importante (I Risultati)

Il paper ha testato questo metodo su alcuni dei modelli AI più intelligenti disponibili (come Qwen e GLM) con contesti molto lunghi.

Accuratezza: Quando altri metodi tentavano di comprimere a 2 bit, i modelli praticamente dimenticavano come pensare (l'accuratezza scendeva vicino allo zero). OSCAR ha mantenuto i modelli quasi intelligenti quanto la versione originale ad alta definizione.
Velocità e Memoria: Poiché i dati sono 8 volte più piccoli, il magazzino può contenere 8 volte più conversazioni. Ciò significa che il sistema può gestire 7 volte più utenti contemporaneamente senza esaurire la memoria.
Pronto per il Mondo Reale: Gli autori non hanno scritto solo una teoria; hanno costruito un sistema funzionante che si integra nei server AI moderni (SGLang e vLLM). È come se non avessero progettato solo una scatola migliore, ma avessero costruito un nuovo camion che usa quella scatola e guida più velocemente.

Riepilogo

OSCAR è un metodo che impedisce ai modelli AI di "dimenticare" quando cercano di risparmiare memoria. Invece di schiacciare ciecamente i dati, studia prima ciò che l'AI considera realmente importante, riorganizza i dati per adattarsi a queste esigenze e poi li comprime. Questo permette all'AI di ricordare enormi quantità di informazioni (come un intero libro) utilizzando una frazione minima della memoria, senza perdere la sua intelligenza.

Riepilogo Tecnico: OSCAR - Rotazione Consapevole della Covarianza Spettrale Offline per la Quantizzazione della Cache KV a 2 bit

1. Enunciato del Problema

L'inferenza su contesti lunghi nei Modelli Linguistici di Grande Dimensione (LLM) è sempre più ostacolata dall'impronta di memoria della cache Key-Value (KV). All'aumentare della lunghezza del contesto, della dimensione del batch e della profondità del modello, la cache consuma una significativa quantità di memoria GPU, limitando il throughput e la scalabilità. Sebbene la compressione della cache KV a precisione ultra-bassa (ad esempio, INT2) offra una riduzione della memoria di 8 volte, affronta una sfida critica di accuratezza: le attivazioni KV contengono valori anomali (outliers) severi a livello di canale.

Sotto la quantizzazione a basso numero di bit, questi valori anomali dominano la scala di quantizzazione, costringendo la maggior parte dei valori "normali" in pochi livelli di quantizzazione efficaci e degradando severamente la qualità dell'attenzione. I metodi esistenti basati sulla rotazione (ad esempio, trasformate di Hadamard) tentano di attenuare questi valori anomali ridistribuendo l'energia attraverso i canali. Tuttavia, questi metodi sono non consapevoli dei dati; attenuano la distribuzione grezza della cache ma non si allineano con le direzioni specifiche che i meccanismi di attenzione a valle effettivamente consumano. A INT2, dove esistono solo quattro livelli di quantizzazione, questo disallineamento causa il collasso dei metodi di rotazione ingenui, risultando in un'accuratezza vicina allo zero su compiti di ragionamento.

2. Metodologia: OSCAR

Gli autori propongono OSCAR (Rotazione Consapevole della Covarianza Spettrale Offline), un metodo che stima offline le strutture di covarianza consapevoli dell'attenzione per derivare rotazioni fisse e soglie di clipping. A differenza dei lavori precedenti che minimizzano l'errore di ricostruzione euclidea grezza ( $\|K - \hat{K}\|_F$ ), OSCAR minimizza la distorsione nei punteggi e negli output dell'attenzione a valle.

2.1 Motivazione Teorica

Il documento sostiene che l'obiettivo di rotazione ottimale dovrebbe essere derivato dalle statistiche del calcolo dell'attenzione stesso:

Per le Chiavi ( $K$ ): La distorsione nei logit dell'attenzione è controllata dalla covarianza della query $Q^\top Q$ , non solo dalla covarianza della chiave $K^\top K$ .
Per i Valori ( $V$ ): La distorsione nell'output dell'attenzione è pesata dai punteggi di attenzione $S$ , portando a una covarianza target di $V^\top S^\top S V$ .

2.2 Design dell'Algoritmo

OSCAR opera in due fasi:

A. Fase di Calibrazione Offline:

Stima della Covarianza: Utilizzando un piccolo dataset di calibrazione, il metodo calcola covarianze target empiriche:
- $C_Q = \frac{1}{N} \sum q_n^\top q_n$ (Target chiave consapevole della query).
- $C_S = \frac{1}{N} V^\top S^\top S V$ (Target valore consapevole del punteggio).
Derivazione della Rotazione: Il metodo esegue la decomposizione agli autovalori su queste matrici per trovare le basi degli autovalori ottimali ( $U_Q$ e $U_S$ ).
Costruzione della Rotazione Composita: Le matrici di rotazione finali ( $R_K, R_V$ $R_{K}, R_{V}$ ) sono costruite come prodotto di tre componenti:
- $U_Q/U_S$ : La base degli autovalori consapevole dell'attenzione che allinea i canali con le direzioni di importanza.
- $H_{Had}$ : Una trasformata di Hadamard che equalizza la metrica di importanza tra i canali e distribuisce l'energia degli outlier.
- $P_{br}$ : Una permutazione di inversione dei bit che intercala canali ad alta e bassa varianza per garantire intervalli dinamici bilanciati all'interno dei gruppi di quantizzazione.
- Formula: $R_K = U_Q H_{Had} P_{br}$ e $R_V = U_S H_{Had} P_{br}$ .
Soglie di Clipping: Le soglie di clipping per livello sono stimate dalle attivazioni di calibrazione ruotate per controllare gli outlier.

B. Fase di Servizio Online:

Layout a Precisione Mista: Il sistema mantiene una cache KV paginata in cui i token "sink" (iniziali) e i token "recenti" sono mantenuti in piena precisione BF16. Il contesto medio storico è memorizzato in INT2 dopo l'applicazione della rotazione fissa OSCAR e del clipping.
Integrazione del Kernel: Gli autori hanno sviluppato un kernel Triton fuso personalizzato per il framework di servizio SGLang. Questo kernel gestisce lo unpacking, la dequantizzazione, la rotazione inversa e il calcolo dell'attenzione per la cronologia INT2, garantendo la compatibilità con l'attenzione paginata e la memorizzazione nella cache dei prefissi senza introdurre traffico di memoria aggiuntivo.

3. Contributi Chiave

Identificazione dell'Obiettivo Mancante: Il documento identifica che le rotazioni generiche disperdono gli outlier ma falliscono a INT2 perché non si allineano con l'attenzione a valle. L'obiettivo di rotazione deve essere indotto dalle statistiche dell'attenzione ( $Q^\top Q$ e $V^\top S^\top S V$ ), non dalla ricostruzione grezza della cache.
Framework OSCAR: Un sistema di quantizzazione della cache KV INT2 completamente distribuibile che utilizza la calibrazione offline per derivare rotazioni consapevoli dell'attenzione. L'analisi teorica mostra che questi obiettivi sono ottimali sotto un'assunzione di surrogato di errore fisso.
Sistema Pronto per la Produzione: Un kernel di attenzione INT2 personalizzato integrato in SGLang che supporta layout di cache KV paginati e memorizzazione nella cache dei prefissi. Raggiunge un'integrazione senza soluzione di continuità con framework di servizio moderni (SGLang, vLLM) mantenendo un elevato throughput.

4. Risultati Sperimentali

Gli autori hanno valutato OSCAR su modelli di ragionamento (Qwen3-4B, Qwen3-8B, Qwen3-32B) e un modello all'avanguardia (GLM-4.7, 358 miliardi di parametri) su cinque benchmark (AIME25, GPQA, HumanEval, LiveCodeBench, MATH500) e recupero su contesti lunghi (RULER-NIAH fino a 128k).

Preservazione dell'Accuratezza:
- Su Qwen3-4B-Thinking e Qwen3-8B, OSCAR riduce il divario di accuratezza rispetto a BF16 a 3,78 e 1,42 punti, rispettivamente. Al contrario, la rotazione ingenua INT2 collassa a un'accuratezza quasi nulla.
- Su Qwen3-32B e GLM-4.7, OSCAR rimane efficacemente alla pari con BF16 (entro 0,02–0,27 punti), mentre altri baseline INT2 subiscono un degrado significativo.
- Nel recupero su contesti lunghi (RULER-NIAH), OSCAR mantiene prestazioni robuste fino a 128k token, mentre INT2 ingenuo e i metodi basati solo su Hadamard collassano a lunghezze molto più brevi (ad esempio, 16k).
Prestazioni di Sistema:
- Memoria: Riduce l'impronta di memoria della cache KV di circa 8 volte rispetto a BF16.
- Throughput: Migliora il throughput fino a 7 volte con dimensioni del batch elevate sotto lo stesso budget di memoria.
- Latenza: Accelera la decodifica con batch-size-1 fino a 3 volte rispetto a BF16 grazie alla riduzione dell'overhead della larghezza di banda di memoria.
- Scalabilità: Dimostra la capacità di gestire fino a 28 richieste concorrenti con input di 100k token su un singolo H100, un regime in cui i baseline BF16 e INT4 esauriscono la memoria.

5. Significato e Affermazioni

Il documento afferma che OSCAR colma con successo il divario tra la promessa teorica della cache KV a bit ultra-bassi (INT2) e la praticabilità di distribuzione. Spostando l'obiettivo di rotazione dalla ricostruzione dei dati grezzi alla covarianza consapevole dell'attenzione, OSCAR recupera l'accuratezza persa dalla quantizzazione ingenua mantenendo i massicci benefici di memoria e throughput dello storage a 2 bit.

Gli autori sottolineano che il loro approccio non è meramente un miglioramento algoritmico ma una soluzione a livello di sistema. Fornendo un kernel personalizzato che si integra con l'attenzione paginata e la memorizzazione nella cache dei prefissi, dimostrano che la quantizzazione INT2 può essere utilizzata nei framework di servizio in produzione (come SGLang) senza sacrificare le funzionalità di efficienza (come il riutilizzo dei prefissi) su cui si basa il servizio moderno degli LLM. Il lavoro suggerisce che per il ragionamento su contesti lunghi, la chiave per una quantizzazione di successo risiede nell'allineare la strategia di compressione con le specifiche esigenze statistiche del meccanismo di attenzione.