🤖 machine learning

Output-Aware Rotation for INT2 KV-Cache Quantization

Questo articolo propone OptR, un metodo di rotazione consapevole dell'output che minimizza gli errori tra l'attenzione e l'output post-proiezione attraverso correzioni ortogonali per testa e riparametrizzazione delle chiavi, migliorando così significativamente le prestazioni della quantizzazione del KV-cache a INT2 per i grandi modelli linguistici mantenendo un overhead di inferenza trascurabile.

Autori originali: Vincent-Daniel Yun, Woosang Lim, Minsoo Cheong, Sunwoo Lee, Murali Annavaram, Sai Praneeth Karimireddy, Sungjoo Yoo

Pubblicato 2026-08-05

📖 7 min di lettura🧠 Approfondimento

CC0 1.0

Autori originali: Vincent-Daniel Yun, Woosang Lim, Minsoo Cheong, Sunwoo Lee, Murali Annavaram, Sai Praneeth Karimireddy, Sungjoo Yoo

Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di ricordare una storia enorme da raccontare a un amico. Hai un taccuino dove annoti ogni dettaglio importante che hai sentito finora. Più la storia è grande, più pagine ti servono. Ora, immagina che il tuo taccuino stia finendo lo spazio e che tu non possa permetterti di comprarne uno più grande. Per risolvere il problema, decidi di rimpicciolire la tua grafia. Invece di scrivere lettere intere e chiare, le scarabocchi velocemente usando solo quattro piccoli simboli: un punto, un trattino, un cerchio e una croce. Questo è come comprimere una enorme quantità di informazioni in uno spazio molto piccolo.

Nel mondo dell'intelligenza artificiale, specificamente nei Large Language Models (LLM), questi taccuini sono chiamati "KV cache" (cache Key-Value). Essi memorizzano il contesto di una conversazione in modo che l'IA possa ricordare ciò che è stato detto in precedenza. Man mano che le conversazioni si allungano, queste cache diventano enormi, consumando memoria e rallentando tutto. Per risolvere il problema, gli scienziati cercano di rimpicciolire i dati a soli 2 bit (usando solo quattro livelli, come i nostri quattro simboli). Ma ecco il problema: quando schiacci i dati così strettamente, gli "outlier" — i dettagli insoliti e davvero importanti — vengono schiacciati nella forma sbagliata, e l'IA inizia a commettere errori. È come cercare di far stare una patata gigante e irregolare in una scatola minuscola; la patata viene ammaccata e, quando la tiri fuori, non sembra più la patata che avevi messo dentro.

Per un po', i ricercatori hanno cercato di risolvere il problema ruotando la patata prima di schiacciarla, sperando di distribuire i grumi in modo uniforme. Tuttavia, misuravano il successo in base a quanto la patata apparisse bella dentro la scatola, non a quanto l'IA potesse usarla per raccontare la storia in seguito. Questo articolo introduce un nuovo metodo chiamato OptR (Output-Aware Rotation) che cambia le regole del gioco. Invece di limitarsi a cercare di far apparire i dati belli dopo essere stati schiacciati, OptR controlla se l'IA è ancora in grado di comprendere la storia dopo che i dati sono stati schiacciati e decompressi. Si è scoperto che, prestando attenzione al risultato finale, l'IA può ricordare molto più accuratamente, anche con quel taccuino a soli quattro simboli.

Il Problema: L'effetto della "Patata Schiacciata"

Quando un'IA legge un testo lungo, costruisce una mappa mentale delle parole che ha visto. Questa mappa è memorizzata nella KV cache. Per risparmiare spazio, i ricercatori utilizzano una tecnica chiamata quantizzazione per rimpicciolire questa mappa. La versione più estrema è la quantizzazione INT2, che riduce i dati a soli quattro valori possibili. È incredibilmente efficiente — utilizza solo 1/8 della memoria dei formati standard — ma è rischioso.

Pensa ai dati nella cache come a un gruppo di studenti in fila. La maggior parte degli studenti ha un'altezza media, ma alcuni sono giganti. Se provi a farli stare tutti in una stanza piccola (l'intervallo INT2), i giganti vengono schiacciati, e anche gli studenti medi vengono schiacciati perché la stanza è troppo piccola per i giganti. Questo causa l' "errore di quantizzazione", dove l'IA ricorda male sia i giganti che gli studenti medi.

Per risolvere questo, i metodi precedenti utilizzavano la rotazione. Immagina di far ruotare la fila di studenti in modo che i giganti non siano più in piedi dritti, ma siano inclinati lateralmente. Questo distribuisce la loro altezza attraverso la stanza, rendendo più facile farli stare tutti senza schiacciarli. Tuttavia, l'articolo sostiene che i metodi esistenti commettevano un errore. Stavano facendo ruotare gli studenti solo per farli stare bene nella stanza (minimizzando l'errore dei dati memorizzati), ma non stavano controllando se gli studenti potessero ancora correre una gara correttamente una volta usciti dalla stanza.

Gli autori evidenziano una discrepanza: la rotazione che fa apparire i dati migliori dentro la scatola non è necessariamente la rotazione che aiuta l'IA a performare meglio dopo aver usato quei dati. L'IA non gli importa se i dati appaiono perfetti nella cache; le importa che la risposta finale sia corretta.

La Soluzione: OptR (Output-Aware Rotation)

L'articolo propone OptR, un metodo che ottimizza la rotazione basandosi sull'output finale dell'IA, non solo sulla memorizzazione.

Ecco come funziona OptR, passo dopo passo:

Centrare i Dati (Il trucco del "Livellamento"): Prima di schiacciare i dati, OptR sottrae il valore medio dalle chiavi (la "Key Reparameterization"). Immagina se i giganti nella nostra fila fossero in realtà in piedi su una piattaforma alta. OptR abbassa la piattaforma in modo che tutti stiano sullo stesso livello del suolo. Questo non cambia chi è alto o basso rispetto agli altri, ma impedisce ai giganti di colpire il soffitto della piccola stanza. Fondamentalmente, questo passaggio è "attention-equivalent", il che significa che cambia i numeri ma mantiene l'attenzione dell'IA esattamente la stessa. Restringe l'intervallo dei numeri, rendendo la schiacciata INT2 molto meno dolorosa.
Imparare la Rotazione Perfetta (Il passaggio "Output-Aware"): Invezione di usare una rotazione fissa (come una rotazione matematica standard), OptR impara una rotazione personalizzata per ogni singola "testa" (una parte specifica del cervello dell'IA) nel modello. Lo fa simulando l'intero processo: schiacciando i dati, decompressi, facendoli passare attraverso il meccanismo di attenzione dell'IA e poi proiettandoli alla risposta finale.
- Osserva l'errore nella risposta finale (l'errore di output post-attenzione).
- Scompone questo errore in due parti: gli errori causati dalle chiavi (che determinano a cosa l'IA presta attenzione) e gli errori causati dai valori (che determinano quali informazioni vengono effettivamente recuperate).
- Successivamente, modifica leggermente gli angoli di rotazione per minimizzare l'errore nella risposta finale, non solo l'errore nella memorizzazione.

Immagina di sintonizzare una radio. I vecchi metodi cercavano di rendere il fruscio il più silenzioso possibile dentro la scatola dell'altoparlante. OptR ascolta la musica che esce dall'altoparlante e regola le manopole finché la canzone non suona perfetta, anche se il fruscio all'interno della scatola non è perfettamente silenzioso.

Cosa hanno scoperto

I ricercatori hanno testato OptR su tre diversi modelli di IA (Qwen3-4B, Qwen3-8B e Phi4-14B) e cinque diversi benchmark impegnativi, inclusi problemi matematici (AIME25), compiti di programmazione (LiveCodeBench) e recupero di lungo contesto (trovare un ago in un pagliaio di 64.000 parole).

I risultati sono stati sorprendenti:

Guadagni di Accuratezza Massicci: Sul modello Qwen3-8B, l'uso della standard quantizzazione INT2 con il precedente miglior metodo (QuaRot) ha prodotto un'accuratezza di solo il 17,33% in un difficile test di matematica. Quando hanno aggiunto OptR, l'accuratezza è schizzata al 66,67%. Si tratta di un miglioramento di quasi quattro volte.
Batter il Baseline: Anche rispetto al metodo allo stato dell'arte (OSCAR), che era già piuttosto buono, OptR ha portato l'accuratezza dal 54,67% al 66,00%.
Superpotere del Lungo Contesto: La scoperta più impressionante è stata nei compiti di lungo contesto. Man mano che la storia si allunga (fino a 64.000 token), i metodi INT2 standard falliscono miseramente, scendendo verso uno zero quasi totale. OptR mantiene alta l'accuratezza del recupero, scendendo solo leggermente dal 99,83% (a 4k token) al 70,02% (a 64k token), mentre il metodo standard crolla allo 0,04%.
Nessun Penalità di Velocità: Gli autori hanno confermato che questa magia non comporta un costo pesante. Hanno integrato OptR nel sistema e hanno scoperto che aggiunge un overhead trascurabile. La velocità dell'IA (latenza) e la quantità di dati che può elaborare (throughput) rimangono quasi identiche ai metodi standard. È come avere un motore sovralimentato senza aggiungere peso extra all'auto.

Perché questo è importante

L'articolo suggerisce che, affinché la quantizzazione a bassissimo bit (come INT2) funzioni, non possiamo limitarci a guardare i dati isolatamente. Dobbiamo guardare come quei dati fluiscono attraverso l'intero sistema fino alla risposta finale. Ottimizzando per l'output piuttosto che per la memorizzazione, OptR colma il divario tra compressione estrema e alte prestazioni.

Gli autori sottolineano che questo non è solo un successo teorico; è un successo pratico. Permette ai modelli di IA di gestire conversazioni molto più lunghe e gruppi più grandi di utenti senza esaurire la memoria, mantenendo al contempo il modello abbastanza intelligente da risolvere problemi matematici difficili e scrivere codice. Non si sono limitati a suggerire che questo potrebbe funzionare; lo hanno misurato su diversi modelli e hanno trovato miglioramenti costanti e significativi, dimostrando che l'ottimizzazione "output-aware" è la chiave per sbloccare tutto il potenziale dell'IA a 2 bit.

Riepilogo Tecnico: Rotazione Consapevole dell'Output per la Quantizzazione del KV-Cache in INT2

Problema

Con l'aumentare delle dimensioni e della lunghezza del contesto dei Large Language Models (LLM), il KV-cache è diventato un collo di bottiglia primario per la memoria e la larghezza di banda durante l'inferenza a lungo contesto. Sebbene la quantizzazione a bit ultra-bassi (specificamente INT2) offra una via per ridurre lo storage a 1/8 rispetto ai requisiti BF16, essa introduce errori di quantizzazione significativi. In INT2, dove esistono solo quattro livelli, alcuni valori estremi outlier possono espandere l'intervallo di quantizzazione, causando grandi errori di arrotondamento per la maggior parte dei valori.

I metodi esistenti basati sulla rotazione (ad esempio, QuaRot, OSCAR) tentano di mitigare questo problema ruotando i vettori della cache in una base più favorevole alla quantizzazione. Tuttavia, questi metodi ottimizzano le matrici di rotazione basandosi su obiettivi proxy definiti prima del completamento della lettura dell'attenzione (attention readout), come la minimizzazione dell'errore di ricostruzione della cache o l'appaiamento con le statistiche pre-attenzione. Il documento sostiene che ciò crei un disallineamento tra l'obiettivo e il risultato (objective mismatch): la rotazione che meglio ricostruisce le chiavi (keys) e i valori (values) della cache non è necessariamente quella che minimizza l'errore propagato attraverso il meccanismo di attenzione e la matrice di proiezione dell'output ( $W_O$ ) nello stato nascosto del modello. Di conseguenza, la previsione finale del modello può risentirne nonostante una ricostruzione accurata della cache.

Metodologia: OptR

Gli autori propongono OptR, un metodo di rotazione consapevole dell'output progettato per minimizzare direttamente l'errore dell'output dell'attenzione post- $W_O$ . Il metodo opera attraverso un processo di calibrazione offline una tantum in cui i pesi del modello rimangono congelati e vengono apprese solo le correzioni di rotazione.

1. Decomposizione dell'Errore nello Spazio dell'Output

OptR formula il problema della quantizzazione nello spazio dell'output. Esso decompone l'errore tra l'output dell'attenzione in BF16 e l'output quantizzato in INT2 in due termini distinti:

Errore indotto dalle chiavi (Key-induced error): derivante dagli errori di quantizzazione nelle chiavi ( $\Delta k$ ) che perturbano i logit dell'attenzione e la conseguente distribuzione softmax ( $\Delta p$ ).
Errore indotto dai valori (Value-induced error): derivante dagli errori di quantizzazione nei valori ( $\Delta v$ ) aggregati dalla (potenzialmente perturbata) distribuzione dell'attenzione.

L'obiettivo di ottimizzazione è l'errore quadratico del contributo finale dell'output ( $\Delta y$ ) dopo la proiezione tramite $W_O$ , piuttosto che l'errore di ricostruzione grezzo della cache.

2. Riperameterizzazione delle Chiavi Equivalente all'Attenzione

Prima della rotazione, OptR applica uno spostamento della media per canale (centering) alle chiavi. Sottraendo la media di calibrazione $\mu$ da tutte le chiavi, il metodo sposta i logit dell'attenzione di una costante dipendente dalla query. Fondamentalmente, questa operazione lascia invariata la distribuzione dell'attenzione softmax (attenzione-equivalente) ma restringe significativamente l'intervallo dinamico delle chiavi. Ciò riduce l'impatto degli outlier sui limitati livelli di quantizzazione INT2 senza alterare il comportamento del meccanismo di attenzione.

3. Correzioni Ortogonali per Testa

OptR apprende correzioni ortogonali specifiche per ogni testa KV per raffinare una rotazione di base (ad esempio, Hadamard o basata sulla covarianza).

Parametrizzazione: Le correzioni sono apprese come matrici non vincolate $A_K, A_V$ , che vengono convertite in generatori antisimmetrici ( $S = A - A^\top$ ) ed esponenziate per garantire che le rotazioni risultanti rimangano ortogonali: $R = R_0 \exp(S)$ .
Calibrazione in due fasi:
1. Calibrazione delle Chiavi: La rotazione delle chiavi viene ottimizzata mantenendo i valori in BF16. La funzione di perdita combina un termine di divergenza KL (per preservare la distribuzione dell'attenzione) e un termine che misura l'errore dell'output post- $W_O$ indotto dalla quantizzazione delle chiavi.
2. Calibrazione dei Valori: Una volta fissata la rotazione delle chiavi, la rotazione dei valori viene ottimizzata per minimizzare l'errore di output risultante dalla quantizzazione dei valori sotto la distribuzione dell'attenzione selezionata.
Differenziabilità: Poiché l'arrotondamento INT2 non è differenziabile, i gradienti sono stimati utilizzando un Estimatore a Passaggio Diretto (Straight-Through Estimator, STE).

4. Integrazione nel Sistema

OptR è integrato in una pipeline di KV-cache INT2 basata su SGLang. Mantiene la compatibilità con i sistemi paged KV-cache e con i kernel di decoding fusi preservando la forma del tensore e la regolare disposizione della memoria. La riparametrizzazione delle chiavi e la rotazione sono implementate tramite kernel Triton ottimizzati che fondono le operazioni (rotazione, centering, clipping, quantizzazione) per minimizzare l'overhead.

Contributi Chiave

Formulazione dell'Ottimizzazione nello Spazio dell'Output: Il documento inquadra la quantizzazione del KV-cache INT2 come un problema di ottimizzazione mirato all'errore dell'output dell'attenzione post- $W_O$ , scomponendolo in termini indotti da chiavi e valori.
Algoritmo OptR: Un nuovo metodo che combina la riparametrizzazione delle chiavi equivalente all'attenzione (per ridurre gli offset per canale) con correzioni ortogonali per testa apprese attraverso l'intero percorso di quantizzazione INT2 e di attenzione.
Efficienza e Compatibilità: Il metodo mantiene il formato paged KV-cache e introduce un overhead di inferenza trascurabile, rendendolo pratico per il deployment in sistemi di serving esistenti.

Risultati Sperimentali

Gli autori hanno valutato OptR su tre modelli (Qwen3-4B, Qwen3-8B e Phi4-14B) attraverso cinque benchmark (AIME24/25, GPQA-Diamond, MBPP+, LiveCodeBench v6) e sul recupero a lungo contesto (RULER-NIAH).

Accuratezza nel Ragionamento e nel Coding: OptR migliora significativamente le prestazioni rispetto ai metodi di rotazione base. Per Qwen3-8B su AIME25, l'accuratezza è aumentata dal 17,33% (QuaRot-INT2) al 66,67% (QuaRot-INT2 + OptR), e dal 54,67% (OSCAR) al 66,00% (OSCAR + OptR). Questi risultati si avvicinano al baseline BF16 del 68,00%.
Recupero a Lungo Contesto: OptR dimostra una robustezza superiore all'aumentare della lunghezza del contesto. Su RULER-NIAH con contesto di 64K, QuaRot-INT2 è sceso vicino allo zero, mentre QuaRot-INT2 + OptR ha mantenuto un'accuratezza del 70,02%.
Analisi dell'Errore: L'analisi per livello mostra che OptR riduce sia l'errore immediato post- $W_O$ sia l'errore residuo propagato nello stream di residuo in la maggior parte dei layer e delle teste KV, non solo in un sottoinsieme.
Efficienza: L'integrazione di OptR aggiunge una latenza trascurabile (entro il 2% della pipeline base) e un overhead di memoria minimo (ad esempio, +18 MiB per un batch di 128 con contesto 2K/4K).

Significato

Il documento afferma che OptR affronta un disallineamento fondamentale nelle strategie di quantizzazione a basso bit esistenti: ottimizzare per la ricostruzione della cache non garantisce l'ottimalità delle prestazioni del modello. Ottimizzando direttamente l'errore osservato dai livelli successivi (post- $W_O$ ), OptR consente alla quantizzazione del KV-cache a bassissimo bit (INT2) di raggiungere prestazioni paragonabili a BF16 in compiti di ragionamento complesso e di lungo contesto. Il metodo è presentato come un miglioramento pratico e "drop-in" per le pipeline di rotazione esistenti, che preserva l'efficienza del sistema riducendo drasticamente la degradazione indotta dalla quantizzazione.