🤖 machine learning

Regularize or Localize: When Training-Time KV-Cache Geometry Pays Under Quantization

Questo articolo dimostra che, mentre l'applicazione dell'obiettivo anti-collasso LeJEPA ai soli stati nascosti non riesce a migliorare la quantizzazione della KV-cache, la regolarizzazione diretta della geometria della KV-cache durante l'addestramento migliora significativamente le prestazioni sotto schemi di quantizzazione grossolani per canale, sebbene questo vantaggio diminuisca quando vengono impiegate configurazioni di quantizzazione più sofisticate come KIVI.

Autori originali: Libo Sun, Po-Wei Harn, Zewei Zhang, Peixiong He, Xiao Qin

Pubblicato 2026-07-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Libo Sun, Po-Wei Harn, Zewei Zhang, Peixiong He, Xiao Qin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come scrivere storie. Per farlo, gli fornisci una biblioteca enorme di libri e lo lasci imparare prevedendo la parola successiva in una frase, ancora e ancora. Questo è il modo in cui funzionano i moderni modelli linguistici IA. Ma c'è un problema: mentre il robot legge, costruisce una "memoria" della storia finora scritta, chiamata KV-cache (cache Key-Value). Pensa a questa cache come a una pila di post-it che il robot tiene sulla sua scrivania. Ogni volta che scrive una nuova parola, aggiunge un post-it. Se il robot deve ricordare una storia lunga, questa pila diventa enorme, e memorizzarla richiede molta memoria del computer.

Per risparmiare spazio, gli ingegneri cercano di rimpicciolire questi post-it usando un processo chiamato quantizzazione. È come prendere una foto in alta definizione e comprimerla in una minuscola miniatura. Di solito, questo funziona bene, ma a volte i "post-it" nella memoria del robot sono scritti in un modo strano e sbilanciato. Si raggruppano tutti in una direzione, come un mucchio di matite tutte inclinate nello stesso verso. Questo li rende difficili da comprimere senza perdere dettagli importanti. La grande domanda per i ricercatori informatici è: possiamo insegnare al robot a scrivere i suoi post-it in un modo più equilibrato e "tondo", in modo che siano più facili da rimpicciolire in seguito? Questo articolo investiga esattamente questo, usando un trucco di addestramento speciale per vedere se cambia la forma della memoria del robot e aiuta a farla stare in una scatola più piccola.

L'Esperimento: Dare forma alla memoria del robot

I ricercatori in questo articolo hanno deciso di testare un trucco di addestramento specifico chiamato SIGReg. Immagina che il cervello del robot sia una gigantesca fabbrica a più livelli. Di solito, la fabbrica cerca solo di dare la risposta corretta (prevedere la parola successiva). SIGReg aggiunge una seconda regola: "Ehi, assicurati che le forme dei tuoi pensieri non siano tutte inclinate nella stessa direzione". Spinge le rappresentazioni interne del robot a essere più simili a una nuvola di dati perfetta e rotonda piuttosto che a una sottile e sbilatatetta pancake.

Il team ha addestrato un robot di medie dimensioni (110 milioni di parametri) su un dataset massiccio di 10 miliardi di parole. Hanno testato tre idee principali, agendo come detective che cercano di risolvere un mistero sulla provenienza della forma della memoria.

1. Il trucco funziona sui "pensieri" del robot?
Sì, funziona. Quando hanno applicato SIGReg ai pensieri nascosti del robot (i passaggi di elaborazione interna), la "sbilanciatezza" di quei pensieri è scesa del 38%. Il robot non è diventato molto peggio nel scrivere storie; il suo punteggio di confusione (perplessità) è aumentato di meno dello 0,35%, il che è quasi impercettibile. Quindi, il trucco ha rimodellato con successo la geometria interna del robot senza compromettere la sua capacità di parlare.

2. Il trucco sistema i "post-it" (la KV-cache)?
Qui la trama si complica. I ricercatori hanno scoperto che correggere semplicemente i pensieri del robot non ha automaticamente sistemato i post-it (la cache). La cache rimaneva sbilanciata, proprio come prima.

Il fallimento del fix: Hanno provato a "rimodellare" il robot congelando il suo cervello e aggiungendo semplicemente nuove teste per leggere i post-it. Non ha funzionato.
Il vero fix: Per cambiare effettivamente la forma dei post-it, dovevano lasciare il cervello del robot sbloccato e applicare il trucco SIGReg direttamente ai post-it stessi mentre il robot continuava a imparare. Quando hanno fatto questo, la sbilanciatezza della cache è scesa di un massiccio 94%.
La lezione: Non puoi riparare il cervello e sperare che la memoria lo segua. Devi addestrare direttamente la memoria.

3. Una cache più rotonda crea miniature migliori (quantizzazione)?
Questa è la parte più eccitante. Il team ha provato a rimpicciolire i post-it in minuscole miniature a 3 bit (una dimensione molto piccola) per vedere quanto sarebbe peggiorata la qualità della storia.

La buona notizia: Per il robot addestrato con il trucco diretto della cache, il "danno" derivante dal rimpicciolimento dei post-it è stato da 4,3 a 7,9 volte minore rispetto al robot normale. Infatti, il robot addestrato era l'unico a preferire un modo specifico di misurare i post-it (scaling per canale) che funzionava molto meglio per la compressione.
La cattiva notizia (Il colpo di scena): Questo enorme vantaggio si è manifestato solo quando hanno usato un modo di rimpicciolire i post-it semplice e "grossolano". Quando hanno usato una configurazione più avanzata e realistica (chiamata configurazione "stile KIVI", che mescola diversi metodi di scaling e aggiunge punti di zero), il vantaggio è svanito. In questo scenario complesso, il robot addestrato e il robot normale si sono comportati quasi esattamente allo stesso modo.

Il Verdetto

Quindi, cosa hanno imparato? L'articolo suggerisce che è possibile addestrare un modello linguistico ad avere una memoria (KV-cache) più "tonda" ed equilibrata applicando un trucco di regolarizzazione specifico direttamente a quella memoria durante l'addestramento. Questo rende la memoria molto più facile da comprimere se si utilizzano metodi di compressione semplici e grossolani.

Tuttove, l'articolo è molto attento a dire che questo non è un rimedio magico per ogni tipo di compressione. Se si utilizzano le tecniche di compressione sofisticate e moderne usate dai sistemi reali (con scaling misto e punti di zero), il beneficio di questo trucco di addestramento scompare. La "rotondità" della memoria non ha aiutato in questi scenari complessi.

In breve: i ricercatori hanno trovato un modo per rimodellare la memoria del robot, e funziona molto bene per i lavori di rimpicciolimento semplici. Ma per i lavori di rimpicciolimento avanzati e tecnologici usati nella realtà, l'addestramento extra non ha fornito né maggiore velocità né risparmio di spazio. Il vantaggio è reale, ma ha un confine molto specifico: aiuta solo quando le scale di compressione sono "grossolane" e non sopravvive alla complessità della quantizzazione moderna a configurazione mista.

Sintesi Tecnica: Regolarizzare o Localizzare: Quando la Geometria della K/V-Cache in Fase di Training Avvantaggia la Quantizzazione

Problema

I modelli linguistici Transformer addestrati con la cross-entropy (CE) sviluppano tipicamente una geometria degli stati nascosti anisotropa, dove le rappresentazioni si concentrano lungo alcune direzioni condivise. Le architetture Joint-Embedding Predictive Architectures (JEPA) hanno introdotto obiettivi come SIGReg (un test di normalità Epps–Pulley schematizzato) per spingere gli embedding verso l'isotropia ( $N(0, I)$ ), ma i tentativi precedenti di applicare SIGReg ai Large Language Models (LLM) hanno prodotto risultati nulli. Questi fallimenti si sono verificati quando SIGReg è stato applicato come ausiliario a stream non standard o solo agli stati dell'ultimo layer durante il fine-tuning.

Rimane una lacuna critica: il SIGReg rimodella la geometria della standard autoregressiva (AR) pretraining e, cosa più importante, questo rimodellamento avvantaggia la K/V-cache durante la quantizzazione post-hoc? Il lavoro esistente si concentra sulla compressione post-hoc o su cambiamenti architettonici, lasciando inesplorata la questione se la regolarizzazione distributiva durante il training della geometria della K/V-cache standard possa migliorare la robustezza alla quantizzazione.

Metodologia

Gli autori impiegano un design sperimentale in tre fasi utilizzando modelli in stile Llama da 110 milioni di parametri pre-addestrati su 10B di token FineWeb.

1. Fase 1: Dose-Risposta e Caratterizzazione degli Stati Nascosti

Obiettivo: Determinare se l'aggiunta di SIGReg alla perdita CE durante il pretraining riduca l'anisotropia degli stati nascosti.
Configurazione: Gli autori effettuano una scansione del peso di regolarizzazione $\lambda$ ($0, 0.001, 0.01, 0.1, 1.0$).
Metrica: Anisotropia del coseno a coppie e perplexity.
Risultato: $\lambda=0.01$ viene identificato come il punto operativo ottimale, riducendo significativamente l'anisotropia con un costo minimo in termini di perplexity.

2. Fase 2: Bridge Probes (Adattamento vs. Retrofit)

Per determinare se il cambiamento geometrico si propaghi alla K/V-cache e come ottenerlo, gli autori testano tre probe specifici partendo da un checkpoint $\lambda=0.01$ :

A1 (Adattamento): Scongelamento del trunk e continuazione del training con SIGReg applicato direttamente sia agli stati nascosti ( $h$ ) che alle proiezioni K/V ( $K_\ell, V_\ell$ ) attraverso tutti i layer.
A2 (Predizione Congelata): Addestramento di predittori per layer su un trunk congelato per vedere se la geometria K/V è recuperabile dagli stati nascosti da soli.
A3 (Decoding Congelato): Addestramento di decoder per ricostruire la K/V dallo stato nascosto finale del trunk congelato.
Controllo: Una "continuazione coordinata" in cui il trunk viene continuato per lo stesso budget di token ma senza il termine di regolarizzazione K/V ( $\lambda_{KV}=0$ ).

3. Fase 3: Valutazione della Quantizzazione

Gli autori valutano i modelli risultanti sotto quantizzazione fake post-hoc (quantizza $\to$ dequantizza) della K/V-cache.

Schemi Testati: Quantizzazione simmetrica group-free (per-token vs. per-channel), griglie asimmetriche (con zero-points) e configurazioni miste (stile KIVI: per-channel K, per-token V).
Metrica: $\Delta$ NLL (Negative Log-Likelihood) rispetto al proprio riferimento a piena precisione.

Risultati Chiave

1. Geometria degli Stati Nascosti

A $\lambda=0.01$ , SIGReg riduce l'anisotropia del coseno a coppia degli stati nascosti del 38% su tre seed accoppiati. La perplexity aumenta di meno dello 0.35%, e le capacità zero-shot (LAMBADA, HellaSwag, ecc.) rimangono pulite senza segni di degradazione consistente.

2. Geometria della K/V-cache e il Fallimento del "Retrofit"

Nessuna Propagazione Automatica: La riduzione dell'anisotropia negli stati nascosti non si propaga automaticamente alla K/V-cache. I probe con trunk congelato (A2 e A3) falliscono nel recuperare la geometria, indicando che l'anisotropia K/V non è semplicemente una funzione dello stato nascosto finale.
È Necessaria la Regolarizzazione Diretta: Solo A1 (continuazione del training con regolarizzazione K/V diretta) riesce a ridurre l'anisotropia della cache, ottenendo una riduzione del 94% dell'anisotropia media della cache.
Isolamento del Meccanismo: La continuazione coordinata senza il termine K/V ( $\lambda_{KV}=0$ ) fallisce nel riprodurre questo effetto, isolando il termine K/V come la causa necessaria.

3. Vantaggio della Quantizzazione

I benefici della geometria regolarizzata dipendono fortemente dallo schema di quantizzazione:

Scale Grossolane (Group-Free): Sotto la quantizzazione simmetrica group-free non trasformata, il modello adattato con A1 è l'unico caso che preferisce la scaling per-channel rispetto alla scaling per-token. Sotto quantizzazione per-channel simmetrica a 3-bit, il baseline subisce un danno di $\Delta$ NLL da 4.3 a 7.9 volte superiore rispetto al modello A1.
Scale Fine-Grained (Stile KIVI): Sotto una configurazione completa simulata in stile KIVI (disposizione mista, zero-points e scale raggruppate con $g=32$ ), il vantaggio svanisce. Tutti i modelli, incluso il baseline, raggiungono una prestazione quasi paritaria.
Overhead di Storage: Anche considerando l'overhead di metadati degli zero-points raggruppati (rendendo lo storage raggruppato a 3-bit paragonabile a quello group-free a 4-bit), il vantaggio del training-time scompare sotto la configurazione di scaling misto e raggruppamento locale del token.

Significato e Rivendicazioni

Il paper sostiene di essere il primo a valutare una regolarizzazione distributiva durante il training della geometria della K/V-cache standard contro la quantizzazione della cache post-hoc.

Controllo Geometrico: Gli autori dimostrano che la geometria della K/V-cache può essere controllata esplicitamente durante il training tramite regolarizzazione diretta, ma questo effetto non deriva dalla sola regolarizzazione degli stati nascosti e non può essere "retrofittato" tramite probe con trunk congelato.
Utilità Condizionale: L'intervento in fase di training fornisce un vantaggio tangibile solo quando le scale del quantizzatore sono grossolane (che coprono estensioni di token lunghe). Il vantaggio è specifico dell'interazione tra la geometria regolarizzata e lo schema di quantizzazione; non si generalizza alle moderne configurazioni fine-grained (come KIVI con zero-points e raggruppamento locale).
Interpretazione della Metrica: Il paper chiarisce che la metrica dell'anisotropia del coseno a coppie misura l'allineamento della direzione media (dominato dai mean condivisi) piuttosto che la bianchezza della covarianza. I risultati mostrano una dissociazione: mentre l'allineamento della media scende, le proprietà spettrali (come la top-1 share) si comportano diversamente per i layer K e V, suggerendo che il regolarizzatore agisce principalmente sulla media/direzioni rogue.

Limitazioni

Gli autori delimitano esplicitamente le loro rivendicazioni:

Regime: I risultati sono limitati a 110 milioni di parametri e al corpus FineWeb; modelli più grandi con diversi layout di cache (GQA/MQA) non sono stati testati.
Simulazione: La quantizzazione è simulata (fake quantization) senza misurazioni di tempo di esecuzione o memoria.
Ambito dei Probe: I risultati negativi per i probe congelati si basano su specifiche capacità e budget; un "punto medio" (ad esempio, adattamento su scala LoRA) rimane non testato.
Nessuna Rivendicazione di "Prima Isotropia": Gli autori non pretendono di essere i primi a regolarizzare per l'isotropia (citando CosReg, SimCTG, ecc.), ma sono i primi a mirare specificamente alla geometria della K/V-cache per la robustezza alla quantizzazione.