Knowledge Packs: Zero-Token Knowledge Delivery via KV Cache Injection

Titolo: Knowledge Packs: Consegna di Conoscenza a Costo Zero di Token tramite Iniezione di KV Cache

1. Il Problema: L'Inefficienza dei Token nel RAG

L'approccio standard di Retrieval-Augmented Generation (RAG) risolve il problema della conoscenza inserendo testi recuperati direttamente nel prompt dell'utente. Sebbene una singola ricerca sia economica, gli agenti che eseguono ricerche multiple (workflow agenziali) subiscono un "tasso lineare" sui costi dei token. Ad esempio, 5 ricerche possono consumare oltre 700 token solo per i fatti, erodendo rapidamente il budget del contesto.
Il paper identifica inoltre un problema metodologico nelle ricerche precedenti: molte affermazioni secondo cui l'iniezione di KV cache supera il RAG sono probabilmente dovute a errori di formattazione del "chat template" (modello di dialogo), che causano degradazioni significative delle prestazioni se non gestiti correttamente.

2. Metodologia: Knowledge Packs e Iniezione KV

L'autore propone i Knowledge Packs: cache KV (Key-Value) pre-calcolate offline che consegnano conoscenza al modello senza consumare token di input durante l'inferenza.

• Equivalenza KV-Prefix: In un transformer decoder-only con mascheramento causale, la cache KV generata da un passaggio in avanti su un testo di fatti $F$ è bit-identica a quella che si otterrebbe da un passaggio congiunto su $F$ seguito dalla query $q$. Questo deriva direttamente dalla maschera causale: i token $x_i$ guardano solo ai $j \le i$.
• Fase di Scrittura (Offline):
  1. I fatti vengono formattati utilizzando il chat template specifico del modello (es. tag <|system|> per Qwen o <|start_header_id|> per Llama).
  2. Viene eseguita una forward pass per generare la cache KV ($K^{(l)}, V^{(l)}$) per ogni layer.
  3. La cache viene salvata.
• Fase di Lettura (Inferenza):
  1. Per una nuova query $q$, il modello viene inizializzato con la cache KV pre-calcolata.
  2. La query viene generata come messaggio utente, ignorando la necessità di re-inserire i fatti nel prompt.
  3. Il costo in token è $O(1)$ (solo la query), invece di $O(n)$ (fatti + query).

Requisito Critico: Il testo dei fatti deve essere avvolto nel chat template corretto prima del calcolo della cache. L'uso di testo "raw" (senza token speciali) causa una degradazione delle prestazioni del 6-7% perché sposta il modello fuori distribuzione (OOD).

3. Contributi Chiave

1. Prova di Equivalenza e Verifica Empirica:

   • Dimostrazione teorica e verifica su 700 domande (HotpotQA) con modelli Qwen3-8B e Llama-3.1-8B.
   • Risultato: Zero divergenze tra l'output generato con KV injection e quello con RAG testuale (output byte-identici), a condizione che il chat template sia corretto.
   • Identificazione del "pitfall" del template: l'uso di template errati spiega le discrepanze nelle opere precedenti.

2. Risparmio di Token e Scalabilità:

   • Risparmio fino al 95% dei token in scenari di accumulo multi-step (es. 5 ricerche).
   • Scalabilità a 5.000+ fatti tramite Banked Routing: i fatti sono raggruppati in "banche" tramite clustering (k-means) su embedding BGE. A runtime, si seleziona la banca più vicina e si ricalcola la KV solo per il fatto top (latenza ~5ms).
   • Storage: <1 KB per fatto.

3. Composizione di Cache KV:

   • È possibile comporre cache indipendenti se processate in sequenza (usando la cache A come prefisso per generare B), preservando la corretta posizione RoPE. La semplice concatenazione fallisce perché resetta le posizioni a zero.

4. Steering Comportamentale nello Spazio dei Valori (Value Steering):

   • Sfruttando l'asimmetria RoPE (che ruota le Chiavi ma non i Valori), è possibile applicare delta contrastivi solo sui valori ($V$) per guidare lo stile del modello senza toccare le chiavi (che distruggerebbero la coerenza).
   • Lo steering si localizza nei layer intermedi (33-66%).
   • Le direzioni di steering (es. "codice difensivo" vs "documentazione") sono quasi ortogonali e possono essere composte senza interferenza.

5. Architettura Dual-Channel:

   • Possibilità di eseguire simultaneamente la consegna di conoscenza (KV completa) e lo steering comportamentale (delta V sui layer intermedi) con $\alpha \le 0.7$, senza degradare l'accuratezza fattuale.

4. Risultati Sperimentali

• HotpotQA (Qwen3-8B e Llama-3.1-8B):
  • KV-chat vs RAG: Accuratezza identica (es. 65.2% su Qwen).
  • KV-raw (senza template): Crollo del 6.0% su Qwen e 5.5% su Llama.
  • Risparmio Token: A 5 step di ricerca, RAG usa ~739 token, KV usa ~35 token (risparmio del 95%).
• Steering del Valore:
  • Applicando delta V su layer intermedi, è possibile migliorare la qualità del codice difensivo (score da 0.60 a 1.93 su Qwen) mantenendo il 100% di coerenza sintattica.
  • L'effetto è nullo se applicato ai layer tardivi.
• Dual-Channel:
  • A $\alpha = 0.7$, si ottiene la massima accuratezza fattuale (73%) combinata con un aumento misurabile della formalità e della lunghezza della risposta, senza compromessi.

5. Significato e Implicazioni

• Ottimizzazione Lossless: I Knowledge Packs offrono un'alternativa al RAG che è matematicamente equivalente in termini di output ma drasticamente più efficiente in termini di costi e latenza.
• Correzione di Errori Precedenti: Il paper chiarisce che i presunti vantaggi della KV cache rispetto al RAG in studi precedenti erano spesso artefatti dovuti a una formattazione errata del prompt (mancanza di token speciali del sistema).
• Nuovo Vettore di Controllo: La possibilità di manipolare lo stato interno del modello (KV cache) per lo steering comportamentale apre nuove strade per il controllo dell'IA senza riaddestramento o modifica dei pesi.
• Limitazioni:
  • Le cache KV sono legate all'architettura specifica del modello (non trasferibili tra Qwen e Llama).
  • Lo steering tramite valori raggiunge circa la metà dell'efficacia rispetto all'inserimento di testo nel prompt.
  • La scalabilità è stata testata su fatti sintetici; basi di conoscenza reali potrebbero essere più difficili da instradare.

In sintesi, il paper dimostra che l'iniezione di KV cache, se eseguita con la corretta formattazione del template, è la soluzione ottimale per la consegna di conoscenza in contesti a lungo termine, offrendo al contempo un nuovo meccanismo per il controllo fine del comportamento del modello.