Riepilogo Tecnico: Irminsul: Caching Indipendente dalla Posizione Nativo per MLA per il Serving di LLM Agentici

1. Enunciato del Problema

Il serving attuale degli LLM in produzione si basa pesantemente sulla caching dei prefissi (ad esempio, RadixAttention di SGLang, PagedAttention di vLLM), che memorizza gli stati Chiave-Valore (KV) basandosi su prefissi esatti di sequenze di token. Sebbene efficace per il turno conversazionale standard, questo meccanismo fallisce catastroficamente nei carichi di lavoro agentici.

Nei sistemi agentici (ad esempio, uso di strumenti, generazione aumentata dal recupero, orchestrazione multi-agente), i prompt sono assemblati dinamicamente da istruzioni di sistema statiche, documenti recuperati e output degli strumenti. Anche se il contenuto di un documento o di uno schema di strumento rimane identico tra i turni, la sua posizione all'interno del prompt si sposta a causa di:

• Inserimento dinamico di documenti recuperati.
• Riordinamento degli output degli strumenti.
• Prompt di sistema o intestazioni di metadati di lunghezza variabile.

Poiché le cache dei prefissi standard richiedono un allineamento byte-per-byte identico dalla posizione 0, un singolo spostamento di byte nella struttura del prompt invalida l'intera cache per i token a valle. Gli operatori riportano regressioni gravi, inclusi tassi di hit della cache che scendono dal 100% al 35% e picchi di Time-To-First-Token (TTFT) di 10–16 secondi su contenuti invariati.

I sistemi precedenti di Caching Indipendente dalla Posizione (PIC) (ad esempio, CacheBlend, EPIC) tentano di risolvere questo problema per le architetture a Gruppo di Query Attention (GQA) correggendo l'intero tensore Chiave a $d_K$-dimensioni tramite rotazione inversa. Tuttavia, ciò comporta un costo architetturale significativo: la correzione deve essere applicata all'intera riga KV per token, rendendola computazionalmente costosa e spesso annullando i benefici della caching.

2. Metodologia: L'Approccio Irminsul

Irminsul propone un sistema di caching indirizzato al contenuto specificamente progettato per le architetture a Multi-Head Latent Attention (MLA) (utilizzate in DeepSeek-V2/V3/R1, Kimi-K2, GLM-5, Mistral Large 3).

2.1 Insight Strutturale: Decomposizione MLA

Il principale abilitatore per Irminsul è la decomposizione strutturale della coppia KV nei modelli MLA. A differenza della GQA, dove la posizione è fusa in modo inseparabile nell'intero tensore Chiave, la MLA fattorizza la KV di ogni token in:

1. $cKV$ (Latente di Contenuto): Un vettore latente privo di posizione di 512 dimensioni. Questo componente è riutilizzabile verbatim in qualsiasi posizione assoluta.
2. $k_r$ (Chiave Rotatoria): Un vettore piccolo di 64 dimensioni che trasporta le informazioni posizionali (RoPE).

Irminsul sfrutta il fatto che $cKV$ costituisce circa l'89% della riga KV e richiede zero correzione quando riutilizzato. Solo la fetta $k_r$ (~11%) richiede un aggiustamento, che può essere corretto in forma chiusa tramite una singola rotazione $\delta$ (dove $\delta$ è lo spostamento posizionale).

2.2 Design del Sistema

Irminsul estende la cache radix di SGLang con i seguenti meccanismi:

• Chiavatura tramite Hash del Contenuto con CDC: Invece di hashare blocchi fissi, Irminsul utilizza il Content-Defined Chunking (CDC) basato su un hash Gear rolling su finestre di 64 token. I chunk vengono emessi quando l'hash scende sotto una soglia, garantendo che i confini dei chunk siano allineati al contenuto e non a offset byte arbitrari. Ogni chunk viene identificato tramite impronta digitale utilizzando xxHash64.
• Ricerca nel Registro: Il registro della cache mappa gli hash del contenuto alle coppie memorizzate $(cKV, k_r, base\_pos)$.
• Regola di Rotazione $\delta$: In caso di hit nella cache, il sistema calcola lo spostamento posizionale $\delta = p_{target} - p_{source}$. Recupera la $cKV$ memorizzata e applica una matrice di rotazione $R(\delta)$ alla $k_r$ memorizzata per generare la chiave posizionale corretta per la nuova posizione. Questa operazione è fusa nel kernel FlashMLA, sostenendo una latenza trascurabile.
• Estrazione del Primo Chunk: Per gestire il fenomeno dell'"attention sink" (dove il modello presta molta attenzione all'inizio della sequenza), Irminsul pre-compila i primi 32 token di qualsiasi chunk tramite prefill standard se il chunk inizia alla posizione assoluta 0. Questo evita la necessità di ricalcolare i confini sui chunk successivi, poiché il sink è locale all'inizio della sequenza, non all'inizio del chunk.
• Strategie Ibride (S1/S2):
  • S2 (Prevenire tramite Cooperazione): In ambienti controllati, l'assemblatore del prompt inserisce un marcatore di confine di 64 token attorno alle regioni condivise per forzare confini CDC deterministici.
  • S1 (Rilevare e Recuperare): Per il traffico non controllato, un meccanismo di fallback suddivide i miss CDC in finestre fisse di 128 token per recuperare un riutilizzo parziale.

3. Contributi Chiave

1. Sistema Irminsul: Il primo sistema PIC nativo per MLA. Raggiunge una rotazione $\delta$ ad alta precisione con un errore L2 relativo di $4.7 \times 10^{-3}$ in bf16, che è un ordine di grandezza più stretto della quantizzazione KV FP8 standard.
2. Dimostrazione di Fattibilità (Analisi ROC): Il documento fornisce uno studio ROC senza soglia che dimostra come il componente $cKV$ della MLA sia altamente invariante rispetto alla posizione (AUC $\approx$ 0.77), mentre i vettori K grezzi nella GQA/MHA sono intrecciati con la posizione (AUC < 0.5). Ciò valida che il riutilizzo indirizzato al contenuto è strutturalmente solido per la MLA ma non per le architetture softmax pure senza correzione.
3. Studio sull'Efficienza Energetica: Un'analisi cross-architettura che mostra come, mentre l'attenzione basata su softmax (GQA, MLA, MHA) risparmi il 63–86% di energia di prefill per ogni hit nella cache, le architetture ibride SSM/lineari (Mamba2, GDN, KDA) ne risparmino ~0% perché il loro stato ricorrente non è indicizzato per token, rendendo gli "hit nella cache" indefiniti a livello ricorrente.
4. Metriche di Recupero: Valutazione su tre deployment nativi MLA-MoE (DeepSeek-V2-Lite, Kimi Moonlight-16B, JoyAI-Flash) che mostra come Irminsul recuperi fino a ~83% dei token del prompt oltre il matching esatto dei prefissi sul traffico agenziale, rispetto a un recupero vicino allo zero per le cache dei prefissi standard su contenuti spostati.

4. Risultati

• Recupero della Cache: Sul traffico agenziale con "variazione precoce" (ad esempio, intestazioni di metadati dell'agente spostate), Irminsul recupera il 77.2% (DeepSeek-V2-Lite) e l'82.7% (JoyAI-48B) dei token che verrebbero altrimenti ricalcolati. La caching dei prefissi standard cattura solo ~1.5% in questi scenari.
• Risparmio Energetico: Per ogni hit nella cache, Irminsul garantisce un risparmio energetico del 63% nel prefill sui modelli MLA (rispetto all'86% sulla GQA). Ciò conferma che il beneficio principale del PIC si realizza nelle architetture basate su softmax.
• Coerenza dell'Output: Su quattro dataset (QA, GovReport, NIAH) e tre modelli, le traiettorie greedy di Irminsul corrispondono o superano il riutilizzo ingenuo. Sul compito "Needle In A Haystack" (NIAH) con JoyAI-48B, il PIC corrisponde esattamente al richiamo del prefill completo (0.820) riducendo al contempo la divergenza KL del 22% rispetto al riutilizzo ingenuo.
• Latenza: Il sistema opera entro i budget di latenza di produzione. La rotazione $\delta$ è fusa nel percorso di caricamento da HBM a SRAM, evitando un uso aggiuntivo della larghezza di banda HBM.

5. Significato e Affermazioni

Il documento sostiene che il caching indirizzato al contenuto dovrebbe essere una primitiva di primo piano nello stack di serving degli LLM, piuttosto che un adattamento sopra il matching dei prefissi.

• Strutturale vs Algoritmico: Il documento ipotizza che l'incapacità dei sistemi PIC precedenti di risolvere completamente il problema per la GQA sia un limite strutturale (fusione della posizione nell'intero tensore Chiave), non solo una carenza ingegneristica. La fattorizzazione della posizione ($k_r$) dal contenuto ($cKV$) da parte della MLA è la chiave che rende possibile un PIC efficiente e a basso sovraccarico.
• Carichi di Lavoro Agentici: Man mano che i sistemi agenziali diventano dominanti, la "ricalificazione dei token" del contesto condiviso (documenti, schemi) rappresenta un'enorme inefficienza. Irminsul riformula questa ridondanza non come un problema di calcolo, ma come un problema di memoria, permettendo allo stack di serving di fatturare il riutilizzo della memoria piuttosto che il ricalcolo.
• Ambito: Gli autori limitano esplicitamente le loro affermazioni di sicurezza alle architetture MLA (in particolare alla forma absorbed-matmul utilizzata in produzione). Notano che, sebbene la GQA possa teoricamente supportare il PIC, il costo di correzione è elevato. Notano inoltre che i modelli ibridi SSM (come Mamba2) non beneficiano del PIC a causa della loro struttura dello stato ricorrente.
• Lavori Futuri: Il documento riconosce che l'"Attention Fortemente Compressa" (HCA) di DeepSeek-V4 aggrega i token, il che dissolve l'identità per-token richiesta per il chunking di Irminsul. L'adattamento della primitiva di chunking al programma di aggregazione dell'HCA è identificato come il prossimo passo immediato.

In sintesi, Irminsul dimostra che sfruttando le proprietà algebriche specifiche della MLA, è possibile memorizzare in cache il contenuto indipendentemente dalla sua posizione nel prompt, recuperando significativi costi di calcolo ed energia nel serving di LLM agenziali senza compromettere la qualità dell'output.