Riepilogo Tecnico: Kamera: Unified Position-Invariant Multimodal KV Cache per il Riutilizzo Training-Free

1. Definizione del Problema

Gli agenti multimodali (ad es., agenti web, analizzatori di video lunghi, trasversali di documenti) esaminano frequentemente lo stesso contenuto visivo (frame, screenshot) mentre la loro finestra di contesto scorre, il ragionamento itera o i prompt cambiano. Gli attuali meccanismi di caching in produzione (prefix cache, radix cache) trattano il deposito Key-Value (KV) come una struttura indicizzata per posizione. Di conseguenza, quando un chunk memorizzato viene spostato in una nuova posizione (a causa di finestre scorrevoli, riordinamento o richiamo dopo l'evizione), si verificano dei miss nel cache. Il sistema deve ri-codificare il contenuto visivo e ri-eseguire il prefill della KV cache da zero, incorrendo in un significativo overhead computazionale (ad es., rieseguire l'encoder visivo e il prefill dell'LLM).

Il paper identifica che il riutilizzo ingenuo della KV non è fondamentalmente privo di perdite. Mentre il readout a singolo hop (ciò che una query estrae da un chunk) viene recuperato esattamente tramite operazioni standard di fusione dello stato, il condizionamento cross-chunk viene perso. Quando un chunk $B$ viene pre-riempito dopo un antecedente $A$, i suoi token assorbono informazioni da $A$ (risolvendo coreferenze, legando entità). Se $B$ viene memorizzato in cache da solo ($KV(B|\emptyset)$) e successivamente riutilizzato dopo un $A$ diverso o spostato, il modello perde il legame specifico che $B$ aveva assorbito dall'originale $A$. Questo deficit ($\Delta = KV(B|A) - KV(B|\emptyset)$) causa un degrado silenzioso nell'accuratezza del ragionamento multi-hop, pur lasciando intatto il recupero single-hop. I metodi di caching precedenti, indipendenti dalla posizione (ad es., CacheBlend, EPIC), tentano di risolvere il problema ricalcolando un set sparso di token "importanti", ma il paper sostiene che ciò miri all'asse sbagliato, poiché il deficit è diffuso tra i token ma a basso rango nelle feature.

2. Metodologia: L'Operatore Kamera

La soluzione proposta, Kamera, scinde la posizione dal condizionamento, consentendo un riutilizzo invariante rispetto alla posizione senza ri-codifica. Il metodo si basa su due componenti memorizzate per ogni chunk:

1. Canonical KV: Il contenuto privo di posizione $KV(B|\emptyset)$ (chiavi e valori senza il condizionamento specifico dell'antecedente).
2. Rank-$m$ Conditioning Patch: Un termine di correzione a basso rango $U_m V_m^\top$ che rappresenta il deficit $\Delta$.

L'operazione di riutilizzo è definita come:
$$\widehat{KV}(B|A) = R(\delta) \cdot KV(B|\emptyset) + U_m V_m^\top$$
Dove:

• Relocazione ($R(\delta)$): Le chiavi sono ruotate nuovamente tramite lo shift di fase della Rotary Position Embedding (RoPE) $\delta$ corrispondente alla nuova posizione. Questa è un'operazione algebrica esatta, non un passaggio forward.
• Applicazione della Patch: La patch di rango-$m$ viene aggiunta per ripristinare il legame cross-chunk. Questa patch viene calcolata una sola volta al tempo di compilazione (o al primo riutilizzo) tramite un singolo passaggio forward condizionato su $[A, B]$, seguito da una Decomposizione ai Valori Singolari (SVD) per estrarre i fattori top-$m$.

Supporto per Architetture Unificate:
L'operatore unifica tre grandi famiglie di attenzione:

• MHA (Multi-Head Attention): Split standard di contenuto e RoPE.
• GQA (Grouped Query Attention): Reloca le chiavi complete tramite ri-applicazione di RoPE; applica le patch sia a $K$ che a $V$.
• MLA (Multi-Head Latent Attention): Reloca solo il $k_{rope}$ disaccoppiato (64-dim) mentre riutilizza il $c_{KV}$ byte-per-byte; applica patch a entrambi i canali.

3. Contributi Chiave

• Diagnosi del Deficit: Il paper dimostra che la perdita nel riutilizzo è un fenomeno diffuso nei token, a basso rango nelle feature e profondo nei layer. I selettori di token oracle richiedono circa il $50\%$ dei token per recuperare il gap, mentre l'energia del deficit è concentrata in circa 32 direzioni delle feature, principalmente nei layer profondi. Ciò invalida le strategie di ricalcolo sparse per i token.
• Separazione Posizione/Condizionamento: Un meccanismo training-free che memorizza un chunk canonico e una piccola patch di rango-$m$. Ciò consente l'esatta ri-rotazione RoPE per qualsiasi posizione e l'applicazione di patch per il ripristino del legame con l'antecedente.
• Tre Operazioni di Finestra Economiche:
  1. Reorder: Una singola "orbit patch" (mediata sulle permutazioni) serve ogni ordinamento di un set in cache, consentendo il reranking RAG o frame rimescolati con un costo quasi nullo.
  2. Sliding-Window Survival: Quando la finestra scorre ed i chunk più vecchi vengono evitti, i chunk sopravvissuti richiedono solo la ri-rotazione esatta ($R(\delta)$); nessuna patch è necessaria (quasi lossless) per le standard GQA/MLA, sebbene le architetture deepstack possano richiedere una patch di rimozione.
  3. Recall (Evizione Reversibile): I chunk evitti possono essere riidratati dal deposito canonico utilizzando una nuova patch condizionata sul loro precedente contesto fisso, evitando interamente la ri-codifica visiva.
• Deployment in Produzione: Implementato come hook training-free nel motore di produzione SGLang (kernel FlashAttention-3), ricostruendo le KV cache entro il arrotondamento bf16 (residuo KL next-token $\approx 10^{-3}$).

4. Risultati

• Recupero dell'Accuratezza: Nei benchmark di legame cross-chunk (MM-NIAH, MileBench, QA su documenti di due pagine), il riutilizzo cieco della KV dimezza l'accuratezza multi-hop (ad es., $0.59 \to 0.41$ su Qwen2.5-VL). Una patch di rango-16/32 ripristina l'accuratezza al ceiling del re-prefill ($0.64, 0.72$), superando i baseline di ricalcolo dei token (CacheBlend, VLCache) che recuperano solo il $20\text{--}40\%$ del gap.
• Efficienza:
  • Memoria: Una patch di rango-64 costa circa il $25\%$ dei byte KV del segmento; una patch di rango-16 costa circa il $6\%$.
  • Latenza: Sostituisce il prefill dell'LLM per ogni riutilizzo con l'applicazione di una patch senza passaggio forward, migliorando il Time-To-First-Token (TTFT) fino a 29$\times$ per segmenti video lunghi rispetto alla ri-codifica completa.
  • Ammortamento: Il costo una tantum per la formazione della patch viene ammortizzato dopo circa 9 riusi rispetto a un baseline che effettua il re-prefill ogni volta.
• Robustezza: Il metodo raggiunge la piena accuratezza multi-hop attraverso diversi backbone (Qwen2.5-VL, Qwen3-VL, Kimi-VL, DeepSeek-VL) e famiglie di attenzione (GQA, MLA, MHA).

5. Significato e Rivendicazioni

Il paper sostiene che il ricalcolo è evitabile per gli agenti multimodali. Identificando che il deficit di riutilizzo è un segnale di condizionamento a basso rango e nei layer profondi piuttosto che un errore sparso nei token, Kamera fornisce un operatore unificato e training-free che rende la KV cache una struttura indirizzabile per contenuto e invariante rispetto alla posizione, anziché un array indicizzato per posizione.

La significanza risiede nella trasformazione della gestione del contesto:

• Evizione Reversibile: Gli agenti possono evincere aggressivamente il contenuto sapendo che può essere riidratato a basso costo senza ri-codifica visiva.
• Libertà di Scheduling: Poiché il reorder è gratuito su un'orbita, il posizionamento dei chunk diventa una variabile di scheduling piuttosto che una conseguenza dell'ordine di arrivo.
• Spostamento dei Costi: Il costo passa dal costoso calcolo ripetuto (vision encoder + prefill) alla larghezza di banda della memoria (memorizzazione di piccole patch), allineandosi alla natura limitata dalla memoria delle moderne fasi di decode.

Gli autori notano che l'effetto è più impattante nei flussi visivi e video ridondanti dove gli agenti consumano il loro budget di ricalcolo, mentre il testo denso (dove il prefix caching è già sufficiente) non mostra tale gap. Il lavoro stabilisce che il contesto oltre la finestra non deve essere necessariamente un contesto ricalcolato, né richiede che il modello venga riaddestrato per servirlo.