Technische Samenvatting: Kamera: Unified Position-Invariant Multimodal KV Cache voor Training-Free Hergebruik

1. Probleemstelling

Multimodale agenten (bijv. web-agenten, long-video analyzers, document traversers) onderzoeken frequent dezelfde visuele inhoud (frames, screenshots) terwijl hun contextvenster verschuift, redeneringen itereren of prompts veranderen. Huidige productie-cachingmechanismen (prefix caches, radix caches) behandelen de Key-Value (KV) opslag als een positie-geïndexeerde structuur. Gevolgdelijk, wanneer een gecachte chunk naar een nieuwe positie wordt verplaatst (door middel van sliding windows, herordening of recall na verdrijving), treden er cache-misses op. Het systeem moet de visuele inhoud opnieuw coderen en de KV-cache opnieuw prefillen vanaf nul, wat aanzienlijke computationele overhead veroorzaakt (bijv. het opnieuw draaien van de vision encoder en de LLM prefill).

Het artikel identificeert dat naïef KV-hergebruik fundamenteel niet verliesloos is. Hoewel single-hop readout (wat een query uit een chunk extraheert) exact wordt hersteld door standaard state-merge operaties, gaat de cross-chunk conditioning verloren. Wanneer een chunk $B$ wordt geprefilled na een antecedent $A$, absorberen de tokens van $B$ informatie van $A$ (het oplossen van coreferenties, het binden van entiteiten). Als $B$ alleen wordt gecached ($KV(B|\emptyset)$) en later wordt hergebruikt na een andere of verschoven $A$, verliest het model de specifieke binding die $B$ absorbeerde van de oorspronkelijke $A$. Dit tekort ($\Delta = KV(B|A) - KV(B|\emptyset)$) veroorzaakt een stille degradatie in multi-hop redeneernauwkeurigheid, terwijl single-hop recall intact blijft. Eerdere positie-onafhankelijke cachingmethoden (bijv. CacheBlend, EPIC) proberen dit op te lossen door een ijle set "belangrijke" tokens opnieuw te berekenen, maar het artikel stelt dat dit de verkeerde as aanpakt, aangezien het tekort diffuus is over tokens maar laag-dimensionaal (low-rank) in features.

2. Methodologie: De Kamera Operator

De voorgestelde oplossing, Kamera, ontkoppelt positie van conditioning, wat positie-invariant hergebruik mogelijk maakt zonder opnieuw te encoderen. De methode rust op twee componenten die voor elke chunk worden opgeslagen:

1. Canonical KV: De positievrije inhoud $KV(B|\emptyset)$ (keys en values zonder de specifieke antecedent conditioning).
2. Rank-$m$ Conditioning Patch: Een low-rank correctieterm $U_m V_m^\top$ die het tekort $\Delta$ vertegenwoordigt.

De hergebruik-operatie wordt gedefinieerd als:
$$\widehat{KV}(B|A) = R(\delta) \cdot KV(B|\emptyset) + U_m V_m^\top$$
Waar:

• Relocatie ($R(\delta)$): De keys worden opnieuw geroteerd door de Rotary Position Embedding (RoPE) faseverschuiving $\delta$ die overeenkomt met de nieuwe positie. Dit is een exacte algebraïsche operatie, geen forward pass.
• Patch Toepassing: De rank-$m$ patch wordt toegevoegd om de cross-chunk binding te herstellen. Deze patch wordt één keer tijdens compile-time (of bij de eerste hergebruik) berekend via een enkele conditioned forward pass over $[A, B]$, gevolgd door een Singular Value Decomposition (SVD) om de top-$m$ factoren te extraheren.

Unified Architectuur Ondersteuning:
De operator verenigt drie belangrijke attention-families:

• MHA (Multi-Head Attention): Standaard splitsing van content en RoPE.
• GQA (Grouped Query Attention): Verplaatst volledige keys via RoPE re-applicatie; patch zowel $K$ als $V$.
• MLA (Multi-Head Latent Attention): Verplaatst alleen de ontkoppelde $k_{rope}$ (64-dim) terwijl de latente $c_{KV}$ byte-voor-byte wordt hergebruikt; patch beide kanalen.

3. Belangrijkste Bijdragen

• Diagnose van het Tekort: Het artikel demonstreert dat het verlies in hergebruik een diffuus-in-tokens, laag-dimensionaal-in-features, en diepe-laag fenomeen is. Oracle token selectors vereisen $\approx 50\%$ van de tokens om het gat te herstellen, terwijl de energie van het tekort geconcentreerd is in $\approx 32$ feature-richtingen, voornamelijk in diepe lagen. Dit invalideert token-sparse herberekeningsstrategieën.
• Scheiding van Positie/Conditioning: Een training-free mechanisme dat een canonical chunk en een kleine rank-$m$ patch opslaat. Dit maakt exacte RoPE re-rotatie voor elke positie en patch-gebaseerde restauratie van antecedent binding mogelijk.
• Drie Goedkope Window Operaties:
  1. Reorder: Een enkele "orbit patch" (gemiddeld over permutaties) dient elke ordening van een gecachte set, wat reranked RAG of reshuffled frames mogelijk maakt met bijna nul kosten.
  2. Sliding-Window Survival: Wanneer het venster verschuift en oudere chunks worden verdreven, vereisen overlevende chunks alleen exacte re-rotatie ($R(\delta)$); er is geen patch nodig (bijna verliesloos) voor standaard GQA/MLA, hoewel deepstack architecturen een removal patch kunnen vereisen.
  3. Recall (Reversible Eviction): Verdreven chunks kunnen worden geherhydrateerd vanuit de canonical store met behulp van een verse patch geconditioneerd op hun vaste eerdere context, waardoor visuele her-encoding volledig wordt vermeden.
• Productie Implementatie: Geïmplementeerd als een training-free hook in de SGLang productie engine (FlashAttention-3 kernel), waarbij de KV-caches worden gereconstrueerd tot binnen bf16 rounding (residuele next-token KL $\approx 10^{-3}$).

4. Resultaten

• Nauwkeurigheid Herstel: Op cross-chunk binding benchmarks (MM-NIAH, MileBench, two-page document QA), halveert blind KV-hergebruik de multi-hop nauwkeurigheid (bijv. $0.59 \to 0.41$ op Qwen2.5-VL). Een rank-16/32 patch herstelt de nauwkeurigheid naar de re-prefill ceiling ($0.64$, $0.72$), waarmee het de token-recompute baselines (CacheBlend, VLCache) verslaat die slechts $20\text{--}40\%$ van het gat herstellen.
• Efficiëntie:
  • Geheugen: Een rank-64 patch kost $\approx 25\%$ van de segment KV-bytes; rank-16 kost $\approx 6\%$.
  • Latentie: Vervangt de per-reuse LLM prefill door een forward-vrije patch applicatie, wat de Time-To-First-Token (TTFT) met wel 29$\times$ verbetert voor lange video segmenten vergeleken met volledige her-encoding.
  • Amortisatie: De eenmalige kosten voor het vormen van de patch worden geamortiseerd na $\approx 9$ hergebruiken tegenover een baseline die elke keer opnieuw prefilled.
• Robuustheid: De methode bereikt volledige multi-hop nauwkeurigheid over diverse backbones (Qwen2.5-VL, Qwen3-VL, Kimi-VL, DeepSeek-VL) en attention-families (GQA, MLA, MHA).

5. Betekenis en Claims

Het artikel claimt dat herberekenen vermijdbaar is voor multimodale agenten. Door te identificeren dat het hergebruik-tekort een laag-dimensionaal, diepliggend conditioning signaal is in plaats van een token-sparse fout, biedt Kamera een verenigde, training-free operator die de KV-cache een content-geadresseerde, positie-invariante structuur maakt in plaats van een positie-geïndexeerde array.

De betekenis ligt in het transformeren van contextbeheer:

• Reversible Eviction: Agenten kunnen inhoud agressief verdrijven met de wetenschap dat deze goedkoop kan worden geherhydrateerd zonder visuele her-encoding.
• Scheduling Freedom: Omdat herordening gratis is over een orbit, wordt de plaatsing van chunks een scheduling variabele in plaats van een gevolg van aankomstvolgorde.
• Cost Shift: De kosten verschuiven van dure, herhaalde compute (vision encoder + prefill) naar geheugenbandbreedte (opslag van kleine patches), wat aansluit bij de memory-bound natuur van moderne decode fases.

De auteurs merken op dat het effect het meest impactvol is in redundante visuele en video stromen waar agenten hun herberekeningsbudget besteden, terwijl dense tekst (waar prefix caching al volstaat) dergelijk een tekort niet vertoont. Het werk vestigt dat context buiten het venster niet noodzakelijkerwijs context die opnieuw berekend moet worden is, noch dat het model hertraind hoeft te worden om het te dienen.