Resumo Técnico: Kamera: KV Cache Multimodal Unificado e Invariante à Posição para Reuso sem Treinamento

1. Definição do Problema

Agentes multimodais (ex: agentes web, analisadores de vídeos longos, navegadores de documentos) frequentemente reexaminam o mesmo conteúdo visual (frames, capturas de tela) conforme sua janela de contexto desliza, o raciocínio itera ou os prompts mudam. Os mecanismos de cache atuais de produção (prefix caches, radix caches) tratam o armazenamento de Key-Value (KV) como uma estrutura indexada por posição. Consequentemente, quando um bloco (chunk) em cache é movido para uma nova posição (devido a janelas deslizantes, reordenação ou recuperação após expulsão), ocorrem falhas de cache (cache misses). O sistema deve reencodificar o conteúdo visual e realizar o preenchimento (prefill) do KV cache do zero, incorrendo em um overhead computacional significativo (ex: executar novamente o codificador de visão e o prefill do LLM).

O artigo identifica que o reuso de KV ingênuo não é fundamentalmente sem perdas. Embora a leitura de um único salto (o que uma query extrai de um bloco) seja recuperada exatamente por operações padrão de fusão de estado, a condicionamento entre blocos (cross-chunk conditioning) é perdido. Quando um bloco $B$ é preenchido após um antecedente $A$, seus tokens absorvem informações de $A$ (resolvendo correferências, vinculando entidades). Se $B$ for armazenado em cache sozinho ($KV(B|\emptyset)$) e posteriormente reutilizado após um $A$ diferente ou deslocado, o modelo perde o vínculo específico que $B$ absorveu do $A$ original. Esse déficit ($\Delta = KV(B|A) - KV(B|\emptyset)$) causa uma degradação silenciosa na precisão do raciocínio de múltiplos saltos (multi-hop), enquanto mantém a recuperação de um único salto intacta. Métodos anteriores de cache independentes de posição (ex: CacheBlend, EPIC) tentam corrigir isso recomputando um conjunto esparso de tokens "importantes", mas o artigo argumenta que isso foca no eixo errado, pois o déficit é difuso entre os tokens, mas de baixo posto (low-rank) nas características.

2. Metodologia: O Operador Kamera

A solução proposta, Kamera, desacopla a posição do condicionamento, permitindo o reuso invariante à posição sem reencodificação. O método baseia-se em dois componentes armazenados para cada bloco:

1. KV Canônico: O conteúdo livre de posição $KV(B|\emptyset)$ (chaves e valores sem o condicionamento específico do antecedente).
2. Patch de Condicionamento de Posto-$m$: Um termo de correção de baixo posto $U_m V_m^\top$ que representa o déficit $\Delta$.

A operação de reuso é definida como:
$$\widehat{KV}(B|A) = R(\delta) \cdot KV(B|\emptyset) + U_m V_m^\top$$
Onde:

• Relocação ($R(\delta)$): As chaves são rotacionadas novamente pela fase de deslocamento da Embeddings de Posição Rotativa (RoPE) $\delta$ correspondente à nova posição. Esta é uma operação algébrica exata, não uma passagem direta (forward pass).
• Aplicação de Patch: O patch de posto-$m$ é adicionado para restaurar o vínculo entre blocos. Este patch é computado uma única vez no tempo de compilação (ou na primeira reutilização) através de uma única passagem direta condicionada sobre $[A, B]$, seguida por uma Decomposição de Valor Singular (SVD) para extrair os top-$m$ fatores.

Suporte a Arquitetura Unificada:
O operador unifica três grandes famílias de atenção:

• MHA (Multi-Head Attention): Divisão padrão de conteúdo e RoPE.
• GQA (Grouped Query Attention): Reloca as chaves completas via reaplicação de RoPE; aplica patches tanto em $K$ quanto em $V$.
• MLA (Multi-Head Latent Attention): Reloca apenas o $k_{rope}$ desacoplado (64-dim) enquanto reutiliza o $c_{KV}$ byte a byte; aplica patches em ambos os canais.

3. Principais Contribuições

• Diagnóstico do Déficit: O artigo demonstra que a perda no reuso é um fenômeno difuso nos tokens, de baixo posto nas características e em camadas profundas. Seletores de tokens ótimos (oracle) exigem $\approx 50\%$ dos tokens para recuperar a lacuna, enquanto a energia do déficit está concentrada em $\approx 32$ direções de características, principalmente em camadas profundas. Isso invalida estratégias de recomputação esparsa de tokens.
• Separação de Posição/Condicionamento: Um mecanismo sem treinamento que armazena um bloco canônico e um pequeno patch de baixo posto. Isso permite a re-rotação exata de RoPE para qualquer posição e a restauração do vínculo do antecedente via patch.
• Três Operações de Janela Baratas:
  1. Reordenação: Um único "patch de órbita" (calculado pela média sobre permutações) serve a qualquer ordenação de um conjunto em cache, permitindo reclassificação de RAG ou quadros reordenados com custo quase nulo.
  2. Sobrevivência de Janela Deslizante: Quando a janela desliza e blocos antigos são expulsos, os blocos sobreviventes requerem apenas a re-rotação exata ($R(\delta)$); nenhum patch é necessário (quase sem perdas) para GQA/MLA padrão, embora arquiteturas de empilhamento profundo (deepstack) possam exigir um patch de remoção.
  3. Recuperação (Expulsão Reversível): Blocos expulsos podem ser reidratados a partir do armazenamento canônico usando um novo patch condicionado ao seu contexto anterior fixo, evitando totalmente a reencodificação de visão.
• Implantação em Produção: Implementado como um hook sem treinamento no motor de produção SGLang (kernel FlashAttention-3), reconstruindo os caches KV para dentro da margem de arredondamento bf16 (resíduo de KL próximo ao próximo token $\approx 10^{-3}$).

4. Resultados

• Recuperação de Precisão: Em benchmarks de vínculo entre blocos (MM-NIAH, MileBench, QA de documentos de duas páginas), o reuso cego de KV reduz a precisão de múltiplos saltos pela metade (ex: $0.59 \to 0.41$ no Qwen2.5-VL). Um patch de posto-16/32 restaura a precisão para o teto de re-prefill ($0.64, 0.72$), superando as linhas de base de recomputação de tokens (CacheBlend, VLCache) que recuperam apenas $20\text{--}40\%$ da lacuna.
• Eficiência:
  • Memória: Um patch de posto-64 custa $\approx 25\%$ dos bytes de KV do segmento; um posto-16 custa $\approx 6\%$.
  • Latência: Substitui o prefill de LLM por aplicação de patch sem forward pass, melhorando o Tempo para o Primeiro Token (TTFT) em até 29$\times$ para segmentos de vídeo longos em comparação com a reencodificação total.
  • Amortização: O custo único de formar o patch é amortizado após $\approx 9$ reusos contra uma linha de base que realiza o re-prefill a cada vez.
• Robustez: O método alcança precisão total de múltiplos saltos através de diversos backbones (Qwen2.5-VL, Qwen3-VL, Kimi-VL, DeepSeek-VL) e famílias de atenção (GQA, MLA, MHA).

5. Significância e Alegações

O artigo afirma que a recomputação é evitável para agentes multimodais. Ao identificar que o déficit de reuso é um sinal de condicionamento de baixo posto e camadas profundas, em vez de um erro esparso de tokens, o Kamera fornece um operador unificado e sem treinamento que torna o cache KV uma estrutura endereçável por conteúdo e invariante à posição, em vez de um array indexado por posição.

A significância reside na transformação do gerenciamento de contexto:

• Expulsão Reversível: Agentes podem expulsar conteúdo agressivamente sabendo que ele pode ser rehidratado de forma barata sem reencodificação de visão.
• Liberdade de Escalonamento: Como a reordenação é gratuita sobre uma órbita, o posicionamento do bloco torna-se uma variável de escalonamento em vez de uma consequência da ordem de chegada.
• Mudança de Custo: O custo muda do computacional caro e repetido (codificador de visão + prefill) para a largura de banda de memória (armazenamento de pequenos patches), alinhando-se com a natureza limitada por memória das fases de decodificação modernas.

Os autores observam que o efeito é mais impactante em fluxos de visão e vídeo redundantes, onde os agentes gastam seu orçamento de recomputação, enquanto textos densos (onde o prefix caching já é suficiente) não apresentam tal lacuna. O trabalho estabelece que o contexto além da janela não precisa ser um contexto recomputado, nem o modelo precisa ser retreinado para servi-lo.