Resumen Técnico: Kamera: KV Cache Multimodal Unificado e Invariante a la Posición para el Reuso sin Entrenamiento

1. Planteamiento del Problema

Los agentes multimodales (por ejemplo, agentes web, analizadores de videos largos, navegadores de documentos) examinan frecuentemente el mismo contenido visual (fotogramas, capturas de pantalla) a medida que su ventana de contexto se desplaza, el razonamiento itera o los prompts cambian. Los mecanismos de caché de producción actuales (cachés de prefijo, cachés de radix) tratan el almacén de Key-Value (KV) como una estructura indexada por posición. En consecuencia, cuando un fragmento (chunk) cacheado se mueve a una nueva posición (debido a ventanas deslizantes, reordenamiento o recuperación tras una expulsión), se producen fallos de caché. El sistema debe volver a codificar el contenido visual y volver a realizar el pre-llenado (prefill) del KV cache desde cero, lo que incurre en una sobrecarga computacional significativa (por ejemplo, ejecutar nuevamente el codificador de visión y el prefill del LLM).

El artículo identifica que el reuso ingenuo de KV no es fundamentalmente libre de pérdidas. Si bien la lectura de un solo salto (lo que una consulta extrae de un fragmento) se recupera exactamente mediante operaciones estándar de fusión de estados, el condicionamiento entre fragmentos (cross-chunk conditioning) se pierde. Cuando un fragmento $B$ se realiza el prefill después de un antecedente $A$, sus tokens absorben información de $A$ (resolviendo correferencias, vinculando entidades). Si $B$ se cachea solo ($KV(B|\emptyset)$) y luego se reutiliza después de un $A$ diferente o desplazado, el modelo pierde la vinculación específica que $B$ absorbió del $A$ original. Este déficit ($\Delta = KV(B|A) - KV(B|\emptyset)$) causa una degradación silenciosa en la precisión del razonamiento de múltiples saltos, mientras que la recuperación de un solo salto permanece intacta. Los métodos de caché previos independientes de la posición (por ejemplo, CacheBlend, EPIC) intentan solucionar esto recomputando un conjunto disperso de tokens "importantes", pero el artículo argumenta que esto apunta al eje equivocado, ya que el déficit es difuso entre los tokens pero de bajo rango en las características.

2. Metodología: El Operador Kamera

La solución propuesta, Kamera, desacopla la posición del condicionamiento, permitiendo un reuso invariante a la posición sin necesidad de re-codificación. El método se basa en dos componentes almacenados para cada fragmento:

1. KV Canónico: El contenido libre de posición $KV(B|\emptyset)$ (claves y valores sin el condicionamiento específico del antecedente).
2. Parche de Condicionamiento de Rango-$m$: Un término de corrección de bajo rango $U_m V_m^\top$ que representa el déficit $\Delta$.

La operación de reuso se define como:
$$\widehat{KV}(B|A) = R(\delta) \cdot KV(B|\emptyset) + U_m V_m^\top$$
Donde:

• Relocalización ($R(\delta)$): Las claves son re-rotadas mediante el desplazamiento de fase de la Incrustación de Posición Rotatoria (RoPE) $\delta$ correspondiente a la nueva posición. Esta es una operación algebraica exacta, no un paso de propagación hacia adelante (forward pass).
• Aplicación del Parche: Se añade el parche de rango-$m$ para restaurar la vinculación entre fragmentos. Este parche se calcula una vez en tiempo de compilación (o tras el primer reuso) mediante un único paso de propagación condicionado sobre $[A, B]$, seguido de una Descomposición en Valores Singulares (SVD) para extraer los factores superiores-$m$.

Soporte de Arquitectura Unificada:
El operador unifica tres familias principales de atención:

• MHA (Multi-Head Attention): División estándar de contenido y RoPE.
• GQA (Grouped Query Attention): Relocaliza las claves completas mediante la re-aplicación de RoPE; aplica parches tanto a $K$ como a $V$.
• MLA (Multi-Head Latent Attention): Relocaliza únicamente el $k_{rope}$ desacoplado (64 dimensiones) mientras reutiliza el byte a byte el latente $c_{KV}$; aplica parches a ambos canales.

3. Contribuciones Clave

• Diagnóstico del Déficit: El artículo demuestra que la pérdida en el reuso es un fenómeno difuso en los tokens, de bajo rango en las características y de capas profundas. Los selectores de tokens "oráculo" requieren aproximadamente el $50\%$ de los tokens para recuperar la brecha, mientras que la energía del déficit se concentra en aproximadamente 32 direcciones de características, principalmente en las capas profundas. Esto invalida las estrategias de recomputación de tokens dispersos.
• Separación de Posición/Condicionamiento: Un mecanismo libre de entrenamiento que almacena un fragmento canónico y un pequeño parche de rango-$m$. Esto permite la re-rotación exacta de RoPE para cualquier posición y la restauración mediante parches de la vinculación con el antecedente.
• Tres Operaciones de Ventana Económicas:
  1. Reordenar: Un único "parche de órbita" (promediado sobre permutaciones) sirve para cada ordenamiento de un conjunto cacheado, permitiendo el reordenamiento de RAG o el reordenamiento de fotogramas con un costo casi nulo.
  2. Supervivencia de Ventana Deslizante: Cuando la ventana se desplaza y los fragmentos antiguos son expulsados, los fragmentos supervivientes solo requieren una re-rotación exacta ($R(\delta)$); no se necesita un parche (es casi sin pérdidas) para GQA/MLA estándar, aunque las arquitecturas de pila profunda (deepstack) pueden requerir un parche de eliminación.
  3. Recuperación (Expulsión Reversible): Los fragmentos expulsados pueden ser rehidratados desde el almacén canónico utilizando un nuevo parche condicionado a su contexto anterior fijo, evitando la re-codificación de la visión por completo.
• Despliegue en Producción: Implementado como un hook libre de entrenamiento en el motor de producción SGLang (kernel FlashAttention-3), reconstruyendo los KV caches con una precisión de hasta el redondeo bf16 (residuo de KL siguiente-token $\approx 10^{-3}$).

4. Resultados

• Recuperación de la Precisión: En benchmarks de vinculación entre fragmentos (MM-NIAH, MileBench, QA de documentos de dos páginas), el reuso ciego de KV reduce a la mitad la precisión de múltiples saltos (ej. $0.59 \to 0.41$ en Qwen2.5-VL). Un parche de rango-16/32 restaura la precisión al techo del pre-llenado (re-prefill) ($0.64, 0.72$), superando a las líneas base de recomputación de tokens (CacheBlend, VLCache) que solo recuperan el $20\text{--}40\%$ de la brecha.
• Eficiencia:
  • Memoria: Un parche de rango-64 cuesta aproximadamente el $25\%$ de los bytes KV del segmento; un rango-16 cuesta $\approx 6\%$.
  • Latencia: Reemplaza el pre-llenado del LLM por cada reuso con una aplicación de parche sin forward pass, mejorando el Tiempo de Primer Token (TTFT) hasta en 29$\times$ para segmentos de video largos comparado con la re-codificación completa.
  • Amortización: El costo de formar el parche se amortiza tras aproximadamente 9 reusos frente a una línea base que realiza el prefill cada vez.
• Robustez: El método logra la precisión total de múltiples saltos a través de diversos backbones (Qwen2.5-VL, Qwen3-VL, Kimi-VL, DeepSeek-VL) y familias de atención (GQA, MLA, MHA).

5. Significado y Reivindicaciones

El artículo sostiene que la recomputación es evitable para los agentes multimodales. Al identificar que el déficit de reuso es una señal de condicionamiento de bajo rango y capa profunda en lugar de un error de tokens dispersos, Kamera proporciona un operador unificado y libre de entrenamiento que convierte el KV cache en una estructura de direccionamiento por contenido e invariante a la posición, en lugar de un arreglo indexado por posición.

La importancia radica en la transformación de la gestión del contexto:

• Expulsión Reversible: Los agentes pueden expulsar contenido agresivamente sabiendo que puede ser rehidratado de forma económica sin la re-codificación de la visión.
• Libertad de Programación (Scheduling): Dado que el reordenamiento es gratuito sobre una órbita, la colocación de los fragmentos se convierte en una variable de programación en lugar de una consecuencia del orden de llegada.
• Cambio de Costo: El costo se desplaza de la computación repetitiva y costosa (codificador de visión + prefill) hacia el ancho de banda de memoria (almacenamiento de pequeños parches), alineándose con la naturaleza limitada por memoria de las fases de decodificación modernas.

Los autores señalan que el efecto es más impactante en flujos de visión y video redundantes donde los agentes consumen su presupuesto de recomputación, mientras que el texto denso (donde el caché de prefijo ya es suficiente) no muestra tal brecha. Este trabajo establece que el contexto más allá de la ventana no necesita ser un contexto re-computado, ni requiere que el modelo sea re-entrenado para servirlo.