技术摘要：Kamera：用于无训练复用的统一位置不变多模态 KV Cache

1. 问题陈述

多模态智能体（例如：Web 智能体、长视频分析器、文档遍历器）在上下文窗口滑动、推理迭代或提示词变化时，经常需要重复检查相同的视觉内容（帧、截图）。目前的生产级缓存机制（前缀缓存、Radix 缓存）将键值（KV）存储视为一个以位置为索引的结构。因此，当一个缓存块由于位置移动（由于滑动窗口、重排序或从驱逐中召回）而改变位置时，会导致缓存失效。系统必须重新编码视觉内容并从头开始重新进行 LLM 预填充（prefill），从而产生巨大的计算开销（例如：重新运行视觉编码器和 LLM 预填充）。

本文指出，朴素的 KV 复用在本质上并非完全无损的。虽然单跳读取（即查询从一个块中提取的内容）可以通过标准的合并操作精确恢复，但**跨块调节（cross-chunk conditioning）**的信息会丢失。当块 $B$ 在前置块 $A$ 之后进行预填充时，其 Token 会吸收来自 $A$ 的信息（解决指代关系、绑定实体）。如果 $B$ 被单独缓存（$KV(B|\emptyset)$）并在稍后于不同的或偏移后的 $A$ 之后被复用，模型就会丢失 $B$ 原本从 $A$ 吸收的特定绑定关系。这种缺陷（$\Delta = KV(B|A) - KV(B|\emptyset)$）会导致多跳推理准确率出现隐性下降，尽管单跳召回能力保持完好。先前的位置无关缓存方法（如 CacheBlend、EPIC）试图通过重新计算一组“重要”的 Token 来修复此问题，但本文认为这些方法针对的是错误的维度，因为这种缺陷在 Token 维度上是弥散的，但在特征维度上是低秩的。

2. 方法论：Kamera 算子

所提出的解决方案 Kamera 将位置与调节解耦，实现了无需重新编码的位置不变复用。该方法依赖于为每个块存储的两个组件：

1. 规范 KV (Canonical KV)： 无位置依赖的内容 $KV(B|\emptyset)$（不含特定前置调节的键和值）。
2. 秩-$m$ 调节补丁 (Rank-$m$ Conditioning Patch)： 一个代表缺陷 $\Delta$ 的低秩修正项 $U_m V_m^\top$。

复用操作定义为：
$$\widehat{KV}(B|A) = R(\delta) \cdot KV(B|\emptyset) + U_m V_m^\top$$
其中：

• 重定位 ($R(\delta)$)： 键通过旋转位置嵌入（RoPE）的相位偏移 $\delta$ 进行重新旋转。这是一个精确的代数运算，而非前向传播过程。
• 补丁应用： 通过添加秩-$m$ 补丁来恢复跨块绑定。该补丁在编译时（或首次复用时）通过对 $[A, B]$ 进行单次有条件的 forward pass 计算得出，随后通过奇异值分解（SVD）提取前 $m$ 个因子。

统一架构支持：
该算子统一了三种主要的注意力机制家族：

• MHA (多头注意力)： 标准的内容与 RoPE 分离。
• GQA (分组查询注意力)： 通过重新应用 RoPE 来重定位完整的键；同时对 $K$ 和 $V$ 进行补丁处理。
• MLA (多头潜在注意力)： 仅重定位解耦的 $k_{rope}$（64 维），同时按字节复用潜在变量 $c_{KV}$；对两个通道进行补丁处理。

3. 核心贡献

• 缺陷诊断： 本文证明了复用造成的损失是一种在 Token 维度上弥散、在特征维度上低秩且存在于深层网络的现象。预言机（Oracle）Token 选择器需要约 $50\%$ 的 Token 才能恢复该差距，而缺陷的能量集中在约 32 个特征方向上，主要存在于深层网络中。这使得 Token 稀疏重计算策略失效。
• 位置/调节分离： 一种无需训练的机制，通过存储一个规范块和一个小的秩-$m$ 补丁，实现位置不变复用。这允许对任何位置进行精确的 RoPE 重旋转，并通过补丁应用来恢复前置绑定。
• 三种高效窗口操作：
  1. 重排序 (Reorder)： 一个单一的“轨道补丁”（在所有排列上取平均）即可服务于缓存集合的所有排列顺序，从而实现近乎零成本的 RAG 重排序或帧重排。
  2. 滑动窗口生存 (Sliding-Window Survival)： 当窗口滑动且旧块被驱逐时，存留的块仅需进行精确的重旋转（$R(\delta)$）；对于标准的 GQA/MLA，不需要额外的补丁（近乎无损）；但对于深层堆叠架构，可能需要移除补丁。
  3. 召回 (可逆驱逐)： 被驱逐的块可以利用其固定的早期上下文，通过一个新的补丁从规范存储中重新注水（rehydrate），从而完全避免视觉重新编码。
• 生产环境部署： 在 SGLang 生产引擎（FlashAttention-3 内核）中实现为无需训练的 Hook，其重建的 KV 缓存精度达到了 bf16 舍入误差以内（残差下一 Token KL 散度 $\approx 10^{-3}$）。

4. 实验结果

• 准确率恢复： 在跨块绑定基准测试（MM-NIAH、MileBench、两页文档问答）中，盲目使用 KV 复用会导致多跳准确率减半（例如，在 Qwen2.5-VL 上从 $0.59 \to 0.41$）。秩为 16/32 的补丁能将准确率恢复到重新预填充的上限（$0.64, 0.72$），优于仅能恢复$20\text{--}40%$ 差距的 Token 重计算基线（CacheBlend、VLCache）。
• 效率：
  • 内存： 秩为 64 的补丁成本约为段落 KV 字节数的 $25\%$；秩为 16 的补丁成本约为 $6\%$。
  • 延迟： 用无前向传播的补丁应用取代了每次复用的 LLM 预填充，对于长视频片段，相比于全量重新编码，将首 Token 延迟（TTFT）提升了高达 29 倍。
  • 摊销： 与每次都重新预填充的基线相比，形成补丁的一次性成本在约 9 次复用后即可实现摊销。
• 鲁棒性： 该方法在多种主流骨干网络（Qwen2.5-VL, Qwen3-VL, Kimi-VL, DeepSeek-VL）和注意力家族（GQA, MLA, MHA）上均实现了完整的多跳准确率。

5. 意义与主张

本文主张，对于多模态智能体而言，重计算是可以避免的。通过识别出复用缺陷是一个低秩、深层的调节信号，而非 Token 稀疏型错误，Kamera 提供了一个统一的、无需训练的算子，使 KV 缓存从一个“以位置为索引的数组”转变为一个“以内容为寻址、位置无关的结构”。

其意义在于改变了上下文管理方式：

• 可逆驱逐： 智能体可以激进地驱逐内容，因为知道这些内容可以被廉价地重新注水，而无需视觉重新编码。
• 调度自由： 由于重排序在轨道内是免费的，块的放置变成了一个调度变量，而非仅仅受限于到达顺序。
• 成本转移： 成本从昂贵的重复计算（视觉编码器 + 预填充）转向了内存带宽（存储小型补丁），这符合现代解码阶段受限于内存带宽的特性。

作者指出，这种效应在冗余视觉和视频流中最为显著（智能体在此类场景中消耗大量重计算预算），而在密集文本（其中前缀缓存已足够有效）中则不存在此类差距。这项工作确立了：超出窗口范围的上下文不必通过重新计算来获取，也不必通过重新训练模型来服务。