HERMES 技术总结：基于 KV Cache 分层记忆的流式视频理解

1. 研究背景与问题 (Problem)

随着多模态大语言模型（MLLMs）在离线视频理解任务上的显著进步，将其能力扩展到实时流式视频输入（Streaming Video）仍面临巨大挑战。现有的 MLLM 在处理连续视频流时，难以同时满足以下三个关键需求：

• 稳定的理解性能：在长视频流中保持对关键信息的准确捕捉。
• 实时响应（Low Latency）：在用户提问时能够立即生成回答，无需等待额外的检索或计算。
• 低显存开销：避免随着视频长度增加而导致的显存溢出（OOM）。

现有的解决方案存在明显缺陷：

• 外部记忆方法（External Memory）：将视频内容存储为数据库中的字幕或原始图像块，查询时进行检索。这导致高延迟，缺乏端到端的连贯性，且通常需要昂贵的模型特定训练。
• 内部记忆方法（Internal Memory）：如 ReKV 和 LiveVLM，虽然基于 KV Cache，但通常将历史片段卸载到外部 CPU 或磁盘，查询时需重新检索并重建 KV Cache，依然依赖外部计算资源并引入显著延迟。
• 通用压缩方法：大多针对离线视频设计，无法适应流式场景中未来帧和查询不可预测的特性，且缺乏细粒度的 KV Cache 管理机制。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 HERMES（KV Cache as HiERarchical Memory for Efficient Streaming Video Understanding），这是一种无需训练（Training-free）、即插即用的架构。其核心思想是将 KV Cache 概念化为一个分层记忆框架，模拟人类记忆机制，并通过机制性注意力分析来指导管理。

2.1 分层记忆机制 (Hierarchical Memory Framework)

基于对 MLLM 解码器层注意力模式的机制性研究，HERMES 将 KV Cache 划分为三个层级，分别对应不同的记忆功能：

1. 浅层（Shallow Layers）：
   • 功能：存储最近到达的视觉帧。
   • 策略：表现出强烈的近因偏差（Recency Bias）。
   • 重要性评分：基于艾宾浩斯遗忘曲线，使用指数衰减函数计算，距离当前时间越远的 Token 重要性越低。
2. 深层（Deep Layers）：
   • 功能：存储帧级别的语义锚点（Anchor Tokens），用于长程理解。
   • 策略：注意力模式稀疏且具有节奏感（每 196 个 Token 出现一次峰值，对应一帧）。
   • 重要性评分：直接基于用户查询（或伪查询）的注意力权重，保留高权重的“锚点 Token"。
3. 中层（Middle Layers）：
   • 功能：作为过渡，平衡近因信息与帧级语义表示。
   • 策略：注意力分布逐渐从近因偏差过渡到深层的稀疏模式。
   • 重要性评分：通过插值结合近因分数和注意力权重。

2.2 三大核心组件

1. **分层 KV Cache 管理 **(Hierarchical KV Cache Management)：
   • 根据上述分层策略，为每一层的 Token 计算重要性分数，决定哪些 Token 保留，哪些被剔除。
2. **跨层记忆平滑 **(Cross-Layer Memory Smoothing)：
   • 问题：不同层独立剔除 Token 会导致视觉记忆在层间不对齐。
   • 解决：将深层的重要性信号传播并平滑到浅层。公式为 $\tilde{S}^l_i = (1-\lambda^l) S^l_i + \lambda^l S^{l+1}_i$，确保层间记忆的一致性。
   • 长期记忆保留：被剔除的 Token 会被聚合为摘要 Token（Summary Token），紧凑地编码长期记忆并保留在 KV Cache 中。
3. **位置重索引 **(Position Re-Indexing)：
   • 问题：流式输入累积会导致位置索引超出模型支持范围，破坏生成质量。
   • 解决：
     • 流式场景：采用惰性重索引（Lazy Re-Indexing），仅在接近模型限制时触发，保留最近 Token 的原始位置，减少计算开销。
     • 离线场景：采用急切重索引（Eager Re-Indexing），每次压缩时立即重映射，保持严格的连续性。
   • 实现：通过基于 Delta 的旋转位置编码（RoPE）修正，直接复用缓存的 Key 状态，无需重新计算。

3. 主要贡献 (Key Contributions)

1. 概念创新：首次基于机制性注意力分析，提出将 KV Cache 视为分层视频记忆框架（感官记忆、工作记忆、长期记忆），打破了传统均匀压缩的局限。
2. HERMES 架构：提出了一种无需训练的流式视频理解方法。通过分层管理和跨层平滑，在大幅减少 Token 数量（最高减少 68%）的同时，保持了甚至超越了基线模型的精度。
3. 极致的效率：
   • 无需额外检索：用户提问时无需外部计算或检索，直接复用 KV Cache。
   • 低延迟：相比之前的 SOTA 方法（如 StreamingTOM），首 Token 生成时间（TTFT）提升了 10 倍。
   • 显存恒定：无论输入视频多长，显存占用保持恒定，无 OOM 风险。

4. 实验结果 (Results)

实验在 LLaVA-OV 和 Qwen2.5-VL 等多个模型系列（0.5B 至 32B 参数规模）及多个基准测试上进行了验证：

• **流式视频理解 **(Streaming Benchmarks)：
  • 在 StreamingBench 和 OVO-Bench 上，HERMES 取得了 SOTA 性能。例如，基于 Qwen2.5-VL-7B 的 HERMES 在 StreamingBench 上达到 79.44% 的准确率，比基线提升 6.13%，且优于所有 7B 规模的开源在线/离线模型。
  • 在 RVS（实时视频问答）数据集上，HERMES 相比均匀采样的基线模型，准确率最高提升了 11.4%。
• **离线视频理解 **(Offline Benchmarks)：
  • 在 VideoMME（长视频）和 Egoschema 上，HERMES 表现优于或持平于基线模型。例如在 VideoMME 长视频子集上达到 49.22%（相比基线 48.00%）。
  • 在 MVBench（短视频）上表现与基线相当（56.92% vs 57.02%）。
• 效率分析：
  • TTFT：在输入帧数增加时，HERMES 保持极低的延迟（< 30ms），而传统方法延迟随帧数线性增长。
  • 显存：在 256 帧设置下，HERMES 的峰值显存占用比 LiveVLM 低 1.04 倍。
  • Token 压缩：在减少高达 68% 的视频 Token 的情况下，依然保持高性能。

5. 意义与影响 (Significance)

• 推动实时 AI 应用：HERMES 解决了流式视频理解中“精度 - 延迟 - 显存”的三角矛盾，使得在消费级 GPU 上部署实时、长视频交互的 MLLM 成为可能。
• 无需训练的通用性：作为一种即插即用的方法，HERMES 不需要对基础模型进行微调，即可适配各种开源 MLLM，极大地降低了应用门槛和计算成本。
• 可解释性：通过分层记忆机制，HERMES 提供了对模型如何处理长视频信息的可解释视角（近因、语义锚点、工作记忆），为未来的模型设计提供了理论依据。
• 资源友好：恒定的显存占用和极低的推理延迟，使其非常适合边缘计算、实时监控、直播互动等对资源敏感的实际场景。

综上所述，HERMES 通过重新定义 KV Cache 在流式视频中的角色，利用分层记忆策略和高效的缓存管理技术，实现了高效、准确且实时的视频流理解，是迈向通用实时多模态智能的重要一步。