Do Modern Video-LLMs Need to Listen? A Benchmark Audit and Scalable Remedy

该论文通过审计现有视频基准发现其严重缺乏对音频能力的评估，进而提出一种可扩展的语音编码器集成方案，证明在引入音频信息后，模型在涉及语音理解和跨模态对齐的任务上取得了显著提升，而纯视觉任务则未受影响。

要点

这篇论文其实是在探讨一个非常有趣的问题：现在的视频大模型（Video-LLMs）真的需要“听”吗？

作者发现，虽然现在的模型很聪明，能看懂视频画面，但它们通常被设计成“聋子”——只处理画面，忽略声音。为什么？因为用来测试它们的“考卷”（基准测试）本身就有问题。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这篇论文的核心内容：

1. 为什么模型“不听”？因为考试太简单了

想象一下，你正在参加一场**“看图说话”**的考试。

• 现状：现在的考试题目大多是：“视频里的人在做什么？”或者“背景是什么颜色？”
• 问题：这些题目光看一张静止的截图就能答对，根本不需要听声音。
• 结果：既然光看画面就能拿高分，模型开发者自然觉得“听声音”是多此一举，甚至觉得那是累赘。

作者的发现：
作者像“阅卷老师”一样，重新检查了 10 份流行的视频考试卷。他们发现了一个惊人的现象：如果把视频静音，只给模型看中间那一帧画面，现在的 AI 竟然能答对 77% 的题目！
这意味着，这些考试并没有真正测试 AI“视听结合”的能力，就像你让一个会弹钢琴的人去考“听音辨位”，结果题目全是“看图猜谜”，那当然用不上耳朵。

2. 真正的挑战：什么时候需要“听”？

作者指出，有些题目是必须靠耳朵的。

• 例子：题目问“谁说话的声音最轻？”或者“背景里有什么奇怪的声音？”
• 比喻：这就好比在嘈杂的派对上，有人问你“刚才谁在角落里说了悄悄话？”如果你只盯着别人的嘴唇看（视觉），是听不到内容的；你必须竖起耳朵（听觉）才能回答。
• 结论：一旦把那些“光看图就能答”的简单题目剔除掉，剩下的题目中，加上“听力”功能的模型，成绩会明显提升。

3. 技术难题：声音数据太多，怎么办？

虽然“听”很有用，但直接让模型听声音有个大麻烦：数据量太大。

• 比喻：
  • 画面：视频里的每一帧画面，就像一本厚厚的书，但我们可以快速翻页，只读重点。
  • 声音：声音是连续的，就像一条永远流不完的水管。如果要把一小时的视频声音全部“翻译”成文字让模型读，模型会被“撑爆”（内存不够，反应太慢）。
  • 现状：现在的顶级模型（如 Qwen2.5-Omni）试图把这一小时的声音全部塞进去，结果处理速度很慢（4 秒多），就像让一个人把一吨大米一粒粒数清楚再汇报。

4. 作者的解决方案：聪明的“压缩”与“同步”

作者提出了一套高效的方案，让模型既能“听”，又不会“撑死”。

• 压缩技术（像“摘要”一样）：
  他们设计了一种特殊的“压缩器”（基于 Mamba 架构）。

  • 比喻：想象你有一小时的会议录音。以前的做法是把每一秒都记下来（9 万个字）。作者的做法是：每隔 25 秒，提取一个最核心的“关键词”或“摘要”（变成 3600 个字）。
  • 效果：信息量没丢多少，但数据量减少了 25 倍！这让模型处理长视频变得非常快速和轻松。

• 时间对齐（像“看字幕”一样）：
  他们把声音和画面像“字幕”一样精准地对应起来。

  • 比喻：不是先把整段视频看完，再把整段音频听完，而是**“看到画面 A 的同时，听到声音 A"**。这样模型就能理解“这个人说话时，表情是生气的”这种细节。

5. 最终结论：我们需要“视听双修”的 AI

这篇论文的核心观点可以总结为：

1. 现在的考试太偏科：只考“看”，不考“听”，导致我们误以为 AI 不需要耳朵。
2. 一旦考真本事：在需要理解对话、分辨声音的复杂场景下，“听”是绝对必要的，能显著提升 AI 的智能。
3. 技术已成熟：通过聪明的压缩技术，我们完全可以让 AI 在保持速度的同时，拥有“听力”。

一句话总结：
这就好比我们以前只训练 AI 当“默读者”，因为它参加的考试全是看图题。现在作者告诉我们要把它培养成“视听双修的记者”，并发明了一种“速记法”，让它既能听懂现场的声音，又不会因为信息太多而“死机”。

作者还开源了所有代码和经过“清洗”的更公平的考试题目，希望未来的 AI 能真正学会“看”和“听”的结合，更好地服务于现实世界（比如总结会议、理解讲座等）。

技术摘要

这篇论文《Do Modern Video-LLMs Need to Listen? A Benchmark Audit and Scalable Remedy》（现代视频大语言模型需要“听”吗？基准审计与可扩展解决方案）深入探讨了当前视频大语言模型（Video-LLMs）在处理音频信息方面的现状、瓶颈及改进方案。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管 Whisper、Qwen2-Audio 等语音/音频编码器已经非常成熟，但在现有的视频理解流水线中，音频流通常被直接丢弃，模型默认采用“视频（无音频）→ 文本”的模式。

• 核心矛盾：现有的基准测试（Benchmarks）未能有效评估模型的“听”的能力。许多被标记为“视听问答（AVQA）”的数据集，实际上可以通过单帧视觉线索解决，导致模型无需学习音频即可取得高分。
• 技术瓶颈：音频前端（如 25-50 Hz）产生的 Token 数量巨大（1 小时视频约 9 万个 Token），直接输入会迅速耗尽上下文预算并导致高延迟（如 Qwen2.5-Omni 处理 1 小时视频需 4.12 秒），使得长视频视听理解在实际应用中不可行。

2. 方法论 (Methodology)

2.1 基准测试审计 (Benchmark Audit)

作者设计了一个**单帧探测协议（Single-frame probe）**来审计 10 个主流视频基准：

• 方法：仅向 GPT-4o 提供视频的时间中心帧（静音、无其他帧），检查其是否能正确回答问题。
• 发现：许多知名数据集（如 TempCompass, AVQA）中，约 77%-80% 的问题仅凭单帧视觉即可解决。这表明现有基准严重高估了视觉能力，掩盖了音频的真实价值。
• 行动：作者发布了经过过滤的评估子集（移除了单帧可解的样本），以支持更公平的视听模型评估。

2.2 视听输入构建与压缩 (Audio-Visual Modeling)

基于 LLaVA-OneVision 架构，作者引入了音频编码器并对比了不同的输入策略和压缩方案：

• 输入策略：
  1. 仅视觉 (Vision-only)
  2. 非交错 (Non-interleaving)：先所有视觉 Token，后所有音频 Token。
  3. 时间对齐交错 (Time-aligned interleaving)：音频 Token 与其对应时间帧的视觉 Token 相邻排列。
• 音频压缩 (Token Compression)：
  • 为了解决 25 Hz 音频的高 Token 率，作者提出了一种**周期性查询（Periodic-query）**压缩机制。
  • 每隔 $R$ 个 Token 插入一个可训练的共享查询向量 $q$，通过压缩网络提取上下文，仅保留查询位置的输出。
  • 实现了 25 倍压缩（从 25 Hz 降至 1 Hz，即 1 小时视频从 9 万 Token 降至 3600 Token）。
• 压缩器架构对比：对比了五种架构：
  1. 平均池化 (Avg Pool)
  2. 重采样器 (Resampler)
  3. UniMamba (单向因果 SSM)
  4. BiMamba (双向 SSM)
  5. UniMambaMia (基于 MambaMia 改进，使用因果 Mamba 骨干 + 门控注意力机制)。

3. 关键贡献 (Key Contributions)

1. 基准审计：揭示了广泛使用的视听基准（包括部分新提出的）存在严重的视觉捷径（Visual Shortcuts），并发布了过滤后的评估集。
2. 可控实验：在消除视觉捷径后，证明了音频在需要语音理解或跨模态对齐的任务中能带来显著提升。
3. 高效压缩方案：系统比较了音频 Token 压缩架构，发现**因果 Mamba 设计（UniMambaMia）**在 25 倍压缩下表现最稳定，且是唯一支持流式推理（Streaming Inference）的配置。
4. 开源：发布了模型代码、权重及过滤后的评估数据。

4. 实验结果 (Results)

4.1 音频的有效性

• 过滤前：在原始基准上，加入音频带来的提升有限，因为许多任务本身不需要听。
• 过滤后（移除单帧可解样本）：音频在 5 个基准上表现显著提升，特别是：
  • AVSpeakerBench (+3.0%)
  • WorldSense (+2.5%)
  • VideoMME (+2.3%)
  • AVQA (+1.4%)
  • 这表明一旦排除视觉捷径，音频对于理解“谁在说话”、“声音大小”等任务至关重要。

4.2 压缩器性能对比

• 可学习压缩器优于平均池化：所有 Mamba 变体在至少两个基准上优于无参数的 Avg Pool。
• 因果优于双向：在音频这种本质上是一维且因果的流中，双向模型（BiMamba）并未表现出比单向因果模型（UniMamba）的优势。
• 最佳选择：UniMambaMia 在 6 个基准中的 4 个上取得了最佳或并列最佳成绩，且因其因果特性，适用于实时流式应用。

4.3 与现有模型对比

• 性能：在统一评估下，作者提出的模型（基于 Qwen2-7B）在 10 个基准中的 7 个上取得了 Qwen2-7B 系列中的最佳或并列最佳成绩。
• 效率：
  • 作者模型处理 1 小时视频延迟为 1.60 秒（压缩至 3.6K Token）。
  • 对比模型 Qwen2.5-Omni（未压缩，90K Token）延迟高达 4.12 秒。
  • 证明了压缩方案在保持性能的同时显著降低了延迟。

5. 意义与结论 (Significance & Conclusion)

• 核心结论：现代 Video-LLMs 确实需要“听”，但前提是基准测试必须设计得能真正要求模型进行视听推理。目前的基准测试因存在视觉捷径而低估了音频的价值。
• 实践意义：通过“时间对齐交错 + 轻量级因果压缩器”的组合，提供了一种可扩展的解决方案，使得长视频（如讲座、会议）的实时视听理解成为可能。
• 未来方向：呼吁社区构建更严格的视听基准，消除视觉捷径，以推动真正的多模态推理能力发展，缩小基准测试与现实世界应用（如会议总结、视频内容分析）之间的差距。

总结：这篇论文不仅指出了当前 Video-LLM 评估体系的缺陷，还提出了一套高效、可扩展的架构（LLaVA-AV-SSM），证明了在去除视觉捷径后，音频信息对于视频理解具有不可替代的价值，并解决了长视频音频处理的计算瓶颈。