Each language version is independently generated for its own context, not a direct translation.
这篇论文介绍了一个名为 LVOmniBench 的新工具，它就像是为“全能型人工智能”（OmniLLMs）设计的一场超长马拉松考试，专门用来测试它们能不能真正听懂并看懂长达几十分钟的视频和音频。
为了让你更容易理解，我们可以把这篇论文的核心内容想象成以下几个生动的场景：
1. 背景：从“看短剧”到“追长剧”的跨越
- 现状：以前的 AI 考试（基准测试），就像让 AI 看10 秒到 5 分钟的短视频（比如 TikTok 或 YouTube 短片）。AI 在这些短时间里表现不错，能认出猫、狗或简单的动作。
- 问题：但在现实生活中，我们看的视频往往是几十分钟甚至一个半小时的（比如纪录片、长访谈、电影解说、烹饪教程）。这就好比让 AI 从“看短剧”突然跳到“追一整季电视剧”。
- 痛点：现在的 AI 就像是一个记性很差的学生。视频一长，它就开始“断片”了，忘了前面说了什么，或者把声音和画面搞混了。现有的考试太简单，测不出这些 AI 在真实长视频中的真实水平。
2. 新工具：LVOmniBench（一场高难度的“全能马拉松”）
作者们制作了一个全新的“考卷”，叫 LVOmniBench。
- 素材库：他们从网上精心挑选了 275 个视频，每个视频时长在 10 到 90 分钟 之间。这就像是从“短跑”变成了“马拉松”。
- 题目设计：他们人工编写了 1014 道问答题。这些题目不是随便问问的，而是必须同时结合“听”和“看”才能答对。
- 比喻：如果题目问“视频里那个穿红衣服的人手里拿的是什么？”，AI 不能只看画面（可能看不清），也不能只听声音（可能没提），必须把画面里的颜色和声音里的描述结合起来。
- 难度分级：题目分成了低、中、高三个难度等级。
- 低级：数数（比如“视频里出现了几次猫？”）。
- 中级：理解事件（比如“这个人为什么生气？”）。
- 高级：复杂推理（比如“根据前面的对话和后面的画面，推断这个人接下来会做什么？”）。
3. 考试结果：AI 们的“惨烈”表现
作者让目前最厉害的 AI 模型（包括谷歌的 Gemini 3 Pro 和一些开源模型）来考这场试，结果非常有趣：
- 学霸（闭源模型）：谷歌的 Gemini 3 Pro 是目前的“考神”，但它也只考了 65 分左右。这意味着即使是最强的 AI，在面对长视频时，也还有 35% 的内容是它搞不懂的。
- 学渣（开源模型）：大多数开源模型（大家能免费用的模型）的分数不到 35 分。这基本上和蒙答案（随机猜）差不多。
- 主要失分点：
- 记性差：视频看了一半，忘了开头说了什么（长程记忆缺失）。
- 耳眼不协调：听到声音说“左边有只狗”，但眼睛却看着右边，或者把背景音乐里的声音误认为是人声。
- 逻辑混乱：无法把声音里的线索和画面里的动作串联起来进行推理。
4. 核心发现：AI 还没学会“一心二用”
论文发现了一个关键问题：
- 现在的 AI 太依赖“看”了：很多模型在处理长视频时，其实并没有真正听懂声音。如果把视频里的声音关掉，或者把声音转成文字（字幕）给 AI 看，有些模型的表现反而变好了。
- 真正的挑战：现实世界是声音和画面交织的。比如，听到一声尖叫，要立刻在画面里找到尖叫的人；听到背景音乐变悲伤，要理解画面里发生了什么。目前的 AI 还做不到这种深度的“视听融合”。
5. 总结与意义
这篇论文就像给 AI 界敲了一记警钟：
- 不要自满：虽然 AI 在短视频上很厉害，但在长视频这种真实场景面前，它们还很“笨”。
- 指明方向：LVOmniBench 就像一面镜子，告诉科学家们，未来的 AI 需要加强长记忆能力、视听同步能力和复杂推理能力。
一句话总结：
这就好比以前的 AI 是背得下短诗的才子，现在我们要考它能不能边听交响乐边看长篇小说，还能写出深刻的读后感。LVOmniBench 就是这场高难度考试的试卷，而目前的 AI 们，离满分还差得远呢。
Each language version is independently generated for its own context, not a direct translation.
LVOmniBench：面向全模态大模型的长音频视频理解评估基准技术总结
1. 研究背景与问题定义
随着全模态大语言模型（OmniLLMs）的快速发展，其在整合文本、图像、视频和音频方面的感知与认知能力显著提升。然而，现有的评估基准存在以下关键局限性：
- 时长过短：大多数基准（如 AVQA, OmniBench 等）仅针对 10 秒至 5 分钟的短视频片段，无法反映现实世界中通常长达数十分钟的视频应用场景。
- 模态单一或静态：现有评估多集中于静态图像 - 音频对，或仅关注短视频，缺乏对长时序、高动态的**联合音频 - 视频（Joint Audio-Video）**内容的深度推理评估。
- 评估维度不足：缺乏对长上下文中的长期记忆、细粒度时序定位、跨模态对齐及复杂逻辑推理能力的系统性测试。
核心问题：当前的 OmniLLMs 在处理长音频 - 视频输入时表现如何？现有的评估体系是否足以揭示模型在长时序跨模态理解上的真实瓶颈？
2. 方法论：LVOmniBench 构建流程
LVOmniBench 是一个专为评估 OmniLLMs 在长音频 - 视频内容上跨模态理解能力而设计的全新基准。其构建遵循严格的人工筛选与标注流程，确保数据的高质量与挑战性。
2.1 数据收集与筛选
- 来源：从 YouTube 收集视频，严格遵循 Creative Commons 许可协议以确保开源性。
- 领域覆盖：涵盖娱乐、生活方式、DIY 与烹饪、纪录片、影视等 5 大类及 21 个细分子类。
- 筛选标准：
- 时长：10 至 90 分钟（平均约 34 分钟），远超现有基准（通常是 6-20 倍）。
- 内容质量：必须包含丰富的视听动态信息（Dynamic Content），确保音频和视频信息高度相关且互补，排除仅靠单一模态即可回答的视频。
- 初选池：从 3000+ 原始视频中筛选出 275 个高质量长视频。
2.2 问题标注与分类
构建了 1,014 个高质量的多项选择题（QA 对），问题设计严格遵循联合推理原则（即必须同时结合音频和视频才能作答）。
- 问题类型：
- 感知 (Perception)：计数、属性感知、音乐感知。
- 理解 (Understanding)：以人为中心的理解（身份追踪、情感识别）、细粒度事件理解。
- 推理 (Inference)：声音推理、空间推理、时序推理。
- 逻辑 (Logical)：多步推理、因果追踪、复杂逻辑链构建。
- 难度分级：每个问题被标注为低、中、高三个难度等级，基于感知难度、信息粒度、时间跨度和推理复杂度进行分层。
- 质量控制：
- 使用单模态基线（仅视频、仅音频、仅文本）进行测试，剔除可被单模态解答的问题。
- 人工审查，确保选项长度一致，干扰项源自视频/音频内容，且避免使用显式时间戳提示。
2.3 数据集统计
- 视频数量：275 个。
- 总时长：约 140 小时。
- 平均时长：2,069 秒（约 34 分钟）。
- QA 对数量：1,014 个。
- 音频类型分布：语音 (763) > 音乐 (137) > 环境音 (114)。
3. 实验设置与评估对象
- 评估模型：
- 闭源模型：Gemini 3 Pro, Gemini 3 Flash, Gemini 2.0 Flash。
- 开源模型：Ming-Flash-Omni-2.0-100B, MiniCPM-o 4.5, Qwen3-Omni-30B, video-SALMONN 2+, Qwen2.5-Omni-7B, VideoLLaMA2-7B 等。
- 单模态基线：Qwen3-VL (仅视觉), Qwen2-Audio (仅音频)。
- 实验细节：
- 使用最大允许帧数输入（如 Qwen3 系列设为 768 帧）。
- Gemini 系列开启深度思考模式。
- 硬件环境：NVIDIA H100/L40S。
4. 关键实验结果
4.1 整体性能表现
- 闭源模型领先：Gemini 3 Pro 表现最佳，平均准确率达到 65.8%，在困难问题上仍保持 45% 的准确率。Gemini 3 Flash 为 59.0%。
- 开源模型瓶颈：所有开源 OmniLLMs 的平均准确率均低于 35%。Qwen3-Omni-30B 最高为 35.8%，其他模型多在 30%-34% 之间，接近随机猜测水平。
- 差距显著：闭源模型在长视频理解上具有显著优势，开源模型在处理长时序音频 - 视频输入时面临巨大挑战。
4.2 模态有效性分析
- 音频的重要性：
- 将 Gemini 3 Flash 限制为仅视觉输入时，准确率下降约 13%，证明音频线索在长视频理解中至关重要。
- ASR 替代实验：对于开源模型（如 Qwen3-Omni），将原始音频替换为 ASR 转录文本后，性能有显著提升（+7.9% 至 +8.2%），表明开源模型难以有效利用原始音频信号，更多依赖文本语义。
- 闭源模型差异：Gemini 3 Flash 使用原始音频比使用 ASR 文本效果更好，说明其能捕捉非语言信号（如语调、情感、音乐性）。
- 单模态基线：即使针对长视频优化的 Qwen3-VL（仅视觉），准确率也仅为 36%，远低于其短视频基准表现，凸显了长视频理解的难度。
4.3 错误分析
对 Gemini 3 Flash 的 153 个错误案例进行人工分析，发现主要错误类型包括：
- 感知错误 (34.0%)：
- 音频感知：模型过度依赖视觉线索，忽视音频信号；难以理解细粒度声学特征（如音色、音高）。
- 视觉感知：缺乏空间推理能力，计数错误频发。
- 推理错误 (23.5%)：难以进行多步逻辑推导、因果追踪及复杂时空动态分析。
- 定位错误 (19.6%)：在长达数十分钟的视频中，无法精准定位事件发生的时间点（时序定位能力弱）。
- 跨模态语义鸿沟 (19.0%)：无法将音频和视觉信息进行深度融合与对齐，常出现模态偏见（Modality Bias）。
5. 主要贡献与意义
- 首个长音频 - 视频基准：LVOmniBench 是目前首个专门针对**长时序（10-90 分钟）**联合音频 - 视频理解设计的全面基准，填补了现有评估体系的空白。
- 揭示模型瓶颈：实验表明，当前 OmniLLMs（尤其是开源模型）在处理长音频 - 视频序列时存在严重缺陷，特别是在跨模态对齐、长期记忆和细粒度推理方面。
- 明确未来方向：
- 音频建模：长音频序列的信息密度高且依赖性强，是限制模型性能的关键瓶颈，需加强长音频建模能力。
- 跨模态对齐：需解决模型对单一模态的过度依赖，提升非语言音频（音乐、环境音）的理解能力。
- 时序定位：亟需开发针对全模态的联合时序定位方法。
- 推动社区发展：该基准为评估和开发下一代 OmniLLMs 提供了严格的测试标准，旨在推动能够解决复杂现实世界长视频理解问题的先进模型诞生。
总结
LVOmniBench 通过构建高质量、长时长、多难度的音频 - 视频数据集，揭示了当前全模态大模型在长上下文理解上的巨大差距。研究指出，尽管闭源模型（如 Gemini 3）已展现出初步的长视频理解能力，但开源模型仍面临严峻挑战，特别是在有效利用原始音频信号和进行跨模态深度推理方面。该工作为未来 OmniLLMs 的架构优化和算法改进指明了关键方向。