OmniGAIA: Towards Native Omni-Modal AI Agents

本文提出了旨在评估跨视频、音频和图像模态深度推理与工具使用能力的 OmniGAIA 基准，并构建了基于主动感知与工具集成推理范式的原生全模态智能体 OmniAtlas，以推动面向真实场景的下一代全模态 AI 助手发展。

要点

这篇论文介绍了一个名为 OmniGAIA 的新项目，以及一个名为 OmniAtlas 的超级智能助手。为了让你轻松理解，我们可以把这项研究想象成在训练一个**“全能型超级侦探”**。

1. 现在的 AI 有什么毛病？（现状）

目前的很多 AI 助手（多模态大模型）就像是一个**“偏科生”**。

• 它们能看懂图片（视觉），也能听懂人说话（语言），甚至能听歌（音频）。
• 但是，它们通常只能处理“图片 + 文字”或者“视频 + 文字”这种简单的组合。
• 真正的世界是复杂的：就像看一部电影，你不仅要看到画面，还要听到背景里的对话、环境音，甚至需要结合画面里的文字（比如路牌），然后去网上查资料，最后才能解开一个谜题。
• 现在的 AI 要么太“笨”，要么太“懒”，遇到这种需要同时听、看、想、查的复杂任务，往往就卡住了。

2. 他们做了什么？（OmniGAIA 基准测试）

为了解决这个问题，作者们设计了一个**“终极侦探考试”**，叫 OmniGAIA。

• 考试形式：不再是简单的“看图说话”。
  • 例子：给你一段视频，视频里有人在参观一个历史遗址，他指着远处的桥说：“这桥让我想起了《福禄双霸天》电影里的那座桥。”
  • 考题：这座桥叫什么名字？电影开始拍摄时，这座桥已经立了多少年？
• 为什么难？
  • 你需要听懂视频里的对话。
  • 你需要看清视频里的地点（Joliet Iron Works）。
  • 你需要联想：电影里的桥和现实中的桥可能不一样，不能瞎猜。
  • 你需要动手：必须去网上搜索“Joliet Iron Works 附近的桥叫什么”、“电影什么时候拍的”、“桥是哪年建的”。
  • 最后还要算数：用电影拍摄年份减去建桥年份。
• 目的：这个考试专门用来测试 AI 是否真的具备“全能”能力，而不是只会背答案。

3. 他们怎么造题的？（事件图谱）

造这种题很难，不能随便编。作者们发明了一种**“乐高积木式”的造题方法，叫“全模态事件图谱”**。

• 比喻：想象你在整理一个复杂的案件。
  1. 先收集所有线索（视频、音频、图片里的细节）。
  2. 把这些线索像乐高积木一样拼成一张关系网（谁在什么时候说了什么，和什么有关）。
  3. 然后，故意把网里的某些关键积木**“模糊化”**（比如把桥的名字遮住，只说是“一座桥”）。
  4. 这样 AI 就不能直接查字典，必须像侦探一样，顺着关系网，一步步去查资料、推理，才能把模糊的积木拼回去，找到唯一的答案。

4. 他们造出了什么 AI？（OmniAtlas）

为了应对这个考试，作者们训练了一个叫 OmniAtlas 的 AI 助手。它有三个绝招：

• 绝招一：主动感知（Active Perception）

  • 以前的 AI：像看一部 1 小时的电影，为了省时间，它可能把画面压缩得很模糊，或者只听大概，结果错过了关键细节。
  • OmniAtlas：像个挑剔的侦探。如果它觉得视频里某一段看不清，或者音频里某句话没听清，它会主动说：“等等，我要把视频倒回去，把那个时间段放大看清楚！”或者“我要把那段音频单独提出来再听一遍。”它不盲目地“吞”下所有内容，而是按需索取。

• 绝招二：工具整合推理（Tool-Integrated Reasoning）

  • 它知道什么时候该自己思考，什么时候该调用工具（比如上网搜索、运行代码计算器）。它不会死记硬背，而是像人一样，遇到不懂的就去查，算不出来的就用计算器。

• 绝招三：错题本特训（OmniDPO）

  • 在训练时，如果 AI 做错了，普通的训练只是告诉它“错了，重来”。
  • OmniAtlas 的训练方法更高级：它会精准定位它是在哪一步错了（是看错了图？还是搜错了词？还是逻辑断了？），然后专门针对这个错误进行“纠错训练”。这就像老师不仅告诉你答案错了，还帮你分析是“粗心”还是“公式用错”，然后针对性地补习。

5. 结果怎么样？

• 考试很难：即使是目前最强的商业 AI（Google 的 Gemini-3-Pro），在这个考试里也只能拿到 62.5 分（满分 100）。
• 开源模型以前很弱：像 Qwen3-Omni 这样的开源模型，一开始只能拿 13.3 分。
• OmniAtlas 的魔法：经过他们的特训后，Qwen3-Omni 的成绩直接提升到了 20.8 分。虽然还没超过商业巨头，但进步巨大，证明了这种“主动感知 + 工具使用 + 精细纠错”的训练方法是非常有效的。

总结

这篇论文的核心思想就是：未来的 AI 助手不能只是个“百科全书”，它得是个“行动派侦探”。

它不仅要能看、能听，还得会主动去查资料、会动脑子推理、会利用工具解决问题。作者们通过设计一个超难的考试（OmniGAIA）和一套高效的训练方法（OmniAtlas），正在把开源的 AI 模型往这个方向推，让它们离真正的“全能生活助手”更近了一步。

技术摘要

OmniGAIA 论文技术总结

1. 研究背景与问题 (Problem)

当前的大语言模型（LLM）和多模态模型（MLLM）在**全模态（Omni-modal）感知与智能体（Agent）**推理方面存在显著差距：

• 模态割裂：现有模型多局限于“视觉 - 语言”或“音频 - 语言”的双模态交互，缺乏将视觉、音频和语言自然交织的统一认知能力，难以处理真实世界中复杂的跨模态场景。
• 推理与工具使用不足：现有的多模态基准测试（如 OmniBench, WorldSense 等）主要关注短时的感知任务（如识别物体、描述场景），缺乏对长程推理（Long-horizon reasoning）、多跳跨模态推理以及多轮外部工具调用（如网络搜索、代码执行）的评估。
• 评估缺失：缺乏一个能够评估原生全模态智能体在真实复杂场景下，结合主动感知与工具使用来解决可验证开放式问题（Open-form answers）的基准。

2. 核心方法论 (Methodology)

2.1 OmniGAIA：全模态智能体基准

为了填补上述空白，作者构建了 OmniGAIA，一个包含 360 个高难度任务的基准测试，覆盖 9 个真实领域（如地理、历史、科技等）。

• 数据构成：包含“视频 + 音频”和“图像 + 音频”两种设置，媒体时长从 20 秒到 30 多分钟不等。
• 构建流程（事件图驱动）：
  1. 信息挖掘：利用强模型（Gemini-3-Flash）从原始媒体中提取细粒度信号（OCR、ASR、事件、时间戳等）。
  2. 事件图构建：构建跨模态实体/事件的关系图，捕捉非线性的逻辑结构（分支、级联）。
  3. 智能体图扩展：利用推理智能体（DeepSeek-V3.2）主动调用工具（Web Search, Code Executor, 跨模态检索）补充缺失的证据，构建多跳推理路径。
  4. 模糊化生成 (Event Fuzzification)：对图中的关键节点/边进行模糊处理（如掩蔽关键属性），迫使模型必须遍历完整逻辑链并整合多源证据才能得出唯一答案，避免简单的查表式回答。
  5. 质量审查：经过 LLM 筛选和人工验证，确保问题的可解性、唯一性和难度。

2.2 OmniAtlas：原生全模态基础智能体

针对现有开源模型在全模态感知和工具推理上的不足，提出了 OmniAtlas 智能体及其训练范式。

• 架构特性：
  • 工具集成推理 (TIR)：模型在内部推理与外部工具调用之间自主切换，支持多轮交互。
  • 主动全模态感知 (Active Omni-Modal Perception)：模型不被动接收全量媒体，而是能根据需求主动请求特定片段（如 read_video(t_start, t_end) 或 read_image(crop_box)），避免信息丢失和 Token 浪费。
• 训练策略：
  1. 轨迹合成与监督微调 (SFT)：利用“后见之明引导的树搜索（Hindsight-Guided Tree Exploration）”策略，由强模型生成高质量的工具集成轨迹，并通过掩码监督（Masked Supervision）仅对智能体的思考与动作 Token 进行训练，防止模型记忆工具返回的噪声。
  2. OmniDPO (细粒度误差校正)：针对全模态任务中复杂的错误类型（感知、推理、工具使用），利用 DPO（直接偏好优化）对失败轨迹中的第一个错误步骤进行定位和修正，生成正负样本对，进行细粒度的偏好学习，专门纠正特定模块的失误。

3. 主要贡献 (Key Contributions)

1. OmniGAIA 基准：首个专注于原生全模态智能体的基准，涵盖视频/图像/音频输入、多领域、多跳推理、多轮工具使用及开放式答案，填补了长程推理评估的空白。
2. 事件图驱动构建管线：提出了一种可扩展的、系统化的方法，利用事件图和工具增强来从真实数据中合成高难度但可解的任务。
3. OmniAtlas 智能体与训练配方：提出了结合主动感知和工具集成推理的原生智能体，并通过 SFT 和 OmniDPO 显著提升了开源模型的智能体能力。
4. 全面评估与分析：揭示了当前模型在工具使用和长程推理上的瓶颈，证明了参数规模并非唯一决定因素，工具策略和感知能力更为关键。

4. 实验结果 (Results)

• 基准难度：OmniGAIA 极具挑战性。最强闭源模型 Gemini-3-Pro 的 Pass@1 为 62.5，而最强的开源基线 Qwen3-Omni 仅为 13.3，差距巨大（约 4.7 倍）。
• OmniAtlas 的提升：
  • 将 Qwen3-Omni (30B) 的性能从 13.3 提升至 20.8 (+7.5)。
  • 在较小模型（Qwen2.5-Omni-7B）上提升更为显著，从 3.6 提升至 13.3（约 3.7 倍）。
• 误差分析：
  • 主要失败模式：无效的工具使用（Ineffective Tool-use）和推理错误（Reasoning Error）是主要瓶颈，尤其在困难任务中，工具误用率高达 90% 以上。
  • 感知瓶颈：尽管 OmniAtlas 改善了工具使用策略，但视觉和音频的细粒度感知错误率仍然较高（30%-50%），表明感知能力仍是核心瓶颈。
  • 工具调用分布：模型往往存在“调用不足”或“无效调用”（Thrashing）的问题。OmniAtlas 通过更主动的工具调用策略改善了这一情况。
• 原生感知 vs. 工具感知：实验表明，对于强智能体，原生全模态感知优于将感知能力外包给工具；工具感知仅能作为弱模型的补充，无法替代原生跨模态整合进行长程推理。

5. 意义与展望 (Significance)

• 推动下一代 AI 助手：OmniGAIA 和 OmniAtlas 为构建能够像人类一样自然融合视听语言、进行长程规划并熟练使用工具的通用 AI 助手提供了重要的评估标准和训练范式。
• 揭示关键瓶颈：研究明确指出，单纯增加参数规模无法解决智能体问题，工具使用策略和细粒度跨模态感知才是当前开源模型的主要短板。
• 未来方向：
  1. 全模态智能体强化学习（Omni-modal Agentic RL）。
  2. 可扩展的全模态 MCP（Model Context Protocol）服务。
  3. 具身智能（Embodied Agents）在物理世界中的全模态基准与模型。

总结：该论文通过构建高难度的 OmniGAIA 基准和提出 OmniAtlas 智能体，系统性地探索了原生全模态 AI 在复杂现实场景中的能力边界，证明了结合主动感知与精细化工具推理训练的重要性，为未来通用 AI 助手的发展指明了方向。