🤖 AI

Omni-Decision: A Progressive Evidence-State Agent System for Omni-Modal QA

本文介绍了 Omni-Decision，一种无需训练的智能体系统，它通过维护一个结构化的、显式的证据状态来系统地追踪、验证并填补不同媒体来源中的信息差距，从而提升了全模态问答的准确率，并取得了优于现有基准模型的显著性能提升。

原作者： Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解谜团的侦探，但线索散落在各处：视频片段中的一个微小细节、音频轨道中的一声低语、网站上隐藏的一个事实，以及一个你必须用计算器算出的数字。如今大多数 AI 侦探的工作方式就像是一个在凌乱的餐巾纸上疯狂涂鸦的人。他们看一个线索，记下来；看另一个，再记下来，并寄希望于在到达终点时，还能记得哪条笔记属于谜团的哪个部分。他们经常迷失在自己的涂鸦中，忘记了已经找到了什么，或者在收集齐所有碎片之前就试图解开谜题。

这篇论文介绍了一种名为 Omni-Decision 的新侦探系统。它使用的不再是凌乱的餐巾纸，而是一个被称为“证据状态”（evidence state）的结构化、动态的清单。把这个清单想象成一块侦探无法忽视的魔法白板。它不仅仅是存储笔记；它还积极地追踪着什么已被证实、什么尚且缺失、什么存在冲突，以及下一步需要计算什么。

以下是这种魔法是如何运作的：

清单： 当一个问题被提出时，系统会立即将问题分解为白板上的特定“需求”。例如，“找出视频中的手表品牌”或“找出 Instagram 上线的日期”。
循环： 侦探选择一个工具（如网页搜索或视频扫描器）来填补清单上的其中一项。
法官： 在侦探继续下一步之前，一位严格的“评论家”会检查新信息。它解决了问题吗？它是否与之前发现的信息相矛盾？
更新： 一个特殊的“还原器”（Reducer）会更新白板。如果找到了线索，“缺失”框就会变成绿色。如果两个线索发生冲突，就会升起红色的“冲突”旗帜。在白板显示当前步骤已完成之前，侦探绝不会向前推进。
停止： 系统清楚地知道何时停止。它不会仅仅因为累了就瞎猜答案；只有当白板显示所有必需的证据都已锁定且不存在冲突时，它才会给出答案。如果工具用尽而白板仍不完整，它会承认失败，而不是编造一个虚假答案。

论文反对的观点：
作者明确指出，仅仅扩大 AI 模型规模或赋予其更长的“记忆”（比如一张更长的餐巾纸）并不是解决方案。他们表明，如果 AI 无法追踪什么是已证实的以及什么仍然缺失，那么拥有庞大的过往行动历史并无帮助。他们还排除了该系统需要通过新数据进行“训练”才能实现这一功能的想法；它的工作原理是组织现有工具的使用方式，而不是学习新技巧。

实验结果：
论文在两项艰巨的测试中衡量了该系统。在一项名为 OmniGAIA 的测试中（涉及跨视频、音频和网络的开放世界搜索），Omni-Decision 的准确率为 45.6%。这相比于标准“基础”智能体（仅得 18.33%）是一个巨大的飞跃，提升了 27.3 个百分点。

在第二项名为 WorldSense 的测试中（侧重于在不进行外部网页搜索的情况下整合音频和视频信息），该系统的得分达到了 58.3%，比基准线高出 30.2 个百分点。

作者认为，这种方法特别擅长察觉侦探何时陷入困境。在对失败尝试的分析中，他们发现许多“错误”答案实际上反映了侦探正在取得实质性进展——他们只是因为某个特定的证据（例如阅读路标上的微小文字）对于工具来说太难寻找而被阻断了。该系统的强大之处不在于它永不失败，而在于它能清晰地展示它在哪里失败了以及为什么失败，而不是盲目猜测。

简而言之，Omni-Decision 证明了对于复杂的、多步骤的谜团，拥有一张清晰的、关于已知和未知信息的共享地图，远比拥有更长的记忆或更大的大脑更为强大。它将搜寻线索的混乱过程转变为了一场有纪律的、循序渐进的任务。

技术摘要：Omni-Decision

问题陈述

全模态证据寻求型问答（QA）要求智能体在证据稀疏分布于异构来源（包括视频、音频、图像、网页和计算结果）的情况下回答问题。作者指出在该场景中存在三个主要挑战：

稀疏且分布式的证据： 相关线索可能出现在短视频片段、特定的字幕跨度、音频事件、图像区域或外部网页结果中，这使得定位所有必要组件变得困难。
部分可观测性： 系统无法预先知道需要哪些实体属性、关系或中间值，直到早期的证据被落地（grounded）。
答案就绪度作为一个控制问题： 智能体不仅必须决定下一步获取什么，还必须决定候选答案是否得到了充分支持、是否需要修复冲突，以及在无法填补差距时何时停止。

论文认为，现有的智能体多模ally系统往往表现不佳，因为它们依赖于隐式的对话历史、草稿本（scratchpads）或自由形式的工具轨迹。这些方法难以追踪已落地的证据、识别缺失的属性，或确定证据链何时完成。因此，该问题不仅被视为一个上下文规模化问题，更被定义为一个状态维护问题。

方法论：Omni-Decision

作者提出了 Omni-Decision，这是一个无需训练的系统，它将全模态问答重新定义为一个查询范围内的证据闭合过程（query-scoped evidence-closure process）。其核心创新在于维护一个显式的、结构化的、可更新的证据状态（Evidence State, $S_t$ ），该状态作为整个推理循环的中心控制对象。

1. 查询范围内的证据状态

与通用的视频记忆或工具日志不同，证据状态是针对当前查询特定的，包含四个可变组件：

$E_t$ （已确认证据）： 具有来源和时间支持的已确认证据原子。
$C_t$ （未解决冲突）： 记录了证据来源之间的矛盾。
$F_t$ （事实/计算依赖）： 追踪外部事实、实体属性补全以及计算结果。
$U_t$ （开放式证据需求）： 列出了未解决的问题和不确定性。

系统在进行任何工具调用之前，从查询初始化 $S_0$ 。随着智能体与工具交互，状态会进行确定性更新。

2. 推理循环与控制

系统在一个循环（算法 1）中运行，其中所有的决策模块都从共享的状态视图中读取信息，而只有一个模块负责写入：

规划器（Planner）： 读取不可变上下文（ $R_0$ ）的有限摘要和当前状态（ $S_t$ ），以选择下一步动作（使用工具或结束）。
工具（Tools）： 执行动作（例如：视频落地、网页搜索、代码执行）并返回观测结果。
评论家（Critic）： 验证新的观测结果是支持、冲突还是留下了当前的证据需求。
还原器（Reducer）： 唯一向状态写入内容的组件。它将观测结果和评论家的判定归一化为类型化的事件，并使用确定性的字段更新规则将其提交至 $S_{t+1}$ 。
终结器（Finalizer）： 仅当状态指示就绪时才起草答案。

3. 就绪度与停止条件

答案的就绪度严格由状态导出，而非作为独立的规划器决策：
$\text{ready}(S_t) = (U_t = \emptyset) \land \text{complete}(F_t) \land (C_t = \emptyset)$
只有当所有开放的需求都被填补、所有依赖项都已解决且不存在冲突时，系统才会以“充分”的状态终止。如果没有任何可用动作能合理地减少开放需求或解决冲突，系统会以“不充分”的状态停止，而不是强行给出一个缺乏支持的答案。

核心贡献

形式化定义： 作者将全模态证据寻求型问答定义为一个查询范围内的证据闭合问题，要求智能体显式地维护落地的实体、开放的属性、跨实体的关系以及外部依赖，而非依赖于隐式历史。
系统设计： 他们提出了 Omni-Decision，一个无需训练的证据状态系统。其关键架构区别在于：规划、验证、修复和停止都以相同的状态视图为条件，而还原器是状态的唯一写入者。这使得轨迹是可检查、可回放且可消融实验的。
评估： 该系统在 OmniGAIA（开放世界、工具增强型）和 WorldSense（自包含音视频多选题）上进行了评估，证明了显式状态控制在不同任务格式下均能提升性能。

实验结果

OmniGAIA（开放世界证据收集）

性能： Omni-Decision 在 OmniGAIA 基准测试中达到了 45.6% 的准确率。
提升： 这比官方 OmniGAIA 基础智能体（18.33%）提升了 27.3 个百分点，比 WorldSense 基线（对于 OmniAgent 为 28.1%，而 Omni-Decision 为 58.3%）提升了 30.2 个百分点。
消融实验： 移除证据状态（无状态消融）导致准确率显著下降（例如，在默认配置下下降了 9.17 个百分点），证实了其增益可以从规划器或感知后端的选择中分离出来。
失败分析： 对 40 个中/高难度案例的审计显示，许多“错误”的运行实际上沿着证据链取得了部分进展，但被未闭合的感知或检索槽位所阻碍，而非未能启动。

WorldSense（自包含音视频）

性能： Omni-Decision 在 WorldSense 上达到了 58.3% 的准确率。
可迁移性： 尽管该基准测试中没有外部工具（网页搜索、浏览），但证据状态系统依然有效，能够组织内部媒体证据以完成多项选择题。这支持了其观点，即状态接口是一个独立于特定数据集工具的系统级控制机制。

意义与主张

论文声称，Omni-Decision 证明了长程多模态控制不应留给隐式的对话历史。通过将查询范围内的证据状态作为核心控制对象，系统可以：

定向证据获取： 直接识别并追踪特定的缺失证据需求。
保留稀疏线索： 维护在长篇自由形式轨迹中可能会丢失的跨模态线索。
实现可检查的控制： 提供一个清晰的机制，基于证据闭合的状态进行修复、冲突解决和停止。

作者将 Omni-Decision 定位为一个系统级控制接口，而非一个固定的多角色实现。他们强调，其贡献在于读/写契约（模块消费共享状态，仅提交归一化后的事件），而非具体的角色或工具数量。论文最后指出，虽然该系统显著改善了关于“缺失什么”以及“何时继续”的决策能力，但它并不能取代底层模型对低级感知能力或校准不确定性的需求。