🤖 AI

Orchestra-o1: Omnimodal Agent Orchestration

本文介绍了 Orchestra-o1，这是一个全模态智能体编排框架，它通过统一的编排机制和决策对齐的组相对策略优化（DA-GRPO），实现了跨文本、图像、音频和视频等多种输入的有效多智能体协作，并在 OmniGAIA 基准测试中达到了最先进的性能。

原作者： Fan Zhang, Vireo Zhang, Shengju Qian, Haoxuan Li, Hao Wu, Jinyang Wu, Donghao Zhou, Zhihong Zhu, Zheng Lian, Xin Wang, Pheng-Ann Heng

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fan Zhang, Vireo Zhang, Shengju Qian, Haoxuan Li, Hao Wu, Jinyang Wu, Donghao Zhou, Zhihong Zhu, Zheng Lian, Xin Wang, Pheng-Ann Heng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图破解一个庞大且复杂的谜团。你手里有一张写着线索的纸条、一张嫌疑人的照片、一段语音录音以及一段犯罪现场的视频。

旧方法（原生智能体/Native Agents）：
在过去，研究人员试图通过雇佣一位“超级侦探”（单个 AI 模型）来解决这个问题。他们期望这一个人能阅读纸条、分析照片、聆听音频、观看视频，然后独自完成整个解决方案。问题在于，即使是最聪明的“超级侦探”也会感到不堪重负。他们可能会因为忙于看照片而忽略了音频中的细节，或者在试图同时处理所有事情时感到混乱。这就像要求一位厨师同时烹饪十道菜、洗碗并管理餐厅的财务一样。

新方法（Orchestra-o1）：
这篇论文介绍了 Orchestra-o1，它改变了游戏规则。它不再是寻找一位“超级侦探”，而是创造了一位指挥家来领导一支由专业专家组成的团队。

以下是它的工作原理，使用简单的类比：

1. 指挥家（主智能体）

Orchestra-o1 中的“主智能体”本身并不负责繁重的体力活。把它想象成管弦乐队的指挥家。

它不演奏小提琴或架子鼓。
它的职责是倾听问题，观察所有的线索（文本、图像、音频、视频），然后决定：“谁来处理这一部分？”
它将这个大谜团拆解成更小、更易于管理的任务。

2. 专家们（子智能体）

一旦指挥家弄清楚了需要做什么，它就会召唤合适的专家：

音频专家： “嘿，听一下这段录音，告诉我事件发生的具体时间。”
视觉专家： “看看这张照片，告诉我这座建筑位于哪个城市。”
网络研究员： “去网上查一下那个城市的时区。”
计算器： “进行数学运算，将当地时间转换为世界标准时间。”

3. 超能力：并行处理

这是 Orchestra-o1 变得非常高效的地方。

旧方法（线性）： 指挥家会询问音频专家，等待回答；然后询问视觉专家，等待回答，以此类推。这就像一场接力赛，每个人都要等待前一名选手跑完。
Orchestra-o1 方法（并行）： 指挥家同时发出所有指令！音频专家、视觉专家和网络研究员同时开始工作。
结果： 团队完成工作的速度快得多，因为他们不需要互相等待。论文通过数学证明了这一点：如果你有 5 个独立的任务，一个接一个地做需要 5 小时，但同时进行大约只需要 1 小时（加上汇总结果的一点点时间）。

4. 记忆（上下文）

随着专家们完成任务，他们会将发现的结果交给指挥家。指挥家不会只是把它们堆在一起，而是会将它们整理进一本“记忆笔记本”。

如果音频专家说“是上午 7:49”，而视觉专家说“是在布拉格”，指挥家就会写下：“布拉格时间上午 7:49。”
它保持笔记本的有序，这样在解决下一个谜题时就不会感到困惑或遗忘细节。

5. 训练指挥家（DA-GRPO）

论文还解释了他们是如何训练一个开源 AI（一个较小的、免费的模型）来担任这个指挥家的角色。

他们不仅仅是告诉 AI“给出正确答案”。
相反，他们使用了一种名为 DA-GRPO 的特殊训练方法。你可以把它想象成一位严厉的教练，注视着指挥家的每一个动作。
教练不仅根据最终答案给分，还会根据指挥家如何决定分配工作来评分。他们选择了正确的专家吗？他们提出了正确的问题吗？他们使用了正确的工具吗？
通过奖励这些优秀的决策，这个小型的 AI 学会了成为一名出色的指挥家，尽管它最初并不是为此设计的。

结果

论文在名为 OmniGAIA 的困难基准测试上测试了这个系统（该测试混合了文本、图像、音频和视频）。

冠军： 当 Orchestra-o1 使用顶尖的“指挥家”（GPT-5）时，它以显著优势击败了最强的单个“超级侦探”（Gemini-3-Pro），准确率高出 10.3%。
黑马： 即使使用他们自己训练的较小的 AI（Orchestra-o1-8B）作为指挥家，它仍然大幅超越了所有其他的开源“超级侦探”，成功率从 20.8% 提升到了 30.0%。

总结：
Orchestra-o1 证明了对于复杂的、多感官的问题，拥有一个协调专家团队并行工作的聪明管理者，比依靠一个试图独自完成一切的过度劳累的天才要好得多。它让 AI 在解决现实世界的谜题时变得更快、更便宜、也更准确。

技术摘要：Orchestra-o1：全模态智能体编排

1. 问题定义

当前的基于大语言模型（LLM）的智能体系统已从单智能体工作流转向多智能体集群，以处理复杂任务。然而，现有的编排框架在全模态场景中面临显著局限性，这类场景要求对异构输入（文本、图像、音频和视频）进行统一理解与协同。

目前识别出两类不足以应对挑战的全模态智能体类别：

原生全模态智能体： 这些智能体采用单一的全模态大语言模型（OLLM）同时处理感知、推理、规划和工具使用。它们在长程推理、外部信息寻求以及细粒度跨模态理解方面表现挣扎，往往导致在复杂基准测试上的表现欠佳（例如，Gemini-3-Pro 在 OmniGAIA 上的准确率为 62.5%）。
基于编排的智能体： 虽然这些系统将高层推理与底层模态处理解耦，但现有的开源框架通常局限于文本或视觉语言任务，依赖于僵化的线性工作流，且缺乏动态调整智能体角色或并行执行子任务的灵活性。

核心挑战在于设计一个能够支持模态感知任务分解、在线子智能体专业化以及并行执行的框架，以有效应对涉及多样化信息源的现实世界任务。

2. 方法论：Orchestra-o1 框架

Orchestra-o1 被提议为一个全模态智能体编排框架，它将高层编排与专门的感知及动作执行分离。

核心架构

该系统由主智能体（编排器）、子智能体后端池以及统一工具生态系统组成。

统一工具生态系统： 包括感知工具（图像、音频、视频分析）和动作工具（网页搜索、页面访问、代码执行）。
灵活的后端： 支持用于主智能体和子智能体的异构模型（开源和商业模型）。每个后端都以技能向量和成本-延迟特性为特征。

关键机制

模态感知的任务分解：
- 主智能体在未解决的子目标上诱导出一个潜在的依赖图。
- 它为每个子目标预测模态掩码（需要哪些输入）和工具掩码。
- 它选择一个准备就绪的并行批次（即依赖关系已满足的子任务）进行同步执行，而非遵循线性序列。
后端与工具分配：
- 模型选择： 主智能体根据后端能力匹配子任务需求，并优化一个成本感知的匹配得分（平衡能力匹配度、单位成本和延迟）。
- 工具选择： 基于稀疏覆盖目标分配工具，以确保在不产生冗余的情况下收集必要的证据。
并行子任务执行：
- 被委派的子任务由独立的 ReAct 式子智能体异步执行。
- 该框架在理论上证明了其相对于线性编排具有延迟优势，其中每一轮的延迟由并行任务中的最大执行时间加上同步开销决定，而非所有执行时间的总和。
上下文记忆与迭代优化：
- 一个结构化记忆存储来自子智能体的证据。
- 主智能体压缩此上下文以保持在 Token 预算内，优先考虑信息的关联性和成功的证据。
- 该过程循环往复，直到证据充分性得分触发最终答案的生成。

理论依据

论文提供了一个信息论命题，指出编排产生的的信息增益（ $I(Y; E_{orch} | q) > I(Y; E_0 | q)$ ）高于原生智能体。通过将模态感知的子任务分配给专业的后端，系统保留了更多与最终答案相关的有效信息，从而在对数损失下实现了更小的期望风险。

3. 训练方案：DA-GRPO

为了使开源模型能够胜任高效的主智能体，作者提出了决策对齐群体相对策略优化（DA-GRPO）。

数据策展： 使用基于种子的方法从公开数据集（如 FineVideo, LongVideoBench）生成多样化的训练数据。它利用“锚点事实”来确保重写的题目在改变推理路径（如轴心切换、时间偏移）的同时，仍能保留本质的感知证据。
奖励设计： 不同于专注于最终答案正确性的标准 GRPO，DA-GRPO 使用多维量表评估步骤级编排决策：
1. 格式奖励： JSON 输出的有效性。
2. 动作奖励： 动作及其参数的有效性。
3. 工具奖励： 工具和子任务分配的合理性。
4. 决策奖励： 整体编排策略的质量。
优化： 该方法在采样决策组内计算相对优势，并优化策略以对齐高质量的参考轨迹，从而为委派、工具选择和停止准则提供稠密反馈。

4. 实验结果

该框架在 OmniGAIA 基准测试上进行了评估，涵盖了不同领域（地理、技术、历史等）的文本、图像、音频和视频输入。

商业模型表现

Orchestra-o1-GPT-5 达到了 72.8% 的 SOTA（最先进）综合准确率。
这比最强的原生商业模型（Gemini-3-Pro，62.5%）实现了 10.3% 的绝对提升，并比编排基线 AOrchestra-GPT-5（40.0%）提升了 32.8%。
这种增益在所有类别和难度等级中均保持一致，在需要多步推理的“困难”任务上提升尤为显著。

开源模型表现

Orchestra-o1-8B（使用 DA-GRPO 在 Qwen3-8B 上训练）达到了 30.0% 的准确率。
尽管使用了更小的 8B 骨干网络，它仍大幅超越了最强的开源基线 OmniAtlas-Qwen3-30B-A3B（20.8%）。消融研究证实，编排架构本身提供了强大的归纳偏置（将准确率从 12.5% 提升至 26.3%），而 DA-GRPO 与 SFT 或原生 GRPO 相比，进一步增强了战略决策能力。

效率

Orchestra-o1 展示了卓越的成本效益。它以 341.6 的成本实现了 72.8% 的准确率，而 AOrchestra 需要 565.7 的成本才达到 40.0% 的准确率。
这种效率源于独立子任务的并行执行以及精确的工具/后端选择，避免了不必要的昂贵调用。

5. 意义与贡献

论文声称有三大主要贡献：

全模态智能体编排框架： Orchestra-o1 提供了一个可扩展的开源框架，将高层规划与专门执行解耦。通过实现模态感知分解和并行调度，它填补了当前智能体研究与现实世界任务异构性之间的空白。
高效训练方案 (DA-GRPO)： 所提出的算法使开源模型能够获得强大的编排能力。通过利用多维奖励将步骤级决策与高质量轨迹对齐，它使得紧凑型模型（如 8B 模型）能够超越大型原生全模态模型。
多维度验证： 广泛的实验验证了显式编排是实现全模态智能的一条可行且优越的路径。结果表明，提升智能体智能不仅依赖于扩展原生 OLLM 的规模，还依赖于学习如何以原则性的方式协调专门的智能体、工具和证据源。

作者总结道，虽然未来的工作将探索诸如音视频协作编程等实际场景，但目前的工作为通过结构化编排处理复杂的、异构的智能体任务建立了一种新的范式。