💬 NLP

AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning

AdaReasoner 是一个多模态模型家族，它通过可扩展的数据流水线、Tool-GRPO 强化学习以及用于动态工具调节的自适应机制，将工具编排作为一种通用技能进行学习，从而实现了最先进的视觉推理能力和对未知工具的泛化能力。

原作者： Mingyang Song, Haoyu Sun, Jiawei Gu, Linjie Li, Luxin Xu, Ranjay Krishna, Yu Cheng

发布于 2026-01-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingyang Song, Haoyu Sun, Jiawei Gu, Linjie Li, Luxin Xu, Ranjay Krishna, Yu Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢但有点笨手笨脚的助手，他正试图解决一个复杂的谜题，比如走迷宫或修复一张破碎的图片。有时，这个助手会因为看不清细节或忘记了迷宫的规则而陷入困境。

AdaReasoner 是一种训练这种助手的新方法，旨在让他们不再试图在脑子里完成所有事情，而是明确知道何时该寻求帮助，向谁要什么工具，以及如何使用它。

以下是它的工作原理，我们使用简单的类比来进行说明：

1. 问题所在：“事必躬亲”的陷阱

目前的 AI 模型就像是那些被要求只用大脑来解数学题的学生。如果题目需要计算器，学生可能会靠猜测得出答案，或者尝试在脑中进行心算，结果出错。他们不知道什么时候该拿起计算器，或者可能会拿错工具（比如拿了一把尺子而不是计算器）。

2. 解决方案：“工具交响乐团”

研究人员创建了 AdaReasoner，将工具（如放大镜、地图或计算器）视为交响乐团中的乐器。AI 不再仅仅是一个独奏者；它现在是一名指挥家。

它知道何时演奏： 它学会了对于某些任务，它需要放大观察（使用“放大镜”工具），而对于另一些任务，它需要画一条线（使用“尺子”工具）。
它知道何时停止： 如果一个工具没有起到作用，它学会了放下工具并尝试另一种方法。
它能适应新乐器： 即使你给 AI 一个它从未见过的全新工具，它也可以仅通过阅读工具的说明书来搞清楚如何使用它。

3. 他们是如何训练它的（三步配方）

为了教会 AI 这些技能，研究人员使用了三步训练过程：

第一步：“剧本排练”（工具冷启动/Tool Cold Start）
想象一位戏剧老师正在给演员提供一个完美的剧本。AI 会看到高质量的示例，展示如何一步步正确地使用工具来解决问题。这教会了它基本的“动作”以及如何握住工具。
- 类比： 这就像是在让厨师真正开始烹饪之前，先向他展示如何精确地切洋葱。
第二步：“试错”游戏（工具 GRPO/Tool GRPO）
一旦 AI 掌握了基础知识，研究人员就让它玩一个通过解决谜题来获取积分的游戏。
- 如果它在正确的时间使用了正确的工具，它会获得高额奖励。
- 如果它使用的工具没有帮助，或者在没有检查的情况下盲目猜测，它会获得较少的奖励或受到惩罚。
- 类比： 这就像是一款视频游戏，AI 通过学习发现，用“喷气背包”来跨越河流是非常棒的操作，但用“喷气背包”去开门则是浪费时间。它学会了优化自己的策略。
第三步：“秘密代码”挑战（自适应学习/Adaptive Learning）
为了确保 AI 不仅仅是在死记硬背工具的名字（例如死记硬背“工具 A”总是用于测量），研究人员在训练过程中随机更改了工具的名字和描述。
- 类比： 想象你在教一个人开车，但每天你都会把“油门”的名字改为“前进”、“燃料”或“X7a2”。学生必须根据功能来学习踏板的作用，而不是根据它的名字。这确保了 AI 能够处理任何工具，即使是它从未见过的工具。

4. 结果：小脑容量，大技能

最令人兴奋的部分是，他们利用一个相对较小的 AI 模型（一个“7B”模型，就像一个聪明的大学生）赋予了它这些工具使用技能。

结果： 这个小模型在处理困难的视觉谜题时，其工具使用能力甚至击败了许多规模更大的“闭源”模型（如 GPT-5 和 Claude Sonnet 4）。
类比： 这就像是给一辆自行车配备了一套高科技齿轮和 GPS。突然之间，这辆自行车可以与法拉利赛跑，因为自行车知道如何精准地应对地形，而法拉利只是在盲目驾驶。

5. 论文中的现实世界案例

论文展示了 AI 正在进行的活动，例如：

导航迷宫： 它不再靠猜，而是使用工具找到起点和终点，然后使用“路径规划”工具画出完美的路线，避开洞穴。
修复拼图： 它使用工具找到图片中缺失的黑点，然后尝试插入不同的拼图块，直到其中一个完美契合。
阅读网站： 它使用“裁剪”工具放大特定按钮，并使用“OCR”（光学字符识别，类似于数字眼睛）工具来读取上面的文本，从而弄清楚如何准确地购买商品。

总结

AdaReasoner 教会了 AI 模型不要试图在内部完美地完成一切。相反，它教会它们成为聪明的管理者，知道何时请出专家工具来承担繁重的任务。通过学习如何即时适应新工具和新任务，即使是规模较小的 AI 也能比庞大且昂贵的系统更好地解决复杂的视觉问题。

技术摘要：DAREASONER (AdaReasoner)

问题陈述

多模态大语言模型（MLLMs）在需要细粒度感知、多步规划和中间验证的复杂视觉推理任务中经常表现不佳。虽然人类依赖外部工具来解决超出其即时认知或感知能力的难题，但目前的 MLLMs 缺乏自适应使用工具的能力。现有的方法通常依赖于僵化的、预定义的调用模式，或者受限于单工具轨迹。因此，当面对未见的工具或新颖的任务分布时，它们无法学习何时使用工具、选择哪种工具，或如何动态地协调多个工具。核心挑战在于使 MMLMs 将工具选择和编排视为一种通用的推理技能，而非特定于任务的行为。

方法论

作者引入了 AdaReasoner，一个旨在实现自适应、多轮工具规划的框架。该方法论建立在三个核心创新之上：

1. 高质量轨迹数据策展 (工具冷启动 - TC)

为了建立稳健的基础，作者提出了一个合成高保真、多轮推理轨迹的数据策展流水线。该过程包括：

抽象轨迹设计： 为视觉空间规划 (VSP)、拼图游戏 (Jigsaw puzzles) 和 GUI QA 等任务手动设计最优的解题蓝图。
复杂场景集成： 有意地引入反思与回溯（模型纠正次优结果的情况）以及显式工具失败场景（工具返回错误，迫使模型依赖自身能力的情况）。
CoT 生成： 使用强大的 LLM 生成思维链 (CoT) 推理来连接工具调用，教导模型不仅是调用什么，还要理解在步骤之间进行推理的原因和方式。

2. Tool-GRPO (工具组相对策略优化 - TG)

该框架扩展了组相对策略优化 (GRPO) 算法，以处理多轮工具调用轨迹。奖励函数旨在优化长程战略规划：

多轮奖励累积： 总奖励 ( $R_{total}$ ) 结合了格式奖励（严格遵守语法）、工具奖励（基于结构、名称和参数正确性的层级评分）以及准确率奖励（基于最终答案）。
工具使用的自适应奖励： 一种非对称奖励结构鼓励简洁的推理。如果最终预测正确，无论是否使用工具，模型都会获得奖励。如果预测错误，奖励则取决于工具使用的质量，即对于提供信息的工具化推理给予部分学分，同时惩罚缺乏依据的猜测。这将被工具视为不确定性下的后备机制，而非强制性步骤。

3. 自适应学习 (ADL) 用于泛化

为了防止对特定工具标识符的过拟合并增强对未见工具的泛化能力，作者引入了一种自适应学习机制：

标记级随机化： 工具名称和参数名称被替换为随机的字母数字字符串（例如，GetWeather $\rightarrow$ Func_X7a2）。这迫使模型仅从语义描述和上下文来推断功能。
语义级改写： 使用 LLM (Gemini 2.5 Flash) 对工具和参数描述进行改写，在保持功能意义的同时改变句法结构，确保模型学习的是鲁棒的语义理解而非特定的措辞。

核心贡献

一种全面的工具增强模型方法： 本文提出了一个统一的流水线，集成了用于多轮规划的数据策展方案、用于交互的强化学习框架 (Tool-GRPO) 以及用于增强泛化能力的自适应学习方法。
AdaReasoner 模型家族： 引入了一个新的最先进模型家族，能够进行复杂的工具规划。这些模型展现出自适应行为，学习自主采用有益工具、舍弃无关工具，并根据任务需求调节使用频率，而无需针对这些特定行为进行显式监督。
性能与泛化： 该工作证明，较小的开源模型（例如 7B 参数）可以在结构化推理任务上达到与领先的专有系统（如 GPT-5, Claude Sonnet 4）相当甚至更优的性能。它确立了有效的工具编排可以将性能瓶颈从模型规模转向工具效用。

实验结果

作者在多种基准测试上评估了 AdaReasoner，包括视觉空间规划 (VSP, VSPO)、拼图游戏 (Jigsaw-COCO, BLINK-J) 和 GUI QA (GUIChat, WebMMU)。

性能提升： AdaReasoner 的 7B 版本在各基准测试中较其基础模型平均提升了 24.9%。具体而言，它在 VSP 上达到了 97.64%，在 Jigsaw 上达到了 96.60%，超越了 GPT-5 (Jigsaw 为 80.10%) 和 Claude Sonnet 4。
自适应工具使用： 在消融实验中，模型展示了以下能力：
- 采用有益工具： 当在推理过程中引入有益工具（如用于路径规划的 A*）时，会增加其调用频率。
- 舍弃无关工具： 在 RL 训练后，抑制使用对任务无贡献的工具（如用于验证任务的 A*）。
- 调节频率： 根据任务复杂度动态调整每个样本的工具调用次数。
泛化能力： 在通过随机化进行的未见工具定义评估以及未见任务（零样本迁移）评估中，AdaReasoner 保持了高准确率和工具使用成功率，而其他方法则出现了显著的性能下降。
规模无关性： 工具增强方法使 3B 和 7B 模型都能在 VSP 上达到近乎完美的准确率，这表明工具效用可以克服内在的规模限制。

重要意义

本文认为，多模态推理的主要瓶颈正在从模型的内部推理能力转向其工具规划的有效性。通过将工具使用视为一种可泛化的推理技能而非固定能力，AdaReasoner 使较小的开源模型能够自主构建工具使用策略。这种方法使 MLLMs 能够以一种此前仅在大型专有系统中见到的自适应性和鲁棒性，来处理复杂的、多步骤的视觉问题，有效地缩小了开源与闭源模型在结构化推理领域的差距。