🤖 AI

SciToolAgent-Evo: An Ontology-Aware Self-Evolving Agent for Open-World Scientific Tool Acquisition

本文介绍了 SciToolAgent-Evo，这是一种本体感知的自我进化智能体，它通过对比学习和基于 LinUCB 的探索-利用策略，在开放世界环境中动态获取并集成新的科学工具，并通过新的 OpenSciToolBench 基准测试进行了验证。

原作者： Yuqi Tang, Chenyi Zhou, Libin Wang, Keyan Ding, Qiang Zhang, Huajun Chen

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuqi Tang, Chenyi Zhou, Libin Wang, Keyan Ding, Qiang Zhang, Huajun Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位才华横溢的侦探，但你解决的不是犯罪案件，而是科学谜团。你拥有一个装满各种小工具（如“分子称重器”或“蛋白质扫描仪”）的巨大神奇工具箱。在过去，如果你需要解决一个案例，你只能使用工具箱中已有的工具。如果完美的工具不在其中，即使你完全知道那个工具应该如何运作，你也会陷入困境。这就是当今大多数辅助科学家工作的计算机程序的现状：它们被困在一个“封闭世界”中，受限于最初教给它们的固定工具列表。

但真正的科学是混乱且开放的。有时，为了解决一个问题，你需要一个从未见过的工具。这就是“智能体”（Agent）概念出现的地方。把智能体想象成一个由大语言模型（LLM）驱动的超级聪明机器人助手——LLM是一种非常擅长理解人类语言和进行推理的AI。这些智能体非常擅长从已知列表中挑选合适的工具。然而，当列表不完整时，它们就会遇到困难。它们不知道如何表达：“我没有合适的工具，所以我需要去寻找一个新的，并学习如何在下次使用它。”那么，大问题来了：我们能否构建一种机器人科学家，它不仅能挑选工具，还能像人类研究员一样，在实战中“学习”新工具？

这正是 SciToolAgent-Evo 这篇论文所探讨的内容。来自浙江大学的研究团队构建了一种新型AI智能体，它就像一个自我进化的科学探索者。它不再受限于静态的工具箱，而是拥有一个“成长型大脑”，能够记住过去的成功与失败。当它遇到无法用现有工具解决的科学任务时，它不会放弃。相反，它会主动出击，寻找新工具，弄清楚其工作原理，并将其添加到自己的永久收藏库中。

以下是这种“自我进化”魔力的拆解步骤：

1. “进化记忆”（智能体的大脑）
想象一下，这个智能体有一个特殊的笔记本。在里面，它记录了三样东西：

技能库（Skill Library）： 常见任务的快捷方式（例如“如何计算分子的重量”）。
经验池（Experience Pool）： 关于哪里出错以及下次如何修复的笔记（例如“不要在没有容器的情况下尝试称量气体”）。
工具图谱（Tool Map）： 一个记录了它所知所有工具及其功能的地图。
每当智能体解决一个问题时，它都会更新这个笔记本。如果失败了，它会记录失败的原因；如果成功使用了新工具，它会准确地写下该工具是如何运作的，这样下次就再也不用猜测了。

2. “主动请求”（提出正确的问题）
大多数AI智能体都在等待你告诉它们要做什么。SciToolAgent-Evo 则不同。当它看到一个难题时，它不仅仅是在寻找工具，它还会将问题分解，并问自己：“我现在具体需要什么样的能力？”它会创建一个“能力购物清单”。这有助于它即使在工具名称很奇怪或者不在原始列表中的情况下，也能找到正确的工具。

3. “多臂老虎机门控”（风险承担者）
这是最聪明的部分。智能体必须做出决定：“我是应该使用我已经知道的工具（安全），还是应该尝试寻找一个全新的、未知的工具（冒险）？”为了做出这种选择，它使用了一种被称为“多臂老虎机门控”（Bandit Gate）的数学策略（得名于一种需要在拉动已知杠杆获得小奖与尝试新杠杆获得大奖之间进行权衡的博弈游戏）。

如果已知工具看起来行得通，它就会使用这些工具。
如果已知工具显得乏力，门控就会发出指令：“去探索！”于是智能体开始搜寻新工具。
一旦它找到了新工具，它会对其进行测试。如果测试通过，该工具就会获得一张详细描述其功能的“身份卡”（本体论/Ontology），并被添加到图谱中。

结果：一个新的基准测试
为了证明其理念的有效性，团队并没有仅仅针对简单问题进行测试。他们构建了一个名为 OpenSciToolBench 的新测试。把它想象成一个有四个难度的电子游戏：

第一级： 简单任务，使用1-2个工具（例如询问一个简单的事实）。
第二级： 中等任务，使用2-4个工具（例如比较两种化学物质）。
第三级： 困难任务，使用3-6个工具（例如寻找符合复杂规则的分子）。
第四级： 专家级任务，使用5-10个工具（例如设计一整套研究策略）。

该基准测试包含了跨生物学、化学和材料科学领域的 900个现实科学任务。当他们将 SciToolAgent-Evo 与其他顶尖AI智能体进行对比测试时，结果令人印象深刻。在最难的等级中，这个新智能体的表现显著优于其他模型。例如，在第三级任务中，它的正确率约为 56%，而排名第二的智能体仅为 35% 左右。

为什么这很重要
论文指出，这种方法之所以是一个重大进步，是因为它解决了“能力差距”问题。过去，如果科学家要求AI执行一项需要未知工具的任务，AI要么会失败，要么会产生“幻觉”（编造事实）。然而，SciToolAgent-Evo 会承认它不知道该工具，然后主动去寻找它、学习它，最后使用它。它创造了一个学习闭环：尝试 $\rightarrow$ 失败/寻找 $\rightarrow$ 学习 $\rightarrow$ 更新记忆 $\rightarrow$ 再次尝试。

作者发现，这种“自我进化”的特性使智能体更加稳健。即使在它所需的工具中有 70% 最初是未知的，该智能体仍能解决约 59% 的任务。这证明了该智能体不仅仅是在背诵答案，它实际上是在学习如何动态地获取和使用新的科学工具。

简而言之，SciToolAgent-Evo 就像一个永不停歇成长的机器人科学家。它始于一个微小的工具箱，但随着工作的开展，它构建起了一个庞大且有序的工具与技能库，使其能够应对真实科学发现中那些不可预测的、开放世界式的挑战。

技术摘要：SciToolAgent-Evo

问题陈述

大语言模型（LLM）智能体在组织和调用专门化计算工具以进行科学研究方面已展现出潜力。然而，现有方法主要在封闭世界假设下运行，依赖于具有静态语义的预定义工具空间。这种局限性限制了它们在开放世界科学工作流中的适用性，在这些工作流中，工具需求、能力和边界是动态演进的。在现实场景中，智能体经常遇到已知库中缺失所需工具的能力缺口。当前的框架无法有效地识别这些缺口，导致对已知工具的被动过度利用，或在需要新能力时发生失败。此外，现有的基准测试通常涉及带有显式工具名称提示的短工具链，未能评估实现开放世界工具获取所需的核能力：识别能力缺口、平衡探索与利用，以及持续巩固新知识。

方法论

作者提出了 SciToolAgent-Evo，一种用于开放世界科学工具获取的本体感知自进化智能体。该框架通过两个不同的阶段运行：知识积累和本体感知推理，并由一个分层基准测试提供支持。

1. 知识积累

在训练阶段，智能体从对比轨迹中提取可泛化的知识，而不更新骨干 LLM 的参数。

对比展开（Contrastive Rollouts）： 对于给定任务，智能体生成一条确定性的基准轨迹。如果失败，它会在不同的温度下进行探索性展开。成功的探索性轨迹与失败的基线配对，形成对比对。
知识蒸馏： 智能体通过批判这些对比对来识别关键的分歧点和失败原因。随后，它蒸馏两种类型的知识：
- 技能（Skills, $K$ ）： 针对特定任务类的抽象、可复用的工具链指导单元。
- 经验（Experiences, $E$ ）： 提供细粒度、领域特定或通用工具选择指导的非参数化提示词。
进化记忆： 智能体维护一个包含技能库、经验池和本体化工具图（ $G_K$ ）的记忆系统。

2. 本体感知推理

在推理过程中，智能体动态平衡已知工具的使用与未知工具的探索。

路由（Routing）： 智能体首先检查其记忆中是否存在匹配的技能。如果找到，则执行相关的工具链。对于没有直接技能匹配的复杂任务，它会评估难度并将流程路由至主动工具获取。
主动工具请求： 智能体不再被动地匹配原始查询，而是基于本体引导的推理制定主动工具请求（ $R_q$ ）。这些请求描述了具体的各种能力需求（例如，“计算分子量”），而不仅仅是任务目标。
强盗门控（Bandit Gate, LinUCB）： 对于每个请求，智能体从已知图（ $G_K$ $G_{K}$ ）中检索候选工具，并可能检索未知集合（ $T_U$ $T_{U}$ ）。一个基于 LinUCB 的强盗门控构建了一个四维上下文向量（可行性、置信度裕度、本体对齐度和历史成功先验），以决定执行以下操作：
- 利用（Exploitation）： 选择排名最高的已知工具。
- 探索（Exploration）： 从稀疏属性中推断效用，以检索兼容的未知工具。
在线本体补全： 一旦成功获取并使用了一种新工具，其科学本体将根据交互历史进行在线补全，并迁移到已知工具图（ $G_K$ ）中，从而实现与未来任务的无缝集成。

3. OpenSciToolBench

为了解决缺乏合适评估标准的难题，作者引入了 OpenSciToolBench，这是一个包含 900 个现实任务、涵盖四个难度级别的层次化基准测试：

Level-1： 显式工具调用（1–2 个工具）。
Level-2： 通过检索或计算进行属性分析（2–4 个工具）。
Level-3： 具有多维属性的约束感知推理（3–6 个工具）。
Level-4： 开放式研究策略制定（5–10 个工具）。
该数据集跨越生物学、化学和材料科学领域，通过涉及 LLM-as-a-Judge 和人工验证的流水线生成任务。

核心贡献

SciToolAgent-Evo： 一种新型智能体架构，集成了进化记忆（技能、经验、工具图）、主动工具请求和探索-利用强盗门控，以实现动态科学环境下的自主适应。
OpenSciToolBench： 一个包含 900 个任务、跨越四个难度级别和多个科学领域的综合基准测试，专为评估开放世界工具获取能力而设计。
实证验证： 广泛的评估表明，SciToolAgent-Evo 实现了最先进的性能，在工具使用准确度和最终答案正确性方面均显著优于竞争基准（包括 ReAct、Reflexion 和 SciToolAgent）。

结果

实验在 OpenSciToolBench 和 SciToolEval 上使用 GPT-5.4-mini 和 Gemini-3-flash 作为骨干网络进行。

性能提升： 在 OpenSciToolBench 上，SciToolAgent-Evo 分别比 GPT-5.4-mini 和 Gemini-3-flash 的第二优基准提高了 12.11 和 9.55 个百分点。在 SciToolEval 上，增益分别为 6.11 和 2.89 个百分点。
复杂度处理： 该智能体在复杂的多工具任务（Level-3 和 Level-4）中表现出显著优势，在某些情况下比上下文学习方法（CoT、ReAct、Reflexion）高出 20–30 个百分点以上。这突显了在开放工具空间中局部逐步推理的局限性。
消融实验： 取消知识积累会导致性能下降 14.87 个百分点，而禁用未知工具迁移会导致最大的性能退化（15.69 个百分点），证实了持续学习和迁移的必要性。
鲁棒性： 即使在 70% 的工具集最初未知的情况下，智能体仍保持了极具竞争力的性能（59.01% 的准确率），证明了其在挑战性开放世界设置下的鲁棒性。

意义

本文声称 SciToolAgent-Evo 代表了从封闭世界工具选择向开放世界科学工具获取的转变。通过利用本体感知的自进化机制，智能体可以持续扩展其能力，在无需重新训练骨干 LLM 的情况下，识别能力缺口并巩固新的工具知识。OpenSciToolBench 的引入提供了一个严谨的框架来评估这些能力，超越了简单的工具调用，转而评估研究策略制定和约束推理。这项工作验证了通过强盗门控平衡探索与利用，结合进化记忆，对于在动态科学环境中实现稳健适应至关重要。