ToolRosetta: Bridging Open-Source Repositories and Large Language Model Agents through Automated Tool Standardization

本文提出了 ToolRosetta 框架，通过自动将开源代码库转换为可执行的 MCP 工具并集成安全检测，使大语言模型代理能够自主规划并调用现有工具以高效完成复杂任务，从而显著降低了代码复用与部署的人力成本。

要点

这篇论文介绍了一个名为 ToolRosetta（工具罗塞塔）的新系统。为了让你轻松理解，我们可以把它想象成一位超级翻译官兼万能管家，专门解决大模型（AI）“想干活但没工具用”的尴尬局面。

1. 核心痛点：AI 很聪明，但“手”被绑住了

想象一下，你有一个超级天才厨师（大语言模型 LLM），他脑子里知道全世界所有的菜谱，能做出任何美食。但是，他的厨房里只有锅碗瓢盆，没有具体的食材，也没有现成的调料瓶。

• 现状：世界上有数百万个开源代码库（就像散落在世界各地的无数种食材和秘方），但它们都锁在复杂的盒子里，包装五花八门（有的用中文标签，有的用英文，有的需要特殊的开瓶器）。
• 问题：以前的 AI 助手想做饭，必须靠人类厨师一个个去把食材拿出来、洗干净、贴上统一的标签（标准化），然后才能给 AI 用。这个过程太慢、太贵，而且根本跟不上 AI 变聪明的速度。

2. ToolRosetta 是什么？

ToolRosetta 就是一个全自动的“食材处理工厂”。

它的名字致敬了“罗塞塔石碑”（帮助人类破解古埃及文字的钥匙）。在这里，它的作用是把各种乱七八糟的开源代码，自动翻译成 AI 能听懂、能直接使用的“标准指令”。

它是怎么工作的？（三个步骤）

1. 寻宝（工具搜索）：
   当你告诉 AI：“我想分析中风病人的数据”或者“我想预测某种物种”，ToolRosetta 会立刻像侦探一样，在 GitHub（全球最大的代码仓库）里搜索相关的代码库。它不需要人类指路，自己就能找到最合适的“食材”。

2. 加工与包装（自动标准化）：
   这是最厉害的一步。找到代码后，ToolRosetta 会自动做以下事情：

   • 拆包：把代码从复杂的文件夹里拿出来。
   • 翻译：把原本晦涩难懂的代码逻辑，翻译成一种叫 MCP（模型上下文协议）的标准语言。这就好比把各种语言的食谱，统一翻译成了 AI 能一眼看懂的“标准操作手册”。
   • 打包：给每个工具穿上统一的“制服”，确保 AI 调用时不会出错。
   • 安检：在打包前，它会像海关一样检查代码，防止里面藏着病毒或恶意程序（比如偷偷删除文件或窃取数据）。

3. 试吃与纠错（自我修复）：
   如果第一次打包失败（比如缺了个零件），ToolRosetta 不会放弃。它会像一位耐心的修理工，自己分析错误原因，修改代码，直到这个工具能完美运行。

3. 它带来了什么改变？

• 从“手工定制”到“流水线生产”：
  以前，要把一个开源工具变成 AI 能用的，需要人类工程师花几个小时甚至几天去写代码、调试。现在，ToolRosetta 可以在几分钟内自动完成这个过程。

  • 比喻：以前是手工缝制衣服，现在变成了全自动的服装流水线。

• 让 AI 真正“无所不能”：
  因为有了这个工厂，AI 不再局限于人类预先准备好的那几十个工具。它可以瞬间调用成千上万个科学领域的专用工具（比如分析地震波、预测蛋白质结构、发现新材料）。

  • 比喻：以前 AI 只能玩手里有的几个玩具；现在 ToolRosetta 给了它一把“万能钥匙”，打开了整个玩具库的大门。

• 更安全：
  因为是从网上直接抓取代码，风险很大。ToolRosetta 内置了“安全卫士”，能自动识别并拦截那些试图偷数据或搞破坏的代码，确保 AI 在安全的环境下工作。

4. 实际效果如何？

论文中做了很多实验，结果显示：

• 效率高：它能把 1580 个 开源工具自动变成标准工具。
• 能力强：在解决科学难题（如中风分析、物种预测、新材料发现）时，使用 ToolRosetta 的 AI 比那些只用固定工具的 AI 强了 31% 以上。
• 通用性：它不仅能帮现有的 AI 系统变强，还能把新工具“喂”给其他 AI，让它们也立刻变聪明。

总结

ToolRosetta 就是连接“人类代码宝库”和"AI 智能大脑”的桥梁。

它不再让人类去一个个搬运砖块（写代码接口），而是直接派出一支自动化机器人军团，把散落在世界各地的代码砖块，自动砌成 AI 能直接使用的墙壁。这让 AI 从“只会聊天”变成了“真正能干活、能解决复杂科学问题”的超级助手。

技术摘要

1. 研究背景与核心问题 (Problem)

核心痛点：
尽管大语言模型（LLM）和基于模型上下文协议（MCP）的工具调用框架使得自然语言任务执行成为可能，但现有的工具调用系统面临严重的可扩展性瓶颈。

• 工具碎片化与异构性： 大量有价值的开源工具嵌入在 GitHub 等代码仓库中，具有异构的接口、不一致的依赖配置和多样的实现风格，缺乏标准化的可执行接口。
• 人工成本高昂： 目前将开源代码库转化为 LLM 可调用的 MCP 工具主要依赖人工手动封装（curation）。这一过程涉及代码理解、依赖解析、接口重写和服务器构建，耗时耗力，限制了工具库的规模。
• 复用困难： 现有的 Agent 系统（如 SciToolAgent, ChemCrow 等）通常依赖预定义的、人工筛选的固定工具集，难以覆盖长尾领域或处理分布外（OOD）任务。

目标：
构建一个自动化框架，能够将海量的开源代码仓库和 API 自动转化为 LLM 可理解、可可靠调用的标准化 MCP 工具，从而打破人工封装的限制，实现端到端的任务自动化。

---

2. 方法论：ToolRosetta 框架 (Methodology)

ToolRosetta 是一个统一的自动化翻译框架，旨在将异构领域的代码（如 GitHub 仓库、API 接口）“翻译”为 MCP 语言。其核心架构包含以下关键组件和流程：

2.1 多智能体协作架构 (Multi-Agent Architecture)

系统采用分层多智能体设计，协同完成从代码到服务的转化：

1. 规划智能体 (Planning Agent)： 负责解析用户任务，自主规划工具链，并协调整个转换工作流。
2. 工具搜索智能体 (Tool-search Agent)：
   • 利用 LLM 对用户查询进行语义解析，生成关键词。
   • 调用 GitHub API 检索相关仓库，并根据 Star 数排序。
   • 通过 LLM 评估仓库的功能完整性、代码结构及是否满足用户需求，筛选出最佳候选仓库。
3. MCP 构建智能体 (MCP-construction Agent)： 核心转换引擎，包含以下自动化流水线节点：
   • 下载 (Download)： 克隆仓库。
   • 分析 (Analysis)： 利用 DeepWiki 对源代码和 README 进行细粒度语义理解，生成结构化的功能报告（Code Report），建立代码与文档的双向映射。
   • 环境构建 (Env)： 自动解析依赖文件（如 requirements.txt），构建 Python 运行时环境并安装依赖。
   • 生成 (Generate)： 基于功能报告，利用 LLM 将业务逻辑封装为异步的 MCP 服务代码（包括 main.py, adapter.py 等），处理类型转换和异常捕获。
   • 代码检查 (Code check)： 验证工具接口与底层函数定义的映射一致性，修复导入错误。
   • 运行与审查 (Run & Review)： 执行测试套件。若失败，触发审查 - 修订 - 修复 (Review-Revise-Fix, RRF) 机制，LLM 分析错误日志（Traceback），生成修复计划并迭代修正，直到测试通过。
4. 安全智能体 (Security Agent)： 在生成过程中嵌入防御机制，检测潜在漏洞（如命令注入、路径遍历）。
5. 规划与调度 (Planning & Invocation)： 构建完成后，规划智能体根据用户需求，自主调用标准化的 MCP 工具链完成任务。

2.2 安全治理机制 (Security Governance)

针对开放生态引入的安全风险，ToolRosetta 在 MCP 生成生命周期中嵌入了基于 CIA 三元组 的自动化治理：

• 机密性 (Confidentiality)： 强制路径白名单和沙箱隔离，防止数据泄露。
• 完整性 (Integrity)： 采用参数化执行（Parameterized Execution）和逻辑解耦，防止命令注入攻击。
• 可用性 (Availability)： 实施计算电路断路器（Computational Circuit Breaking），通过预计算复杂度估计和资源配额，防止拒绝服务攻击（DoS）和财务损失。
• 风险感知执行： 对高风险操作（如删除、支付）实施“执行预览”和“显式确认”机制，防止 LLM 幻觉导致的不可逆操作。

---

3. 关键贡献 (Key Contributions)

1. 首个大规模自动化工具标准化框架： 提出了 ToolRosetta，能够自动将非结构化的开源代码库转化为标准化的 MCP 服务，无需人工干预。
2. 端到端的转换流水线： 实现了从仓库检索、语义分析、环境配置、代码生成到测试修复的全自动闭环，显著降低了工具复用的门槛。
3. 内置安全防御层： 针对自动执行任意代码的风险，设计了多层防御机制（沙箱、参数化执行、资源限制），解决了开放生态下的安全悖论。
4. 可扩展的架构设计： 虽然当前主要支持 Python，但其架构设计（检索、分析、构建、验证）不依赖于特定语言，理论上可扩展至 R、C++ 等其他语言生态。

---

4. 实验结果 (Results)

研究在 6 个科学领域（物理、地球与环境、生物、健康、科学社区与社会、计算机）的 122 个 GitHub 仓库（涵盖 35 个子学科）上进行了评估，基准数据集为 RosettaEval（387 个任务）。

4.1 转换性能 (Conversion Performance)

• 成功率：
  • 首轮转换成功率： ToolRosetta 达到 53.0%，优于仅生成 MCP 服务的 GPT-4o 基线（49.6%），但低于人类专家（82.9%）。
  • 迭代修复后： 经过 RRF 机制三轮修复，加权基准成功率提升至 68.4%。
  • 领域差异： 在健康科学（70.9%）和计算机科学（66.7%）表现最佳；在“科学社区与社会”领域提升最显著（从 28.6% 提升至 53.0%）。
• 效率：
  • 平均每个仓库转换耗时约 210.1 秒（约 3.5 分钟）。
  • 相比人类工程师（平均 1589.4 秒，约 26.5 分钟），效率提升了 7.6 倍，时间成本降低了 86.8%。

4.2 任务解决能力 (Task Solving Capability)

• 整体表现： ToolRosetta 在 6 个科学领域的宏观平均任务完成准确率为 55.6%。
• 对比基线： 在 6 个领域中的 5 个领域（物理、地球环境、健康、科学社区、计算机）排名第一，仅生物科学领域略低于 SciToolAgent。
• 分布外 (OOD) 优势： 在 21 个未覆盖在基线工具集中的 OOD 子领域，ToolRosetta 准确率达到 57.4%，远超 SciToolAgent (11.7%) 和 ChemCrow (3.3%)，证明了其处理未知任务的能力。
• 赋能现有系统： 将 ToolRosetta 生成的工具注入到现有的 OpenAgents 和 RepoMaster 框架中，分别提升了 13.4% 和 10.6% 的准确率，证明标准化工具具有可迁移的基础设施价值。

4.3 案例研究

• 中风分析： 自动检索并封装 Analyse-Stroke 仓库，完成 PCA、t-SNE 可视化、特征选择及因果分析。
• 物种预测： 基于基因序列，自动调用 Biopython 进行序列验证、GC 含量计算、BLAST 比对及物种预测。
• 钙钛矿材料发现： 闭环工作流，从文献检索、晶体结构生成、合成可行性推理到性能预测，成功发现了一种铅含量降低 50% 且效率达 17% 的配方（与预测值高度吻合）。

---

5. 意义与影响 (Significance)

1. 解决代码工程痛点： 从根本上缓解了代码复用、重现和调用的高成本与低可靠性问题，将“代码仓库”直接转化为“可调用的服务”。
2. 推动 AI for Science 的规模化： 使得 LLM Agent 能够利用海量长尾开源工具，极大地扩展了科学计算 Agent 的能力边界，特别是在缺乏预定义工具的交叉学科领域。
3. 安全与自动化的平衡： 为开放生态下的自动化代码执行提供了可行的安全治理范式，证明了在引入自动化的同时可以通过架构设计保障安全性。
4. 基础设施化： 证明了标准化的 MCP 服务可以作为通用的基础设施，赋能不同架构的 Agent 系统，促进了科学工具生态的互操作性。

总结： ToolRosetta 通过自动化手段打破了开源代码与 LLM Agent 之间的壁垒，不仅大幅降低了工具集成的门槛，还显著提升了 Agent 在复杂科学任务中的表现，是迈向通用科学智能（General Scientific Intelligence）的关键一步。