🤖 AI

Collaborative Agent Reasoning Engineering (CARE): A Three-Party Design Methodology for Systematically Engineering AI Agents with Subject Matter Experts, Developers, and Helper Agents

本文介绍了协作智能体推理工程（CARE），这是一种系统化、分阶段门控的方法论，它利用领域专家、开发者和大型语言模型辅助智能体三方协作的工作流，将非正式领域意图转化为严谨、可验证的规范，以在科学领域构建可靠的智能体。

原作者： Rahul Ramachandran, Nidhi Jha, Muthukumaran Ramasubramanian

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Rahul Ramachandran, Nidhi Jha, Muthukumaran Ramasubramanian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试构建一个高度熟练的机器人助手，以帮助科学家在庞大的图书馆中查找特定数据。过去，人们试图通过直接与这些机器人对话、猜测该说什么并寄希望于最佳结果来训练它们。这就像试图通过向狗大喊随机词汇来教它进行复杂的数学运算；有时或许能奏效，但大多数情况下都是一场充满试错的混乱。

本文介绍了CARE（协作代理推理工程），这是一种构建此类 AI 助手的崭新且严谨的方法。CARE 不再依赖猜测，而是将构建 AI 视为建造桥梁：你需要严格的蓝图、专家团队以及分步检查流程。

以下是 CARE 的工作原理，分解为简单的概念：

三方团队

CARE 不仅仅是人与计算机的对话，而是三方之间的对话：

领域专家（SMEs）： 了解游戏规则（例如“我们只信任 2020 年的数据”或“切勿猜测答案”）的科学家。
开发人员： 懂得如何构建机器人的工程师。
“辅助代理”： 这些是特殊的 AI 助手，其唯一职责是帮助人类彼此沟通。可以将它们视为超级高效的书记员或翻译。它们倾听科学家的意见，提出澄清性问题，并将规则以清晰、结构化的格式记录下来，以便开发人员理解。

问题：“锯齿状前沿”

论文指出，AI 就像一座锯齿状的山脉。有时它极其聪明且乐于助人；而有时它却感到困惑并编造事实。如果你是专家，你知道如何导航安全路径；如果你是新手，则可能会误入悬崖。CARE 的目标是构建 AI，使其无论由谁使用，都能像专家一样行事。

CARE 流程：五步施工现场

CARE 并非只是输入提示并寄希望于最佳结果，而是采用“阶段门控”流程。这意味着，除非当前步骤获得人类批准，否则无法进入下一步。

范围界定与分解： 团队定义目标。这个机器人确切应该做什么？ 辅助代理协助写下边界。
关键信息提取： 团队收集“工具”和“背景”。机器人可以访问哪些数据库？正确的答案看起来是什么样的？ 辅助代理将这些答案转化为检查清单。
推理策略与护栏： 这是最重要的部分。团队决定机器人如何思考。它何时应该寻求帮助？何时应该说“我不知道”？ 辅助代理起草这些规则，并由人类予以批准。
提示架构： 只有在规则确定后，团队才会编写 AI 的实际指令（即“提示”）。由于规则已经清晰，提示仅仅是对这些已批准规则的翻译，而非猜测。
基准测试与验证： 在机器人投入工作之前，它需要参加测试。团队创建一组问题，以验证机器人是否真的遵循了他们写下的规则。

“辅助代理”类比

将辅助代理想象成一位施工工头。

科学家（SME）说：“我需要一堵既安全又坚固的墙。”
开发人员说：“好的，我来建造。”
如果没有工头，他们可能会争论“坚固”的具体含义，或者开发人员可能会建造一面看起来不错但会倒塌的墙。
有了辅助代理，它会介入并说道：“科学家，‘坚固’是指能承受 500 磅的重量吗？开发人员，你的计划是否符合这 500 磅的要求？”它将确切的技术规格写入合同（即“工件”）。如果计划后来发生变化，合同也会相应更新，每个人都能确切知道发生了什么变化。

现实世界测试：NASA 案例研究

为了证明这行之有效，团队为 NASA 构建了一个 AI 代理，用于搜索海量的地球科学数据目录（NASA 通用元数据仓库）。

竞赛： 他们构建了两个代理。
- 代理 A（CARE 代理）： 使用带有辅助代理的严格五步 CARE 流程构建。
- 代理 B（基线）： 采用“旧方法”构建（仅使用相同的 AI 模型和工具，但没有严格的 CARE 流程）。
结果：
- 在包含 621 个问题的自动化大规模测试中，CARE 代理在71.7%的情况下率先找到正确答案，而旧方法仅为69.1%。
- 在由真实 NASA 科学家创建的较小且更难的测试（43 个问题）中，CARE 代理在27.2%的情况下将正确答案列入前 5 个结果，优于旧方法的20.2%。

核心结论

论文声称，通过采用一种结构化流程，让人类与“辅助代理”在构建 AI 之前共同制定清晰的规则，可以获得更可靠、更安全且性能更优的机器人。它将“提示工程”这一混乱的艺术转变为可预测的工程学科。

重要说明： 论文仅针对查找科学数据测试了该方法。除非未来的工作明确提及，否则该方法并不声称适用于医疗诊断、法律建议或其他特定领域，而本文并未涵盖这些内容。其成功严格局限于所提供的 NASA 数据搜索示例。

以下是论文《协作式智能体推理工程（CARE）：一种面向系统构建 AI 智能体的结构化三方设计方法论，涉及领域专家、开发者和辅助智能体》的详细技术总结。

1. 问题陈述

本文针对大语言模型（LLMs）存在的“锯齿状技术前沿”问题，即模型性能高度不一致且依赖于用户技能。尽管 LLMs 为科学工作流提供了潜力，但新手与专家分析师之间存在差距：

新手往往接受流畅但错误的结果，或未能充分指定约束条件。
专家则始终应用领域约束、验证输出并构建多步骤工作流。
当前局限性：构建可靠的 AI 智能体通常依赖试错式的提示词迭代，这导致系统出现静默失败、在微小变更后出现性能回退，或过度拟合于狭窄的测试用例。目前缺乏一种严谨的工程方法论，将隐性专家知识转化为显式、可验证且可维护的智能体规范。

2. 方法论：CARE（协作式智能体推理工程）

CARE 是一种阶段门控、工件驱动的方法论，它将智能体开发重构为协作工程过程。它引入了一个三方工作流，涉及：

领域专家（SMEs）：提供领域知识和约束条件。
开发者：实施技术解决方案和工具编排。
辅助智能体：基于 LLM 的协调者，充当“规范基础设施”，将非正式的 SME 意图转化为结构化、可审查的工件。

核心设计目标

CARE 将智能体解构为四个设计目标，每个目标映射到特定的工件：

交互策略与推理策略：智能体如何分解任务、管理不确定性以及验证步骤。
领域 grounding（落地/锚定）：权威知识来源和约束条件，以防止幻觉。
工具编排：选择、调用和验证外部工具（API）的逻辑。
评估与验证：用于检测性能回退的指标和基准。

五阶段流程

该方法论通过五个阶段推进，每个阶段设有严格的阶段门（需经人工批准方可进入下一阶段）：

阶段 1：范围界定与分解：定义工作流、用户和约束。辅助智能体起草初始范围工件。
阶段 2：关键信息 elicitation（获取）：结构化地收集工具（API/限制）、上下文（检索策略）和输出格式（模板/来源证明）。
阶段 3：推理策略与护栏：明确定义失败模式、安全边界和决策逻辑（例如，何时请求澄清与何时保持沉默）。
阶段 4：提示词架构与实现：利用既定模式（如规划、批判、工具使用脚手架），将已批准的工件转化为实际的智能体提示词。
阶段 5：基准测试与验证：定义真实的查询集和评分标准，以在部署前验证性能。

关键机制：辅助智能体通过重用上一阶段的工件来保持连续性，使团队能够在不丢失一致性的情况下进行迭代。所有工件均进行版本控制（例如在 GitHub 中），以支持可审计性。

3. 主要贡献

CARE 框架：引入了一种严谨的三方（SME、开发者、辅助智能体）方法论，用“规范优先”的方法取代了临时的提示词工程。
工件驱动设计：将智能体功能解构为四个明确的目标（策略、Grounding、编排、验证），并映射到具体、可审查的 Markdown 工件。
作为基础设施的辅助智能体：提出了一个新颖概念，即利用 LLM 不仅作为部署的智能体，更作为促进工具，以加速信息获取和规范制定过程，同时保持人类在审批环节中的参与。
实证验证：一项案例研究表明，采用 CARE 构建的智能体在拥有相同模型和工具访问权限的情况下，性能优于基线，证明了工程过程本身推动了性能提升。

4. 结果：NASA 地球科学案例研究

作者通过构建一个查询通用元数据仓库（CMR）API的NASA 地球科学数据发现智能体来评估 CARE。

对比：
- $cmr\_care\_v1$ ：使用 CARE 方法论构建。
- $cmr\_simple$ ：通过标准迭代提示词构建的基线"LLM + 工具”智能体（无 CARE 工件/阶段门）。
评估策略：采用双阶段基准测试方法：
1. 合成门：从研究论文中生成的 621 个查询（快速迭代）。
2. 黄金门：由 SME 制定的 43 个查询（高置信度验证）。
指标：Recall@K（在前 K 个结果中找到真实数据集的比例）。

性能结果：

指标	合成门 (n=621)	黄金门 (n=43)
指标	Recall@1	Recall@5
CARE 智能体	71.7%	27.2%
基线	69.1%	20.2%
提升	+2.6%	+7.0%

注：CARE 智能体显示出统计学上的显著改进，特别是在 SME 主导的黄金门（Recall@5）中，表明其能更好地处理复杂的专家级查询。

5. 意义与局限性

意义：

弥合技能差距：CARE 将专家工作流操作化，使智能体能够可靠地执行任务，而无需每个用户都成为提示词工程专家。
可维护性：通过将提示词视为版本化工件的派生输出，CARE 使得智能体在模型或工具变更时更易于审计、更新和维护。
可靠性：阶段门控流程强制明确定义护栏和失败模式，减少了试错式开发中常见的“静默失败”。

局限性与未来工作：

辅助智能体质量：该方法论高度依赖辅助智能体提出正确问题的能力；如果信息获取不当，可能导致约束条件缺失。
基准敏感性：结果取决于具体的基准构建；如果辅助智能体无意中针对基准分布进行优化，存在“应试教学”的风险。
模型漂移：底层 LLM 的变化可能会改变对推理策略的遵循程度，需要定期重新验证。
未来方向：作者计划跨多个领域和工具生态系统测试 CARE，以确定哪些阶段能带来最显著的性能提升。

总之，CARE 证明了系统工程——而不仅仅是模型能力——是构建面向科学和技术领域的稳健、可靠且高性能 AI 智能体的关键因素。