🤖 AI

Learning to Configure Agentic AI Systems

本文介绍了 ARC，一种轻量级分层策略，它将智能体配置构建为半马尔可夫决策过程，以动态选择特定于查询的设置，在推理、工具使用和智能体基准测试中显著优于静态的“一刀切”设计。

原作者： Aditya Taparia, Som Sagar, Ransalu Senanayake

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Aditya Taparia, Som Sagar, Ransalu Senanayake

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明但略显僵硬的助手（一个 AI 智能体），它能解决问题、使用计算器或搜索引擎等工具，并能编写代码。目前，大多数人将这位助手视为“一刀切”的工人。如果你问一个简单的问题，比如"2+2 等于几？”，主管可能仍会派助手去图书馆，雇佣三位专家辩论答案，并花费巨资进行研究。如果你问一个超级难的问题，主管可能仍只派助手给出一个快速的、一句话的猜测。

本文介绍了一个名为ARC（智能体资源与配置学习器）的新系统，它像一个聪明且自适应的经理。ARC 不再对每个问题都使用相同的重型流程，而是学会审视具体问题，并瞬间决定：“我需要计算器吗？我需要搜索网络吗？我应该直接回答，还是应该拆解问题并检查三次？”

以下是其工作原理的分解，使用简单的类比：

1. 问题：“大杂烩”方法

目前，大多数 AI 系统就像一个厨房，厨师将所有东西都扔进锅里。无论他们是在制作简单的三明治还是举办美食盛宴，他们都使用相同的复杂食谱（工作流）和相同数量的食材（计算资源）。

结果：对于简单任务，系统浪费时间和金钱（计算资源）。对于困难任务，它可能没有使用足够的资源来获得正确答案。这就像用大锤砸坚果，或用黄油刀切牛排。

2. 解决方案：ARC 作为“智能交通控制器”

作者创建了 ARC，它就像 AI 大脑的交通控制器。

设计空间：想象一个拥有成千上万根杠杆的巨大控制室。你可以选择不同的“工作流”（例如单人回答 vs. 团队辩论）、不同的“工具”（计算器、网络搜索）以及不同的“预算”（花费多少时间/金钱）。
挑战：组合数量如此之多（数百万种），以至于你无法手动尝试所有组合。这就像试图通过在百货商店一件件试穿每一件衬衫和每一条裤子来寻找完美的着装。
对策：ARC 使用一个学习系统（强化学习）来确定哪种组合最适合每个具体问题。

3. ARC 如何“思考”（SMDP 类比）

本文使用了一个名为“半马尔可夫决策过程”（SMDP）的复杂数学术语。让我们将其翻译一下：

标准 AI：通常按步骤思考：“做这个，然后做那个。”它假设每个步骤花费的时间相同。
ARC 的视角：ARC 理解某些任务比其他任务耗时更长。
- 类比：想象点餐。
  - 选项 A：“我就随便拿点零食。”（耗时 1 分钟，成本低）。
  - 选项 B：“我要点一份包含侍酒师的五道菜大餐。”（耗时 2 小时，成本高）。
- ARC 了解到，对于短暂的饥饿感，选项 A 最佳。对于特殊场合，选项 B 值得等待。它根据问题的难度，动态选择解决方案的“持续时间”和“成本”。

4. 双层经理（分层学习）

ARC 的构建方式像一个两级管理团队：

大老板（结构策略）：这部分审视问题并决定策略。“我们需要计算器吗？我们需要搜索互联网吗？我们应该使用‘推理’工作流还是‘投票’工作流？”
撰写者（提示策略）：一旦策略选定，这部分就会为 AI 编写具体的指令。它会微调语言，例如告诉 AI“数学计算要非常小心”，或“搜索最近的新闻”。

5. 训练：试错与“精英”辅导

ARC 是如何学习的？

阶段 1：强化学习（健身房）：ARC 在练习题上尝试数千种不同的策略。如果它用廉价、快速的方法答对了，就会获得高分。如果它在简单问题上浪费金钱，就会受到惩罚。它通过试错进行学习。
阶段 2：监督微调（辅导课）：在“健身房”训练之后，系统会查看“精英”回合——即 ARC 答对且高效利用资源的回合。然后，它研究这些完美示例，以变得更加一致。这就像教练向运动员展示他们最精彩的动作，以强化良好的习惯。

6. 结果：更聪明、更经济

本文在三种类型的挑战上测试了 ARC：

推理：数学和逻辑谜题。
工具使用：需要搜索引擎或计算器的任务。
智能体任务：复杂的现实世界模拟（如预订机票）。

结果：

准确性：ARC 答对的问题数量显著多于标准的“一刀切”方法。例如，在数学问题上，其准确率提高了 30% 以上。在复杂的机票预订任务中，其成功率翻了一番。
效率：它不仅变得更好，而且是在不浪费金钱的情况下变得更好。它学会了对简单问题使用“轻量级”方法，仅在必要时才使用“重型”方法。
灵活性：它在不同的 AI 模型（包括开源和专有模型）上表现良好，证明它是一个通用的“经理”，可以运行任何 AI 助手。

总结

本文认为，与其构建一个僵化、昂贵且试图以相同方式完成所有事情的 AI 系统，不如构建一个能够学习适应的灵活系统。ARC 就是这样一个系统：一位聪明的经理，它审视每一个新问题，并瞬间决定工具、团队规模和精力的完美组合，以高效且准确地解决问题。

技术摘要：学习配置代理 AI 系统（ARC）

问题陈述

配置基于大语言模型（LLM）的代理系统涉及从庞大的组合设计空间中进行选择，该空间包含工作流、工具、令牌预算和提示。当前的方法依赖于静态启发式方法或“大杂烩”策略，即无论查询难度如何，都应用固定的配置。这种“一刀切”的方法导致两个主要问题：

性能下降：长上下文经常遭受“迷失在中间”现象的影响，即模型无法关注相关信息。
低效：静态系统通过将繁重、迭代的流程（例如，结合网络搜索的多跳推理）应用于琐碎查询来浪费计算资源，导致不必要的延迟和成本。

核心挑战在于设计空间过大，无法进行暴力搜索或手动调整。例如，一个包含少量工作流模式、工具和预算级别的适度系统，可以产生数万种结构配置，若包含提示变体，则扩展至超过 $10^5$ 种。此外，代理工作流并非原子动作；它们是具有可变持续时间和成本的时序扩展过程，这使得标准的马尔可夫决策过程（MDP）公式化不足。

方法论：ARC（代理资源与配置学习器）

作者提出了 ARC，这是一个分层强化学习框架，将代理配置公式化为 半马尔可夫决策过程（SMDP）。在此公式化中，每个配置作为一个时序扩展的“选项”，决定代理系统如何处理查询。

1. SMDP 公式化

与动作具有固定持续时间的标准 MDP 不同，ARC 将配置建模为具有可变执行时间（LLM 调用次数）和成本的选项。

状态（ $S$ ）：查询的语义嵌入与手工特征（例如，查询长度、数值密度）的拼接。
选项（ $O$ ）：每个选项代表一个完整的配置 $(\omega, t, b, p)$ ，其中 $\omega$ 是工作流， $t$ 是工具， $b$ 是令牌预算， $p$ 是提示。
奖励：一个平衡正确性与成本的效用函数： $U(q, c) = I[\hat{a} = a] - \lambda C_{cost}(c)$ 。奖励包括对令牌使用、运行时间和持续时间（LLM 调用次数）的惩罚。

2. 分层策略分解

为了管理组合复杂性，策略 $\pi_{arc}$ 被分解为两个层级：

结构策略（ $\pi_{struct}$ ）：选择工作流拓扑、工具分配和预算层级。
提示策略（ $\pi_{prompt}$ ）：基于结构选择，从语义片段库中自回归地组合特定的提示指令。
动作掩码：为了处理结构无效性（例如，将工具分配给单代理“直接”工作流），系统在训练期间应用动作掩码以剪枝无效配置。

3. 训练流程

训练过程结合了强化学习（RL）与监督微调（SFT）：

RL 阶段：使用带有塑形奖励的近端策略优化（PPO）来探索设计空间。奖励函数被分解为正确性、步骤惩罚、令牌惩罚和工具塑形项，以解决工具分配与实际使用之间的不匹配。
SFT 细化：在 RL 收敛后，系统从经验回放缓冲区中筛选出“精英”轨迹（具有高奖励的正确答案）。随后的监督微调阶段将这些成功策略蒸馏到策略网络中。这一步骤稳定了学习，减少了方差，并提供了性能底线。

4. 理论保证

本文确立了两个理论结果：

收敛性：SMDP 公式化承认唯一的最佳价值函数 $Q^*$ ，确保 RL 目标定义明确。
策略集中：SFT 阶段保证最终策略集中在高奖励配置上，确保最低性能阈值。

主要贡献

SMDP 公式化：作者将代理配置构建为 SMDP 问题，将工作流视为时序扩展的选项，以自然地处理可变的计算足迹。
ARC 框架：引入了一种轻量级分层策略，动态选择特定于查询的配置（工作流、工具、预算、提示），而无需更新骨干 LLM。
混合训练：一种结合掩码 PPO 与精英轨迹 SFT 的流程，旨在稀疏奖励下稳定学习并提高一致性。
实证验证：广泛的实验表明，学习每个查询的配置是优于静态设计的替代方案。

实验结果

作者使用 Qwen 2.5 7B 和 Gemini 2.5 Flash Lite 在推理、工具使用和代理基准测试中评估了 ARC。

推理任务：ARC 将平均推理准确率提高了 31.3%，超过了预算匹配的工具增强 LLM。在 GSM8k 上，ARC 达到了 88.6% 的准确率，优于 GEPA（83.6%）和 RL Episodes（85.2%）等强基线。
工具使用任务：ARC 将工具使用准确率提高了 13.95%。在 HotpotQA 上，它达到了 AutoGen（34.1%）的水平，并比最强的 RL 基线高出 6.3%。
代理任务：在 $\tau$ -Bench（航空）上，ARC 将 Pass $^1$ 成功率从 9.0% 翻倍至 18.0%，而固定提示优化（DSPy）则降低了性能。
效率：ARC 占据了准确率 - 成本权衡中的帕累托最优区域，与固定或基于搜索的基线相比，以更低成本实现了更高准确率。
泛化性：学习到的策略在推理任务之间（例如，从 GSM8k 到 DROP）表现出适度的可迁移性，并在模型规模（7B 到 72B）之间实现了零样本扩展，表明结构先验在很大程度上与规模无关。

意义与主张

本文主张，学习每个查询的代理配置是“一刀切”设计的一种强大替代方案。这项工作的意义在于证明了：

适应性：代理系统可以动态调整其计算足迹以适应任务难度，平衡准确率与效率。
可扩展性：轻量级控制器可以有效管理巨大的组合设计空间，而无需重新训练底层 LLM。
实用性：RL 探索与 SFT 细化的结合提供了一种处理复杂代理架构的可行方法，为构建灵活且计算高效的基于 LLM 的代理系统提供了实用方向。

作者强调，虽然在知识密集型领域提示语义可能占主导地位，但 ARC 提供的结构优化对于资源分配和处理复杂的多步交互仍然至关重要。