🤖 AI

Cost-Effective Agent Harnesses for Abstract Reasoning and Generalization on ARC-AGI-1

本文证明了，通过配备专门的智能体架构——即“探索者-定义者流水线”（Explorer-Definer Pipeline）和“反思编排器”（Reflective Orchestrator）——一个具有成本效益且无需微调的开源权重模型（DeepSeek V3.2），能够通过将模式发现与程序合成明确分离，并自适应地重新探索变换过程，在不依赖重度测试时计算或特定基准训练的情况下，将 ARC-AGI-1 的性能从 15.50% 的基准值显著提升至 67.25% 的 pass@2。

原作者： Kabir Moghe, Peter Chin

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kabir Moghe, Peter Chin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图解决一个巨大的、复杂的拼图，而规则每当你拿起一个新的碎片时就会发生变化。这就是 ARC-AGI 基准测试：它是一个旨在测试计算机是否能在未见过该特定谜题的情况下，理解抽象模式和逻辑的测试。

长期以来，解决这些谜题需要两种昂贵的方法之一：

“暴力破解”法（Brute Force）： 雇佣一个超智能（且非常昂贵）的 AI，让它尝试数百万次随机猜测，直到碰巧成功。这会消耗大量的资金和计算能力。
“专家”法（Specialist）： 训练一个小型 AI，专门教它如何解决这些特定的谜题，并向它展示数千个示例。这种方法效果很好，但这个 AI 会变成一个只能处理特定任务的专家，无法胜任其他工作。

这篇论文的核心思想
作者 Kabir Moghe 和 Peter Chin 来自达特茅斯学院，他们提出了一个不同的问题：我们能否通过一种聪明的团队结构，让一个“通用型”AI（即没有经过此类谜题专门训练的 AI）能够出色地解决这些问题？

他们构建了一个具有成本效益的“智能体框架”（agent harness）——本质上是一个组织 AI 如何思考的管理系统。他们在一种标准的开源 AI 模型（DeepSeek V3.2）上进行了测试，该模型并未针对这些谜题进行过专门训练。

以下是他们的系统是如何运作的，我们使用一个简单的类比：

类比：侦探事务所

想象你是一名正在试图调查犯罪现场（谜题）的侦探。你拥有一支职责不同的智能体团队。

1. 旧方法（单次尝试基准线 / One-Shot Baseline）

你叫来一名侦探，向他展示犯罪现场，并问：“谁干的？”他立即给出答案。

结果： 他的正确率仅为 15.5%。他是在黑暗中盲目猜测。

2. “先思考再开口”法（思维链 / Chain-of-Thought）

你再次叫来这名侦探，但这次你要求他在给出答案之前，必须先写下他的推理过程。

结果： 准确率跃升至 30%。仅仅是写下思考过程就能有所帮助。

3. 新方法：“探索者-定义者流水线”（Explorer-Definer Pipeline）

你不再只雇佣一名侦探，而是雇佣了一个团队。

探索者（模式猎人）： 你派出 5 个不同的智能体，独立地观察犯罪现场。他们现在还不尝试解决问题；他们只是寻找线索、模式和奇特的对称性。他们会针对所见所闻撰写详细的报告。
定义者（建筑师）： 一位大师级的建筑师阅读所有 5 份报告。他们提取最好的想法，将它们结合起来，并编写出一个特定的“配方”（一段计算机程序）来解决谜题。
检查环节： 他们会在已知的线索上测试这个配方。如果失败了，他们会调整配方。
结果： 这个团队协作的方法解决了 57.5% 的谜题，且每个谜题的成本仅为 0.25 美元。他们既不需要雇佣超昂贵的 AI，也不需要训练专门的 AI；他们只是更好地组织了工作。

4. “反思编排器”（带第二次机会的老板 / Reflective Orchestrator）

作者注意到流水线存在一个问题：有时“探索者”会完全错过大局。此时“建筑师”试图修复配方，但他们陷入了试图在破碎的基础上进行修补的困境。这就像是在裂开的画布上试图创作杰作。

于是，他们增加了一个老板（编排器/Orchestrator）。

如果“建筑师”的配方失败了，老板不仅仅是要求进行微调。老板会说：“好吧，这个方法不对。让我们派出一支新的、规模更小的探索者团队，专门去寻找我们遗漏的线索。”
这使得系统能够在陷入僵局时，从一个全新的角度重新探索问题。
结果： 这个智能循环实现了 67.25% 的谜题正确率，每个谜题花费约 0.62 美元。

他们发现了什么？

这篇论文提出了关于为什么这行得通的几个关键发现：

是关于“生成”，而非“选择”：
团队发现，他们失败的主要原因并不是无法从列表中挑选出正确答案，而是最初未能生成足够多类型的想法。
- 类比： 不是团队不擅长选择正确的钥匙，而是他们带到门前的钥匙种类不够多。
- “编排器”通过在旧方法失效时，强制团队生成新的钥匙（新想法）来解决了这个问题。
“思考”工具至关重要：
他们测试了如果移除“思考”工具（一个 AI 在说话前可以记录笔记的私密草稿本）会发生什么。
- 结果： 准确率下降了近 6%。
- 类比： 这就像是强迫一名侦探在不被允许写笔记的情况下进行口头破案。他们会感到困惑并犯错。私密的“思考空间”对于复杂的推理是必不可少的。
成本与性能：
他们实现了这些高分，而无需像“暴力破解”法那样每个谜题花费数千美元，也无需像“专家”法那样从头开始训练一个新的 AI。他们是通过为现有的、价格合理的 AI 构建一个更聪明的流程来实现的。

总结

这篇论文证明了，要解决困难的逻辑谜题，并不一定需要更大、更聪明或更昂贵的 AI。有时，你只需要一个更好的管理者来组织 AI 的思考方式。通过将问题分解为步骤（寻找模式，然后构建解决方案），并允许系统在卡住时进行“重新思考”，他们利用很小的预算，将表现从 15% 提升到了接近 67%。

注：作者明确指出，他们是在一个包含 400 个谜题的公开数据集中进行的测试。他们并未声称这适用于医疗诊断、自动驾驶或其他现实世界的应用；他们仅仅证明了这在这一特定的抽象推理测试中是有效的。

技术摘要：面向 ARC-AGI-1 抽象推理与泛化的低成本智能体框架

问题陈述

本文针对在抽象推理基准测试（ARC-AGI-1）上实现强劲性能所带来的高昂成本和计算强度问题进行了研究。目前的尖端方法通常分为两种模式：

重度测试时计算（Heavy Test-Time Compute）： 使用前沿大语言模型（LLM），结合广泛的进化搜索、穷举采样或扩展的思维链（Chain-of-Thought）推理，其单任务成本通常高达数十至数百美元。
特定基准微调（Benchmark-Specific Training）： 直接在 ARC 数据上对小模型进行微调或从头开始训练，通常还会结合激进的测试时增强技术。

作者研究了第三种尚未被充分探索的模式：使用非思考模式下的开源权重模型（DeepSeek V3.2），在不进行特定基准微调且严格控制预算（每任务低于 1 美元）的情况下，实现显著的性能提升。核心假设是：廉价的一次性 LLM 调用（准确率约 16%）与高性能系统（≥50%）之间的差距，并不完全取决于模型的规模或能力，而是可以通过特定的架构工程来弥补。

方法论

本研究在公开的 400 任务 ARC-AGI-1 评估集上评估了四种架构，所有架构均运行在相同的模型（DeepSeek V3.2）上，并采用相同的网格渲染和评分协议。

1. 基线（Baselines）

一次性基线（One-Shot Baseline）： 单次 LLM 调用，无推理脚手架，返回结构化 JSON 输出。
结构化思维链（CoT）基线： 单次调用，要求模型在输出网格前先输出自然语言推理字段，以强制执行外部化思考。

2. 探索者-定义者流水线（The Explorer-Definer Pipeline）

该架构通过压缩的自然语言人工制品，将任务分解为两个连续阶段：

阶段 1（并行探索）： 一支由 $N$ 个 PatternExplorer（模式探索者）智能体组成的编队独立分析训练对。每个智能体使用私有的 think 工具进行内部审视，并使用 note_pattern 工具记录观察结果。它们的输出被压缩成一份稠密的摘要。
阶段 2（变换定义）： 一个 TransformationDefiner（变换定义者）智能体接收训练对和压缩后的探索摘要。它使用 think 工具并生成可执行的 Python 代码来实现该变换。
选择与精炼： 候选方案根据在训练对上的精确匹配准确率进行排名。通过一种 dedup-by-test-prediction（基于测试预测的去重）机制，合并产生相同测试输出的候选方案。如果一个候选方案通过了 ≥50% 的训练对但未能通过其他训练对，则会调用定义者并提供结构化的失败反馈，以精炼代码。

3. 反思式编排器（The Reflective Orchestrator）

受“该流水线是‘生成受限型’（generation-bound）”这一发现的启发（即准确率受限于候选变换的多样性，而非选择机制），编排器通过自适应能力扩展了流水线的定义者功能：

环内重新探索（Mid-Loop Re-exploration）： 如果当前的变换假设在训练对上失败严重，编排器可以生成一支由 $K=2$ 个新 PatternExplorer 组成的针对性编队。
负向引导（Negative-Leaning Guidance）： 这些新的探索者受限于关于“死胡同”和已排除规则族的结构化摘要，从而被引导向未被考察的变换空间区域。
终止条件： 当达到 100% 训练准确率、触发智能体介导的 done 调用或触及安全熔断机制（最大迭代次数、连续错误或生成限制）时，循环退出。

核心贡献

新的成本-准确率前沿： 本文引入了两种在单任务低于 1 美元的区间内运行的智能体架构：
- 探索者-定义者流水线： 在 $0.25/任务 的成本下实现了 57.50% 的 pass@2。
- 反思式编排器： 在 $0.62/任务 的成本下实现了 67.25% 的 pass@2。
- 与一次性基线相比，这两者分别实现了约 42 和 52 个百分点的提升，且无需进行特定基准的训练。
诊断后测试的方法论： 作者建立了一个可证伪的诊断结论：该流水线是生成受限（generation-bound），而非选择受限（selection-bound）。分析表明，训练对的选择捕捉到了约 95% 的可实现候选上限。这预示着进一步的增益需要更广泛的候选生成，而非更好的排序。编排器被明确设计为这一预测的架构测试，并通过在朴素 pass@2 和无偏 pass@1 中几乎一致的提升验证了这一点。
鲁棒性与消融分析：
- 探索者数量 ( $N$ )： 被确定为主要的成本-准确率杠杆；准确率随 $N$ 的增加趋于饱和，而定义者采样 ( $M$ ) 则表现出收益递减。
- Think 工具： 移除定义者的私有 think 草稿本会导致 pass@2 下降 5.75 个百分点，证实了其在审视过程中的关键作用。
- 精炼（Refinement）： 禁用训练反馈精炼会导致微乎其微的下降（-0.75 pp），表明选择层吸收了大部分收益。
- 跨模型验证： 提升轨迹在 Qwen3-235B 上同样成立，表明驱动增益的是哈纳斯（harness）架构而非特定模型。
方法论纪律： 本文倡导使用经 Token 归一化的成本报告、明确的 pass@k 定义以及自助法（bootstrap）置信区间，以确保架构主张的可审计性。

结果

性能： 反思式编排器在 400 任务公共集上实现了 67.25% 的 pass@2。这比流水线（57.50%）高出 9.75 个百分点，比一次性基线（15.50%）高出 51.75 个百分点。
成本效率： 编排器的运行成本为 ** $0.62/任务**，仅为前沿模型搜索机制（通常为$ 2–$400/任务）的一小部分。
统计显著性： 通过配对自助法分析，所有的架构演进（基线 → CoT → 流水线 → 编排器）均显示出具有统计学意义的提升（95% 置信区间排除零）。
行为洞察： 追踪分析显示，编排器生成的独特解中，约 75% 利用了自适应重新探索（spawn）机制（即流水线失败的情况），这验证了“错误抽象”失败是主要的残余误差模式。

重要性与主张

本文声称，通过**智能体哈纳斯工程（agent harness engineering）**本身，即可获得很大一部分 ARC-AGI-1 的性能，而无需专门的训练或大规模计算预算。

架构杠杆： 本研究证明，通过三个不同的架构杠杆，可以弥合简单提示词与高性能之间的差距：
1. 调用内审视（结构化 CoT）。
2. 跨调用分解（将模式发现与程序合成分离）。
3. 自适应重新探索（允许合成过程在失败时触发新的探索）。
生成 vs. 选择： 研究提供了经验证据，表明对于此类问题，准确率受限于生成的候选多样性（探索），而非选择的质量。
谦逊态度： 作者明确表示，他们并不声称在官方排行榜上创下了新的 SOTA，注意到其结果是在公共 400 任务集而非半私有留存集上得出的。然而，他们认为其方法占据了一个稀缺且有价值的成本-准确率区间，证明了高性能并不专属昂贵的专门化系统。