🤖 AI

AI Agents Do Not Fail Alone:The Context Fails First

本文确立了上下文工程质量是 AI 智能体可靠性的一个主要且可衡量的预测因子，通过 ProofAgent-Harness 证明了特定的上下文标准——例如接地充分性和护栏覆盖范围——直接决定了诸如幻觉抵抗力和指令遵循等行为结果，且这种影响独立于底层语言模型。

原作者： Fouad Bousetouane

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fouad Bousetouane

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个超级聪明的机器人如何从事一项复杂的任务，比如诊断病人或起草一份法律合同。你可能会认为，机器人的成功完全取决于它的“大脑”有多“聪明”，或者你最初的指令表达得多么完美。但在人工智能的世界里，存在着一个经常被忽视的隐藏层：上下文（Context）。不要仅仅把上下文看作一条指令，而要把它看作机器人工作的整个房间。它是墙上的地图、工作台上的工具、口袋里的规则手册、五分钟前发生的事情的记忆，以及门外传来的嘈ole声。如果房间很乱、工具是坏的或者规则手册缺了页，即使是最聪明的机器人也会感到困惑、编造事实或不小心弄坏东西。这就是 AI 智能体（AI agents） 的问题：它们的失败并不只是因为它们“笨”，往往是因为它们工作的环境设计得很糟糕。科学家称之为“上下文工程（context engineering）”，直到现在，这在很大程度上仍是一个黑盒——团队只能靠猜测来判断设置的好坏，但他们并没有一把尺子来衡量它。

这篇题为《AI 智能体并非独自失败：首先失败的是上下文》（AI Agents Do Not Fail Alone: The Context Fails First）的论文指出，我们需要停止猜测，并在要求机器人开始工作之前，先去衡量那个“房间”的质量。作者们利用一个名为 ProofAgent-Harness 的开源工具，创建了一种方法，通过七个特定的标准来给 AI 智能体的设置进行评分，例如指令是否清晰、工具描述是否完善，以及机器人是否受到了针对错误建议的保护。他们不仅仅观察机器人的成功或失败；他们隔离出了“设置”本身，以观察更好的设置是否能预示更好的行为。

以下是他们的发现：上下文确实会先于智能体失败。 在一项受控实验中，他们保持机器人的“大脑”（底层 AI 模型）完全不变，但将“房间”（上下文）从一个混乱、模糊的设置改为结构化的设置，最后改为一个带有额外安全规则的“强化型”设置。结果令人震惊。当他们从“差劲”的上下文转向“结构化”的上下文时——即角色明确、工具定义清晰且事实有据可查时——机器人的行为得到了显著改善。它抵抗编造事实（幻觉）的能力大幅提升，工具使用的可靠性更高，且关键故障率下降了约 68%。

研究还发现了一个违反直觉的现象：更便宜的设置并不总是更好的设置。 “差劲”的上下文由于短小且稀疏，使用了较少的 Token（AI 的数字货币）。然而，这种“廉价”的设置实际上是最危险的，会导致最糟糕的行为。而“强化型”的上下文包含了更多的安全规则和更清晰的指令，虽然使用了更多的 Token，却产生了一个更加可靠且安全的智能体。作者们认为，弱上下文的代价不在于金钱，而在于可靠性。

至关重要的是，这项研究表明，仅通过观察其上下文，你就可以预测智能体的行为。如果“落地性/锚定性”（提供给机器人的证据）足够强，机器人就不太可能产生幻觉。如果“护栏”（安全规则）足够清晰，机器人就能更好地抵御操纵。这意味着上下文工程不仅仅是一种创意写作练习；它是一个可衡量的、可审计的安全层。通过在机器人开始工作之前对上下文进行评分，团队可以及早发现潜在的失败，在“机器人”进入“房间”之前就修复好这个“房间”。这篇论文并不声称解决了所有的 AI 问题，但它证明了，如果你想要一个可靠的智能体，你必须先建立一个可靠的环境。

技术摘要：AI Agent 的失败并非孤立发生：上下文先失效

问题陈述

AI Agent 的失败很少是仅由模型局限性导致的孤立事件。相反，Agent 的行为从根本上受其运行“上下文”的塑造：这是一个由系统指令、工具 Schema、检索知识、记忆、护栏以及不可信外部输入动态组成的集合。虽然该领域已从简单的提示词工程（Prompt Engineering）转向更广泛的上下文工程（Context Engineering），但这种组装后的上下文质量在很大程度上仍未得到衡量。

目前的评估实践通常依赖于行为指标（例如任务成功率、安全性），这些指标揭示了 Agent 是否失败，但无法隔离出为何失败。失败可能源于弱接地（Weak Grounding）、冲突的指令、模糊的工具 Schema，或是信任内容与不可信内容之间缺乏有效隔离。由于缺乏一种测量上下文本身质量的机制，团队缺乏可靠性的领先指标，导致上下文工程仍停留在直觉驱动阶段，而非一个可审计的治理层，从而造成了操作上的盲点。

方法论

本文提出并验证了将 上下文工程质量（Context-Engineering Quality） 作为一个可衡测的独立构念。该方法论以三个支柱为中心：

1. 七项准则测量构念

作者通过七个特定准则定义了上下文质量，每个准则按 [0, 10] 评分：

角色清晰度（Role Clarity）： Agent 角色、范围和目标的明确程度。
护栏覆盖度（Guardrail Coverage）： 拒绝机制、升级路径和安全边界的规范程度。
指令一致性（Instruction Consistency）： 规则的内部连贯性与优先级。
工具 Schema 质量（Tool Schema Quality）： 工具名称、参数类型及使用指南的清晰度。
接地充分性（Grounding Sufficiency）： 支持主张的可靠证据的可获得性。
注入硬化（Injection Hardening）： 受信指令与不可信输入的隔离程度。
Token 效率（Token Efficiency）： 避免冗余材料，转而使用具备可靠性信息的效率。

2. 通过 ProofAgent-Harness 实现

该测量通过 ProofAgent-Harness 实现，这是一个用于对抗性评估的开源基础设施。其关键设计特性包括：

多陪审员共识（Multi-Juror Consensus）： 评分由多个“陪审员”视角（LLM）执行，通过辩论并调和发现结果，以减少评估器偏差。
严格隔离（Strict Isolation）： 上下文得分 ( $Q_{CE}$ ) 独立于 行为指标 ( $B$ ) 进行计算。它不影响最终的行为等级或发布决策。这种隔离至关重要，用以避免循环验证，并测试上下文质量是否能作为真正的领先指标。
证据关联发现（Evidence-Linked Findings）： 评分附带具体的发现，解释为何某项准则得分较低（例如：“缺失工具指南”或“政策冲突”）。

3. 实验验证设计

为了验证“上下文质量可以预测下游行为”这一假设，作者在三个受监管领域进行了受控研究：客户支持、医疗理赔分诊和法律合同起草。

控制变量： 固定了前沿 LLM 底座（GPT-5.5 和 Claude Opus 4.8）。
自变量： 仅在三个水平上改变运行上下文：
- C1（差）： 角色模糊、工具指导薄弱、接地能力有限、无护栏。
- C2（结构化）： 角色更清晰、工具具有类型定义、具备接地能力、组织高效。
- C3（硬化）： 在 C2 基础上增加了明确的拒绝条件、升级规则和注入隔离。
规模： 300 次多轮评估（每个领域 100 次），总计 7,500 个被评估的 Agent 轮次。
人工制品研究（Artifact Study）： 并行研究评估了生成的政策手册（Policy Runbooks），以测试其在对话之外的泛化能力。

关键结果

实验结果支持了以下假设：上下文工程质量是 Agent 可靠性的预测性、独立信号。

1. 上下文变化驱动行为变化

在保持模型固定的情况下，改变上下文显著改变了 Agent 的行为：

结构化（C1 $\to$ C2）： 从差的上下文转向结构化上下文带来了最大的行为增益。最终行为得分从 3.15 提升至 5.49，幻觉抵抗力从 3.21 提升至 5.61，关键故障率下降了约 68%。
硬化（C2 $\to$ C3）： 虽然上下文质量得分继续上升（8.1 至 8.7），但行为指标并未单调提升。硬化后的上下文使 Agent 变得更加保守，在边缘案例中略微降低了任务完成得分。这凸显了一个权衡：更严格的护栏提高了安全性，但也可能降低了在边缘情况下的效用。

2. 上下文得分追踪设计意图

测量成功区分了三个上下文水平：

C1 差： 在所有准则上得分最低（平均 4.4）。
C2 结构化： 在角色清晰度、工具 Schema 质量和接地方面表现出显著提升（平均 8.1）。
C3 硬化： 在护栏覆盖度和注入硬化方面显示出进一步的改进（平均 8.7）。

3. 准则预测行为信号

相关性分析确认了特定的上下文准则可以预测相应的行为结果：

接地充分性 强力预测 幻觉抵抗力 ( $r=0.63$ )。
护栏覆盖度 预测 操纵抵抗力 ( $r=0.60$ )。
指令一致性 预测 指令遵循度 ( $r=0.57$ )。
工具 Schema 质量 预测 工具使用可靠性 ( $r=0.47$ )。
注入硬化 预测 安全性 ( $r=0.48$ )。

4. Token 效率 vs. 可靠性

研究挑战了“越短越好”的假设。“差”的上下文（C1）单次调用的成本最低（Token 数最少），但产生的行为最危险。“硬化”的上下文（C3）虽然更贵，但显著更可靠。作者得出结论，Token 效率应被衡量为 每 Token 的可靠性价值，而非原始上下文长度。

5. 对人工制品的泛化

在人工制品研究中，具备接地能力的上下文（C2/C3）提高了生成的政策手册中的幻觉抵抗力，证明该测量方法适用于静态交付物，而不不仅仅是交互式对话。

意义与主张

本文声称建立了 上下文工程作为 Agent 评估与治理的一个可测量、可审计层级。其主要贡献包括：

定义： 它定义了上下文工程质量为一个包含七项准则的构念，超越了模糊的“提示词质量”概念，转向具体的、与失效模式对齐的指标。
实现： 通过 ProofAgent-Harness 将其操作化，并采用严格的隔离机制，确保上下文得分是一个非循环的、独立的预测因子。
验证： 它提供了经验证据，证明上下文质量是可靠性的 领先指标。通过在进行行为测试之前测量上下文，团队可以识别失效的上游原因（例如：弱接地或缺失护栏），而不仅仅是观察下游症状。

作者将这项工作定位为对抗性红队测试或人工审查的 预检诊断（Preflight Diagnostic），而非替代品。它使团队能够在进行大规模行为评估之前，迭代优化 Agent 的“运行环境”——修订工具 Schema、增加接地信息或强化注入边界。这使上下文工程从一种直觉驱动的实践转变为一种可复现的工程学科。