🤖 AI

Agentic Context Learning with Self-Discovered Specification

本文指出，大语言模型上下文学习的主要挑战不仅在于获取内容，还在于获取分布在上下文中的隐式、特定于任务的规范，并证明了一种被称为 PSCI 的简单干预措施——通过对抗性检查来提取并强制执行这些规范——在 CL-Bench 基准测试上显著优于现有基准。

原作者： Jike Zhong, Ming Li, Yuxiang Lai, Ziyan Yang, Jingyu Xie, Jihyung Kil, Zheda Mai, Shao-Yuan Lo, Ren Xiang, Konstantinos Psounis, Yuanyuan Lei

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jike Zhong, Ming Li, Yuxiang Lai, Ziyan Yang, Jingyu Xie, Jihyung Kil, Zheda Mai, Shao-Yuan Lo, Ren Xiang, Konstantinos Psounis, Yuanyuan Lei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你刚刚拿到了一本长达 40,000 页的全新、超级复杂的电子游戏说明书。这本手册里充满了背景故事、角色传记和世界历史。接着，你的朋友问了一个简单的问题：“如果我跳过一个关卡会发生什么？”

你可能会认为，最难的部分是在这本巨著中找到答案。你会想：“如果我搜索‘跳过关卡’，我就能找到规则！”但转折在于：这篇论文指出，对于现代 AI 模型而言，真正的难题不是寻找答案（内容），而是寻找告诉你在如何正确编写该答案的游戏规则（规范）。

“差一点就成功”之谜

研究人员在名为 CL-Bench 的基准测试上对此进行了测试，该测试包含 1,899 个棘手的任务，AI 需要从长文本中学习新规则。结果令人惊讶。即使是最聪明的 AI 模型（如 GPT-5.1）也只能完美完成约 22.55% 的任务。

但当他们深入观察错误时，发现了一些奇怪的现象。AI 通常并不是把事实弄错了，而是把格式弄错了。

事实： AI 知道缺失的 ID 是“404”。
规则： 手册规定，“如果你看到缺失的 ID，你必须准确写入标记 Sequence_Gap_Warning。”
错误： AI 写了“404”，但忘记了添加标记。

这是一个“差一点就成功”（near-miss）的情况。AI 知道内容，但忽略了局部规范。事实上，论文发现，测试中所有规则的 55.4% 都涉及这些特定的行为（格式、顺序、精确短语），而只有 22.6% 是关于事实内容的。

为什么“搜索”不起作用

一个自然的猜测是：“也许 AI 只是找不到手册中的正确页面。”因此，研究人员尝试了 12 种不同的方法来帮助 AI 更好地搜索，比如对文本进行摘要处理或提取相关片段。

结果呢？ 没有任何一种方法效果良好。这些侧重于搜索的最优方法得分仍然仅在 23% 左右。这表明，仅仅找到正确的页面并不是问题所在。问题在于，规则通常隐藏在背景之中——比如一段关于“事件语义”的段落中的一个脚注——除非 AI 明确寻找它们，否则它不会意识到自己需要遵循这些规则。

“私人合同”解决方案

为了证明这一点，研究人员设计了一个简单的技巧，称为 PSCI（私人规范-合同归纳法）。你可以这样理解：

在 AI 尝试回答问题之前，他们强制它进行一次“赛前会议”。

归纳（Induce）： AI 阅读整本手册，并写下它发现的所有隐藏规则的“私人合同”（例如，“规则 1：始终使用标记 Sequence_Gap_Warning”）。
生成（Generate）： AI 写出它的答案，但它必须遵循那份合同。
检查（Check）： 一个“裁判”（另一个 AI 步骤）根据合同检查答案。你使用了标记吗？你遵循了顺序吗？
修复（Repair）： 如果裁判说“不”，AI 会在向你展示之前修正答案。

结果？ 这个简单的四步过程将 GPT-5.1 的得分从 22.55% 提升到了 28.14%。这是 5.59 个百分点 的飞跃，在这一领域是非常巨大的。它在其他模型上也奏效了，例如 Qwen3.5-27B（从 14.14% 跳升至 19.42%）和 Gemini 3 Pro（从 16.14% 跳升至 22.31%）。

这排除了哪些可能性

论文非常明确地指出了哪些方法不起作用：

仅仅增加搜索： 向问题投喂更多的搜索工具并没有帮助。
仅仅加强思考： 使用原始 CL-Bench 评估中的“GPT 5.1 (High)”设置仅能让模型的得分达到 23.7%，这仍然低于 PSCI 技巧实现的 28.14%。
通用的检查清单： 如果你只是要求 AI 在没有先从当前特定语境中提取规则的情况下“检查自己的工作”，那是没有帮助的。规则必须是针对当前任务特定的。

他们有多确定？

作者对他们的发现非常有信心，因为他们进行了严格的测试。他们不仅仅是在猜测；他们运行了 17 种不同的“消融实验”（通过拆解方法来观察其有效性）。

他们证明了如果打乱规则（给 AI 一个错误的合同），得分会跌回 19.80%，这证明了规则必须与特定任务相匹配。
他们证明了如果跳过“合同”步骤，直接在生成答案后再要求 AI 检查自己的工作，则会失败。合同必须在生成答案之前写好。
他们甚至让专家检查了 100 个 AI 的答案。人类与计算机判断的一致性高达 96%，证实了 AI 确实是在变得更好，而不仅仅是在瞎猜。

核心结论

论文表明，对于 AI 要想从长文本中学习新规则，它不能仅仅做一个能找到正确书籍的好图书管理员。它需要成为一个阅读细则、写下规则合同、并在开展任何工作之前签署该合同的好律师。

虽然 28.14% 的得分是目前为止最好的，但作者指出这还不是一个“已解决”的问题。仍然有很多改进空间，特别是在“执行”部分——即确保 AI 真正遵循它为自己制定的合同。但主要的启示是明确的：上下文学习不仅仅是关于寻找答案，更是关于先发现游戏的规则。

技术摘要：基于自我发现规范的智能体上下文学习

1. 问题定义：上下文学习的瓶颈

本文探讨了上下文学习（Context Learning），这是一种在推理阶段的任务，要求大语言模型（LLMs）必须从复杂的长上下文中学习并应用全新的、特定于任务的知识，而这些知识在预训练阶段是缺失的。与传统的长文本任务（如文档理解，侧重于检索相关事实）不同，上下文学习要求模型在一个新定义的局部环境中运行（例如产品手册、监管条例或 API 规范），在该环境中，有效性的规则通常是隐性的。

尽管模型在通用语言任务上表现强劲，但在这种设定下却表现得非常挣扎。在 CL-Bench（一个专门为上下文学习设计的基准测试，包含 1,899 个任务）上，即使是最优秀的模型，其严格的任务成功率也低于 24%。作者假设，失败的原因不仅仅是无法访问长上下文中的内容，而是无法获取局部规范（local specifications）——即分布在上下文中的行为约束、格式、边缘情况处理规则以及完整性条件，这些因素决定了一个答案是否有效。

2. 实证分析与诊断

作者对 CL-Bench 进行了全面的实证研究，以诊断这些失败的根本原因：

失效模式分析： 虽然严格的任务通过率很低（22.55%），但细则层面的通过率要高得多（76.01%）。这表明模型通常能满足大部分要求，但会失败在关键的少数项上。在恰好因一个细则项而失败的任务中，75.3% 的遗漏项属于规范项（即对局部行为约束的遵循），而非事实内容错误。
需求分类法： 在 31,592 个细则项中，55.4% 用于评估规范获取（学习局部规则），而仅有 22.6% 用于评估内容获取（检索事实）。
查询与上下文的不对称性： 一个关键发现是，76.7% 的规范项无法仅从用户查询中推断出来；它们分布在周围的上下文中（例如，在示例、验证模式或重复的结构中）。然而，95.5% 的这些规范是可追溯至上下文的，这意味着它们是可学习的义务，而非隐藏的评估者偏好。
现有方法的局限性： 作者评估了涵盖检索、上下文重构、自我修正和迭代检索的十二种基线方法。没有任何一种方法比直接的全上下文提示基线高出超过一个百分点。这表明，专注于提取查询相关内容的方法之所以失败，是因为它们忽略了决定响应形式和程序的有效性相关的规范。

3. 方法论：私有规范-契约归纳 (PSCI)

为了验证“规范获取是瓶颈”这一诊断结论，作者提出了 PSCI，这是一个刻意设计得极其简单、无需训练、在测试时运行的脚手架。PSCI 包含四个连续步骤：

规范发现（归纳）： 模型从任务 ( $x$ ) 和上下文 ( $c$ ) 中归纳出一个私有规范契约 ( $K$ )。该契约是一组用于确保局部有效性的结构化义务项（格式、验证检查、排序约束）。至关重要的是，该契约是在生成之前归纳出来的，且从未被公开的评分细则所观测。
生成： 模型在任务、上下文及归纳出的契约 $K$ 的条件下，生成初始草案答案 ( $y_0$ )。
对抗性检查： 一个对抗性检查器根据 $K$ （而非公开细则）对 $y_0$ 进行审计，产生一个结构化的诊断结果 ( $d$ )，识别哪些义务已满足、部分满足或被违反。
修复： 修复步骤根据 $d$ 中识别出的违规情况对答案进行修补，生成最终答案 ( $\hat{y}$ )，在保留正确内容的同时强制执行契约。

其核心创新在于将规范契约视为一种控制对象来塑造生成过程，而非仅仅作为后验的评分器。

4. 关键结果

作者使用 GPT-5.1、Qwen3.5-27B 和 Gemini 3 Pro 在 CL-Bench 上评估了 PSCI：

达到最先进性能（SOTA）： PSCI 在 GPT-5.1 (Medium) 上实现了 28.14% 的严格通过率，相比直接基线（22.55%）实现了 +5.59 个百分点 的绝对增益（相对提升 24.8%）。这一表现甚至超过了原始 CL-Bench 评估中的 GPT-5.1 (High)（23.7%）。
跨模型泛化能力： 增益在不同模型间保持一致：
- Qwen3.5-27B： 从 14.14% 提升至 19.42%（+5.28 pp）。
- Gemini 3 Pro： 从 16.14% 提升至 22.31%（+6.17 pp）。
细则层面的增益： PSCI 将全局细则通过率提升了 +5.12 pp。值得注意的是，针对规范项的提升（缩小了 23.2% 的差距）大于针对内容项的提升（缩小了 15.5%），这证实了该方法精准打击了识别出的瓶颈。
与基线对比： 所有十二种替代基线（包括 Self-RAG、Reflexion 和迭代检索）都与直接基线的差距在 0.78 pp 以内，未能达到 PSCI 的性能水平。

5. 消融实验与机制验证

作者进行了十七项消融实验，以分离出任务特定规范的作用：

任务特定性的必要性： 混淆契约（使用来自不同任务的契约）导致性能跌破基线（19.80%），证明了规范必须与特定的任务上下文保持一致。
基于上下文的锚定： 零样本上下文衍生规范提升了性能，但通用的静态规范则不然，这证实了规范必须从当前的上下文中提取。
执行 vs. 发现： 仅进行“发现”（仅归纳契约而不进行检查/修复）达到了 26.09%，但完整的流水线（28.14%）表明，执行（enforcement） 至关重要。
控制对象 vs. 后验评分器： 在生成之后才归纳规范（先回答后排序）的表现为 23.67%，这表明契约必须作为一种控制对象来塑造生成过程，而不仅仅是作为修复指南。
计算效率： 计算量匹配的对照组（例如，通用的自我反思、重复的静态规范）未能达到 PSCI 的水平，这表明增益来自于计算的结构（规范发现与执行），而非仅仅增加了推理成本。

6. 意义与主张

本文提出了三个主要贡献：

诊断： 它指出规范获取（推断查询中隐含但可在上下文中追溯的局部义务）是上下文学习的关键瓶颈，这与内容获取截然不同。
方法论： 它引入了 PSCI，这是一个简单的、无需训练的脚手架，通过显式地归纳和执行这些局部规范，实现了最先进的结果。
机制： 它通过广泛的消融实验证明，上下文学习需要一个两阶段过程：规范发现（植根于上下文）和规范执行（通过检查与修复）。

作者总结道，上下文学习不仅取决于能否检索到正确的事实，更取决于能否获取并遵循提示词中定义的局部“游戏规则”。他们指出，虽然 PSCI 显著提高了性能，但“执行”仍然是一个残余瓶颈，因为模型经常能识别出正确的义务，却难以在最终输出中始终如一地执行它们。这项工作表明，未来上下文学习的进展需要能够更好地内化并执行这些局部有效性条件的机制。