🤖 AI

Trajectories That Segment Themselves: Agent-Declared Boundaries as a Training Unit

本文介绍了一种训练范式，其中编码智能体通过声明可证伪的因果假设来对自身轨迹进行自我分割，从而生成高质量、变长的语义阶段，与传统的固定窗口或基于回合的标注相比，这种方式能够实现更有效的监督微调和直接偏好优化。

原作者： Jingxi Wei

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingxi Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

侦探笔记：为什么 AI 需要知道何时停止猜测

想象一下，你正试图教一个机器人去解决一个巨大且混乱的拼图。在人工智能的世界里，这个机器人被称为“智能体”（agent），而这个拼图通常是一段复杂的计算机代码。为了学习，机器人会尝试各种方法，犯错，并获得反馈。但棘手的地方在于：你如何告诉机器人它做对了还是做错了？

通常情况下，我们会观察机器人的整个旅程（从开始到结束），然后给它一个单一的评分：“做得好！”或“再试一次。”这就像是看着一名侦探破案，却只说：“你抓到了罪犯，”而没有告诉他哪条线索是突破口，或者哪个死胡同是在浪费时间。如果侦探在找到真正的线索之前，花了几个小时追逐一个假线索，那么“再试一次”的评分就会惩罚他在前期所做的正确工作。

这篇论文探讨了这个问题。它在问：我们能否教会 AI 将其漫长且混乱的旅程拆解成一个个更小、更有意义的章节？与其只是观看整部电影，AI 能否停下来并说：“好了，我刚刚完成了对这段特定代码理论的测试，现在我要转向一个新的理论了”？通过这样做，AI 可以更快地从失败中学习，因为它能准确知道是哪一个“章节”的思想出了问题，而不是因为整个“书本”得了差评就受到惩罚。

论文：当 AI 智能体编写自己的章节标题时

这篇论文介绍了一个聪明的技巧，叫做**“智能体声明边界”（Agent-Declared Boundaries）**。把它想象成给 AI 智能体一本神奇的笔记本，它必须为自己尝试的每一个新理论写下一个标题。

问题所在：“模糊”的评分

想象你在玩一款电子游戏，目标是寻找隐藏的宝藏。你尝试了一张地图，在错误的地方挖了坑；又尝试了一个指南针，在另一个错误的地方挖了坑；最后，你终于找到了宝藏。

传统方式： 游戏在结束时给你一个单一的分数。如果你犯了几个错误，你会得到一个低分。你不知道是指南针出了问题，还是你只是挖错了地方。
论文的想法： AI 智能体被要求停下来并说：“我正在测试指南针理论。”当该理论失败时，它会说：“好吧，指南针理论行不通了。现在我开始尝试地图理论。”

通过强制 AI 命名它当前的猜测（即它的“假设”），研究人员可以将漫长且混乱的旅程切割成整齐、简短的片段。每个片段都是一个“语义阶段”（semantic phase）——即 AI 专注于一个特定想法的一段时间。

他们是如何实现的：“假设账本”

研究人员为 AI 智能体设定了一条特殊规则。当智能体致力于修复代码时，它必须声明：“我认为错误在于登录系统。”然后它开始工作。如果失败了，一个“评审员”（另一个 AI）会介入并说：“不，登录系统没问题。你的登录理论错了。请尝试数据库理论。”

这创建了一个“账本”（列表），记录了智能体的猜测。

成本： 这每次猜测仅增加约 52 个 token（极少量的文本）。这就像在页面上贴一张便利贴一样，不会增加书的重量。
收益： 与其得到一个针对整个尝试的巨大“失败”标签，他们可以从同一次旅程中获得四种不同类型的学习数据：
1. 审计（Audit）： “为什么这个特定的猜测是错误的？”（即使猜测失败了，其中的教训也是有用的！）
2. 提议（Propose）： “下一步应该猜测什么？”
3. 修复（Fix）： “既然我们知道了答案，现在该如何修复代码？”
4. 偏好（Preference）： “哪种猜测更好？”

大测试：AI 真的有道理吗？

研究人员曾担心：“也许 AI 只是在随机写标题，而所谓的‘章节’实际上只是随机的文本块。”为了证明这并非事实，他们进行了一些有趣的实验，通过抹除标题，让其他人来判断章节在哪里结束。

“盲测” AI 测试： 他们给另一个 AI 一组动作列表和一组理论列表，但隐藏了哪个理论对应哪些动作。该 AI 必须猜出匹配关系。
- 结果： 该 AI 猜对的概率比随机猜测高出 2.18 倍。更棒的是，当他们将 AI 的“命名”章节与仅仅将文本切成等长块进行比较时，命名的章节在将相关动作分组方面表现得显著更好。
“代码盲测”人类测试： 一个不知道代码内容的真人观察了指令，并尝试猜测理论何时发生变化。
- 结果： 该人类正确识别了 40 个边界中的 24 个。如果他们只是随机猜测，大约只能找到 11.5 个。
“机械化”测试： 他们尝试使用简单的规则（例如“每次运行测试时切分文本”）来寻找边界。
- 结果： 这些简单的规则表现糟糕，效果并不比随机猜测好。这证明了这些边界不仅仅是关于何时进行了测试，更是关于工作的含义。

他们学到了什么？（以及他们没学到什么）

论文表明，这种方法创造了真实的、有意义的工作块，易于研究和学习。

好消息： AI 可以学会识别错误的猜测并进行纠正。当他们使用这些“基于章节”的课程训练一个新的 AI 时，它学会了对选择某些类型的猜测具有特定的偏好。然而，这种学习与训练对（training pairs）的编写方式紧密绑定。当在构建方式不同的新数据集（对抗性集合）上进行测试时，该 AI 并没有进步；它做出了与之前完全相同的选择，这表明它并未学会一种通用的、更佳的猜测技能。
现实检查： 论文非常诚实地说明了它没有证明的内容。
- 他们是在特定的编码任务集上进行的测试。
- 在这个小规模测试中，新的 AI 并没有解决更多的总问题；它解决的任务数量与旧的 AI 完全相同。
- 他们看到的“学习”是非常针对特定数据构建的。这就像完美地学会了一个特定的谜语，但并不代表已经变得擅长解决所有谜语。

总结

这篇论文并不声称已经制造出了一个能够瞬间修复任何代码的超级智能机器人。相反，它发现了一种让机器人的“思考过程”变得更加清晰的方法。通过要求机器人为它尝试的每一个理论写下一个标题，研究人员可以将一段漫长、混乱且充满错误的经历，转化为一系列清晰、简短的教训。

这就像是得到一份成绩单，上面写着“你这学期不及格”，与得到一份成绩单说“你的代数章节不及格，但你的几何章节很出色，以下是代数失败的具体原因”之间的区别。论文表明，这种详细的反馈是一种强大的教学工具，即便机器人的编程水平尚未达到专业水平。

技术摘要：自我分段的轨迹 (Trajectories That Segment Themselves)

1. 问题陈述

长程编码智能体（coding-agent）的轨迹与标准的训练单元之间存在根本性的不匹配。目前的方法依赖于三种有缺陷的信用分配机制：

逐动作信用 (Per-action credit)： 单个动作（如 grep、pytest）缺乏内在价值；其效用完全取决于它们所服务的因果假设。
终端回合标签 (Terminal episode labels)： 单一的成功/失败比特位混淆了生产性探索与放弃的方向，将逻辑合理的阶段与失败的承诺合并在一起。
固定窗口 (Fixed windows)： 任意的时间步边界（例如 $K$ 轮窗口）经常会分割连贯的调查过程，或将一个原因的放弃与另一个原因的采纳合并在一起。

这些边界源于日志记录机制而非智能体不断演进的认识状态，导致产生了奖励表面形式而非因果推理的噪声目标。

2. 方法论

2.1 智能体声明式语义自我分段

论文引入了一种在采集阶段执行的协议，通过声明式契约 (declarative contract) 让行动中的智能体暴露其自身的边界。

机制： 在使用工具的展开（rollout）过程中，智能体采用并声明一个可证伪的因果假设 ( $h_k$ )。随后，智能体在该假设下收集证据、编辑代码或运行检查。当智能体采用新的假设 ( $h_{k+1}$ ) 或轨迹终止时，该阶段结束。
成本： 与需要金标准补丁（gold patches）、特定环境词汇表、可重放环境或事后分段器的替代方案相比，这增加了极小的开销（平均每次声明 52 个 token，约占智能体输出的 9.8%）。
采集协议： 智能体尝试执行任务。如果它未能通过隐藏测试，则由评审模型（reviewer model）介入。评审器可以看到参考修复方案，但被禁止命名它。相反，评审器必须提供：(1) 对当前错误方法的否定，以及 (2) 下一步调查的最小正向方向。这迫使智能体放弃被驳斥的假设并采纳新的假设，从而创造了一个清晰的“错误原因-随后修正”的转换。

2.2 来自一次采集的四种监督目标

单次展开可以产生四种不同的训练视图，利用了信息的不对称性：

审计 (Audit) (2,721 行)： 审计者看到完成后的阶段，并对证据进行界定，以判断该方向是否合理并识别缺失的证据。这从回合标签会丢弃的跨度中恢复了教训。
提议 (Propose) (1,405 行)： 模型仅看到边界处的状态（已掩码），并且必须推导出可验证的下一个假设或识别缺失的证据。
修复 (Fix) (553 行)： 模型看到一个结果确认的原因和来源，从而将局部的诊断转化为补丁。
偏好对 (Preference Pairs) (2,551 行)： 模型看到掩码后的边界状态，并学习偏好一个推进式的开启，而非停滞或被驳斥的开启。

2.3 Phase-DPO

论文在偏好对上实现了标准的直接偏好优化 (DPO)。其目标是学习一个策略 $\pi_\theta$ ，使得在给定掩码状态 $x$ 时， $\pi_\theta(y^+ | x) > \pi_\theta(y^- | x)$ ，其中 $y^+$ 是更优的开启假设， $y^-$ 是被拒绝的假设。该阶段作为信用单位，确定了上下文的切割位置以及哪些文本是目标。

3. 核心贡献

无依赖边界： 分段由行动策略本身在声明式契约下提供，不需要外部金标准补丁、里程碑词汇表或事后分段器。边界在产生轨迹的同时随展开过程产生。
可寻址单元： 不同于由位置定义的窗口，声明的假设是一个可寻址的句柄。这实现了更细粒度的信用分配、无需步骤标注的过程监督，以及通过名称进行的引导（即针对特定猜想进行否定，而非针对整个轨迹）。
语义连贯性： 边界追踪的是智能体的推理过程，而非日志人工痕迹。
- 归因 (Attribution)： 当删除声明文本后，一个独立的模型仍能以 2.18 倍的概率（配对符号检验 $p=0.0002$ ）将动作块归因为其主导假设，表现优于等长窗口。
- 可恢复性 (Non-Derivability)： 一个代码盲（code-blind）的人类标注者能匹配 24/40 个边界（而按随机概率预期为 11.5 个），而机械的测试事件规则在严格或宽松阈值下都无法超越随机水平。
构建接口： 该协议制造了在记录工作中罕见的“错误原因-随后修正”的转换，从而从失败的搜索区域中提取出审计监督。

4. 结果

4.1 单位有效性

归因： 即使在清除声明文本后，动作块仍能归属于其主导假设，证实了边界是语义性的，而非词法性的。
可恢复性： 代码盲读者能够显著优于随机地恢复边界，尽管他们存在过度分段的情况 (1.55x)，这表明边界并非可以通过简单启发式方法轻易复现。

4.2 下游优化 (Phase-DPO)

方向敏感性： 在 2,551 个样本对上使用 27B SFT 策略进行训练，结果显示一个标签反转的臂（arm）无法复现这种分离，证实该信号并非优化器外壳的伪影。
泛化限制：
- 在对抗性构建的留出项（87 个实例）上，训练后的适配器改变了 0/91 个决策。
- 在同类构建项（来自同一生成器家族的 60 个项目）上，适配器改变了 4/60 个决策（均为从错到对），而对照组未发生变化。
- 结论： 所拟合的偏好是真实的，但受限于构建方式；它学习的是如何编写这些样本对，而非通用的能力。

4.3 展开试点 (Rollout Pilot)

在 SWE-bench Verified 上的 20 任务试点显示：

解决率： 基座 (13/20)、SFT (14/20)、Phase-DPO (14/20)。没有显著的解决率提升。
效率： Phase-DPO 显示出向更短轨迹发展的趋势（消息数减少 14.0%），但置信区间包含了零。
案例研究： 特定案例显示 DPO 做出更好的局部选择（例如保留内部默认值）或更差的选择（例如过早承诺错误的定位），凸显了更好的阶段选择并不保证全局成功。

5. 重要性与主张

论文谦虚地声称，采集阶段的分段协议和数据接口是主要贡献。

已确立的事实： 可以在无需外部依赖的情况下廉价地获得语义边界。该边界创建了一个连贯的单元，其中的动作可以归因于其主导假设，从而允许从失败的搜索方向中提取教训（审计监督）并构建偏好对。
未确立的事实： 论文并未声称在这些单元上进行训练能产生具有更优端到端编码能力或更高解决率的策略。优化信号具有方向敏感性，但目前受限于训练对的构建方式。
未来方向： 论文认为，下一个需要改变的变量应该是样本对的多样性，而非边界定义本身。边界是构成该单元的必要条件，但单元的效用取决于其结构化数据的质量和多样性。

这项工作重新定义了“信用单元”问题：通过让智能体声明其自身的因果承诺，系统制造了能够区分搜索方向而非仅仅是结果的训练数据，为更细粒度和可解释的智能体训练提供了一条路径。