Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectory?

该论文通过“可恢复性”和“可引导性”两项测试，揭示了当前主流推理大模型在共享推理轨迹中难以有效协作的局限性，并指出其表现受蒸馏教师模型质量、强化学习及数据选择策略的显著影响。

要点

这篇论文探讨了一个非常有趣且关键的问题：当大语言模型（LLM）不再“单打独斗”，而是需要和其他模型（或人类）一起“合作思考”时，它们表现如何？

为了让你轻松理解，我们可以把这篇论文的研究比作一场**“超级侦探破案”**的实验。

1. 背景：从“独行侠”到“侦探小队”

• 现状（单打独斗）： 现在的顶级 AI 模型（比如 DeepSeek-R1, Qwen3 等）非常聪明，它们被训练成会像侦探一样，把思考过程一步步写出来（这叫“思维链”），从而在数学和编程题上取得高分。这就像是一个独行侠侦探，独自面对案件，从头到尾自己推理。
• 新场景（合作推理）： 但在现实应用中，AI 可能会遇到这种情况：
  • 一个更强的 AI 帮它理清了思路。
  • 一个人类专家指出了它的错误。
  • 或者，它不小心读到了另一个 AI 写的、关于完全不同案件的推理笔记（被误导了）。
  • 这就好比侦探在破案时，旁边突然有人递给他一张纸条，上面写着别的案件的线索，或者另一个侦探正在帮他分析。
• 核心问题： 这些习惯了“单打独斗”的 AI，当它们的思考过程被外部信息打断或引导时，还能保持清醒吗？论文把这种能力称为**“轨迹外推理”（Off-Trajectory Reasoning）**。

2. 核心实验：两个“压力测试”

为了测试 AI 的合作能力，作者设计了两个像“体检”一样的测试：

测试一：抗干扰能力（Recoverability）—— “被带偏后能拉回来吗？”

• 场景： 想象一个侦探正在查案，思路很清晰。突然，有人在他耳边大声说：“等等！我觉得这个案子其实是关于外星人绑架的！”（其实这是完全无关的干扰，或者是另一个案件的推理）。
• 目的： 看侦探能不能识破这个干扰，把思路拉回原来的案件，继续正确推理。
• 发现（反直觉的结论）：
  • 越厉害的“独行侠”，越容易晕！ 那些在标准考试（Benchmark）中拿高分的顶级模型，一旦思路被打断，反而更容易“死机”或跟着错误的思路跑偏。
  • 小模型反而更稳： 一些在考试中分数稍低的小模型，面对干扰时，反而能更快反应过来：“不对，我在查的是 A 案，不是 B 案”，然后继续工作。
  • 比喻： 就像那些最资深的专家，一旦被打断思路，容易陷入“思维定势”回不来；而新手反而因为没那么多包袱，更容易跳出干扰。

测试二：被引导能力（Guidability）—— “有人给提示，能学会吗？”

• 场景： 侦探遇到一个太难的案子，自己完全解不开。这时，一位超级专家递给他一张纸条，上面写着：“第一步应该这样想……"
• 目的： 看侦探能不能接住这个提示，顺着专家的思路，把原本解不开的案子解开。
• 发现（令人失望的天花板）：
  • 几乎都失败了： 无论给多少提示，这些 AI 模型在数学题上几乎无法利用提示来突破自己的能力上限。
  • 原因： 它们要么看不懂提示，要么即使提示里包含了答案，它们也会因为“不自信”或者“太固执”，把正确答案当成错误的，然后自己瞎编一个错误的结论。
  • 比喻： 就像给一个不会游泳的人递上一张完美的游泳说明书，他不仅没学会，反而因为太紧张，把说明书扔了，继续在水里扑腾。

3. 为什么会出现这种情况？（幕后黑手）

作者进一步研究了 AI 是怎么“练”出来的，发现三个关键因素决定了它们是否“抗造”：

1. 老师教得不好，学生也学不会（蒸馏效应）：

   • 很多小模型是向大模型“偷师”（蒸馏）学来的。
   • 惊人发现： 如果大模型老师自己“抗干扰”能力差（容易走神），哪怕它教给学生的全是正确的解题步骤，学生也会继承这种“容易走神”的坏习惯。
   • 比喻： 就像一位虽然解题全对，但脾气急躁、容易分心的老师，教出来的学生虽然步骤是对的，但一旦遇到干扰，也会跟着老师一起分心。

2. 强化学习（RL）是“特效药”：

   • 单纯靠模仿（监督微调）练出来的模型，抗干扰能力有上限。
   • 但如果让模型在试错中学习（强化学习 RL），让它经历“走错路 -> 被纠正 -> 回到正路”的过程，它的抗干扰能力会大幅提升。
   • 比喻： 就像学骑车，光看别人骑（模仿）是不够的，必须自己摔几次跤、被扶起来再骑（强化学习），才能真正学会保持平衡。

3. 数据太少反而不稳定（Less is More 的陷阱）：

   • 最近流行一种说法：“少而精”的数据训练效果更好。
   • 发现： 用极少的高质量数据训练的模型，虽然考试分高，但状态极不稳定。有时候表现神勇，有时候一碰就碎。而用大量数据训练的模型，虽然分不一定最高，但发挥更稳定。

4. 总结与启示

这篇论文告诉我们一个重要的道理：

“考试分数高”不等于“合作能力强”。

目前的 AI 模型太擅长“独自做题”了，但一旦进入多模型协作或人机协作的真实场景，它们往往显得脆弱：

• 容易被误导（抗干扰差）。
• 学不会别人的提示（引导性差）。
• 这种弱点甚至是由训练方式（老师选得不好、训练方法单一）直接导致的。

未来的方向：
我们要训练 AI，不能只盯着它能不能做对数学题，还要专门训练它**“在被打断时如何拉回思路”以及“如何虚心接受并执行他人的正确引导”**。只有这样，未来的 AI 才能真正成为人类得力的合作伙伴，而不是一个稍微一干扰就“死机”的独行侠。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为 《Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectories?》（轨迹外推理：大语言模型能否在推理轨迹上进行协作？）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

随着具备推理能力的大语言模型（如 OpenAI o-series, DeepSeek-R1, Qwen3 Thinking 等）的兴起，它们通过强化学习（RL）或蒸馏技术学会了将思维过程“言语化”（Chain-of-Thought）。然而，现有的模型大多是在**单人推理（Solo-reasoning）**模式下训练的，即模型独自生成完整的推理链。

在实际应用场景（如智能体系统、人机协作、多模型协作）中，模型的推理轨迹往往会被外部内容打断或混合，例如：

• 工具输出（代码执行结果、检索文档）。
• 其他模型或人类的中间推理步骤。
• 安全审查员的干预。

核心问题：现有的“开箱即用”的单人推理模型，是否具备**轨迹外推理（Off-Trajectory Reasoning）**的能力？即当推理轨迹中插入了非模型自身生成的、来自其他“协作方”的思维片段时，模型能否：

1. 识别并摆脱错误的干扰（恢复能力）。
2. 有效利用正确的引导来超越自身能力极限（可引导性）。

2. 方法论 (Methodology)

为了系统评估这一能力，作者提出了**“双生测试”（Twin Tests）**框架，涵盖两个极端场景：

A. 恢复性测试 (Recoverability Test)

• 目的：测试模型在面对误导性推理（Distraction）时，能否回溯并继续正确的原始推理。
• 设置：
  • 选取模型能独立正确回答的问题。
  • 截取模型原始推理的前 $m$ 个 token ($r_{og}$)。
  • 插入一段来自同一模型但针对不同问题生成的推理片段作为干扰 ($r_{steer}$)。由于是针对不同问题，这段推理在原问题中必然是错误且具误导性的。
  • 观察模型在干扰后能否“回正”，继续完成原问题的正确推理。
• 指标：最终答案的正确率。

B. 可引导性测试 (Guidability Test)

• 目的：测试模型能否利用更强模型的正确但部分的推理，解决其原本无法独立解决的问题。
• 设置：
  • 选取模型独立解决率极低（$\le 1/8$）的问题。
  • 不插入模型自身的推理，直接在开头插入来自**更强模型（Teacher）**的正确推理片段的前 $n$ 个 token。
  • 观察模型能否基于这些引导步骤，推导出正确答案。
• 指标：最终答案的正确率。

3. 实验设置 (Experimental Setup)

• 模型：评估了 15 个开源权重模型（参数量从 1.5B 到 32B），涵盖 DeepSeek-R1 系列、Qwen3 系列、QwQ、LIMO 等，分为低、中、高三个基准性能梯队。
• 数据集：
  • 数学：AIME-2024/2025, MATH-500, Minerva, OlympiadBench (共 1507 题)。
  • 代码：CruxEval, HumanEval, MBPP, EvalPlus (共 1762 题)。
• 控制变量研究：为了探究造成差异的原因，作者进行了受控实验，分析了三个后训练（Post-training）因素：
  1. 蒸馏教师模型的选择。
  2. 强化学习（RL）的使用。
  3. 数据筛选策略（如“少即是多”LIMO 策略）。

4. 关键发现与结果 (Key Results)

发现 1：基准性能 $\neq$ 协作鲁棒性 (Stronger $\neq$ Better Collaborators)

• 反直觉结论：在标准基准测试（Benchmark）中表现最强的模型，在轨迹外推理中往往最脆弱。
  • 例如，数学基准得分最高的 AM-Thinking-32B (82.6%)，其恢复性仅为 33.4%。
  • 相反，基准得分较低的 Qwen3-1.7B (59.9%)，恢复性高达 98.4%。
• 整体表现：在数学任务中，原本能正确解决的问题，一旦受到干扰，平均恢复率下降至 74.9%；代码任务下降至 59.1%。

发现 2：可引导性的“隐形天花板” (The Invisible Guidability Ceiling)

• 数学任务：所有模型在数学任务上的可引导性极低，共享子集上无一超过 10%（最高仅 9.2%）。即使使用其蒸馏教师模型作为引导，也无法提升性能。
  • 原因分析：即使引导片段中已经包含了正确答案的推导，模型也往往无法识别并采纳，反而可能因为“过度思考”而偏离正确路径。
• 代码任务：表现稍好（提升 20-50%），但这通常与模型自身的基准能力正相关，并未突破能力上限。

发现 3：推理起始阶段至关重要

• 干扰插入的位置对恢复性影响巨大。在推理轨迹的**最开始（0% 位置）**插入干扰，导致的性能下降最大。
• 归因：模型在开头复述问题（Re-stating the question）对于锚定后续推理至关重要。如果开头被干扰，模型很难找回上下文。

控制研究结论 (Control Studies)

1. 教师缺陷的传递：即使蒸馏数据只包含教师的正确轨迹，如果教师模型本身在“恢复性”上存在弱点（如 AM-Thinking），这种弱点会传递给蒸馏后的学生模型。这表明脆弱性编码在推理风格中，而不仅仅是答案的正确性。
2. RL 的积极作用：在监督微调（SFT）饱和后，**强化学习（RL）**能显著提升恢复性（提升 15-28%）。RL 通过让模型接触失败轨迹并奖励恢复行为，教会了模型“在推理出错时该怎么办”。
3. 数据筛选的方差：采用“少即是多”（LIMO）策略，仅使用少量高质量数据训练的模型，虽然基准分不错，但在恢复性上表现出极高的方差（不同检查点表现差异巨大），不如大规模混合数据训练的模型稳定。

5. 主要贡献 (Contributions)

1. 框架提出：首次系统性地定义了轨迹外推理（Off-Trajectory Reasoning），并提出了“恢复性”和“可引导性”两个互补的评估测试，填补了现有单人推理基准的空白。
2. 大规模评估：揭示了当前主流推理模型在协作场景下的严重局限性，特别是“强模型”在抗干扰和接受引导方面的脆弱性。
3. 归因分析：通过受控实验，明确了后训练决策（教师选择、RL、数据策略）对轨迹外行为的具体影响，为训练更鲁棒的协作型推理模型提供了 actionable insights（可操作的建议）。

6. 意义与启示 (Significance)

• 训练目标需调整：目前的基准优化（Benchmark Optimization）并不能保证模型具备多模型协作或人机协作所需的鲁棒性。未来的训练必须显式地包含“抗干扰”和“接受引导”的目标。
• 教师选择标准：在选择蒸馏教师时，不能仅看基准分数，还需评估其推理风格的鲁棒性，否则缺陷会被继承。
• RL 的重要性：RL 在提升模型处理错误推理和恢复能力方面具有 SFT 无法替代的作用。
• 安全与效率：该研究为构建更安全的 AI 系统（人类干预推理路径）和更高效的推理系统（大小模型协作）提供了理论依据和评估标准。

总结：这篇论文指出，当前的推理大模型大多是“独狼”，在面对外部干扰或协作引导时表现不佳。要构建真正的协作智能体，需要重新设计训练流程，专门针对轨迹外推理能力进行优化。