🤖 machine learning

A Verifiable Search Is Not a Learnable Chain-of-Thought

本文表明，尽管模型能够有效地学习验证和记忆推理任务的解法，但它们在本质上无法学习将可验证的搜索程序作为前向思维链推导进行学习，无论模型规模或训练方法如何，因为此类任务缺乏一个可以模仿的忠实的、保持信息完整的逐步路径。

原作者： Harsh Patel

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Harsh Patel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一名非常聪明但思维过于刻板的学徒如何解决一个复杂的谜题。你有一个完美的“大师级解题者”，他每次都能破解谜题。你的计划很简单：在笔记本上写下大师逐步思考的过程（即“思维链”），展示给学徒看，并期望他们能学会这种逻辑并独立解决问题。

这篇论文指出，这个计划对某些谜题有效，但对另一些谜题则会彻底失败，其原因并非学徒“笨”，而是因为解决谜题的方式不同。

以下是利用简单的类比对该论文研究结果的拆解：

1. 两类谜题

研究人员测试了九种不同类型的逻辑谜题，这些谜题可以分为两个截然不同的组别：

“直线型”谜题（简单类）：
这就像遵循食谱：“混合面粉，加入鸡蛋，烘烤20分钟。”步骤从开始到结束呈直线进行。如果你把这些步骤写下来教给学徒，他们能完美掌握。论文发现，对于罗马数字或简单的数学转换等任务，学徒可以通过模仿大师的步骤，在 99% 的情况下得到正确答案。
- 教训： 如果解决方案是一条直接路径，你可以通过展示路径来教学。
“回溯型”谜题（困难类）：
这就像是在一个巨大的、黑暗的迷宫中导航，你必须猜测哪扇门才是正确的。如果你撞到了死胡同，你必须回到起点，尝试另一扇门。大师级解题者通过尝试一扇门，意识到错了，擦除那个想法，然后尝试另一扇门来完成任务。
- 问题所在： 你无法写下一个关于这个过程的“直线型”故事。如果学徒本身不具备在实时编写过程中“回退并擦除先前想法”的能力，那么一个说“我试了门 A，失败了；我试了门 B，失败了……”的故事实际上是一个谎言。

2. “结论即标记”陷阱 (The "Verdict-as-Token" Trap)

论文发现了一个针对“回溯型”谜题（特别是被称为“字母算术题/Cryptarithm”的一种类型，即需要弄清楚每个字母代表哪个数字）的特定失效模式。

当研究人员教导学徒大师的“搜索”过程时，学徒并没有学会搜索的逻辑。相反，它学会了答案的形状。

类比： 假设大师说：“我检查了红门，它是错的，所以我排除了它。”学徒记住了“排除红门”这个短语，但并不真正理解为什么它是错的。
结果： 当学徒尝试独立解决新谜题时，它看到一扇红门，就会盲目地说：“排除红门”，即使那扇红门其实是正确的门。它是在背诵剧本，而不是在理解故事。论文称之为**“结论即标记” (Verdict-as-Token)**：模型将结论视为要说出的固定词汇，而不是基于证据的决策。

3. 为什么更大的大脑也没用

研究人员在许多不同的模型上进行了测试，从小型模型到庞大的超级智能模型（高达 6710 亿参数）。

发现： 即便是在要求展示逐步工作过程的情况下，面对“回溯型”谜题，这些巨型模型也全都失败了。它们都遇到了同样的低天花板（准确率约为 5%）。
原因： 问题不在于大脑的大小，而在于所需的思维类型。如果模型的内部架构不是设计为能在编写故事的同时保持那种“搜索状态”，你就无法强迫模型去“记住它尝试过什么并回退”。

4. “魔法钥匙”实验

为了证明问题出在“搜索”而非“数学”上，研究人员玩了一个聪明的花招。他们给了学徒一张“小抄”（密码密钥），将迷宫变成了直线。

结果： 一旦移除了搜索过程，任务变成了直线型计算，学徒的准确率从 3% 跃升至 57%。
结论： 模型完全可以完美地处理数学和逻辑。它只是无法在编写故事的同时执行“搜索”部分。

5. 真正的解决方案：记忆，而非推理

那么，竞争中的获胜者是如何解决这些难题的呢？他们并没有教模型如何搜索。

策略： 他们意识到迷宫的路径数量是有限的。与其教模型如何在迷宫中行走，不如让模型记忆每一种可能的迷宫布局图谱。
类比： 与其教学徒如何在迷宫中导航，不如给他们一本书，上面写着：“如果迷宫看起来像这样，那么答案就是那个。”模型记住了这本书（一个解决方案目录），然后只需快速检查以确保答案符合要求即可。
启示： 论文得出结论，对于这些困难的搜索问题，记忆法有效，但通过蒸馏搜索过程的方法无效。

总结

论文的核心信息是：你不能仅仅通过展示搜索步骤来教模型如何“搜索”。

如果任务是直线型的，展示步骤是有效的。
如果任务需要回溯（尝试、失败并重试），模型只会记住失败的词汇，而不是逻辑。
要解决这些困难的任务，你要么教模型进行自我搜索（这很难），要么预先计算出答案，并教模型记忆这些可能性组成的目录。

这篇论文是对 AI 研究人员的一个警告：仅仅因为一个计算机程序可以解决某个问题，并不意味着语言模型可以通过阅读该程序的笔记来学会如何通过“思考”找到该解决方案。有时，学习的唯一方式是记住地图，而不是经历旅程。

技术摘要：可验证搜索并非可学习的思维链

问题陈述

本文研究了一个关于推理蒸馏的核心假设：如果一个任务可以通过一个短小的、确定性的程序来解决，那么该程序的逻辑是否可以通过将其转化为可验证的思维链（Chain-of-Thought, CoT）并教给较小的语言模型？直觉认为，将求解器的步骤以自然语言的形式写出，并对模型进行微调，应该能够使模型复现这种推理过程。

作者通过一个受控基准测试挑战了这一直觉，该基准包含九个推理任务。该基准具有一个独特的属性：隐藏测试集的生成方式与公开训练集的确定性生成器完全一致。这确保了留出的训练数据切片可以作为测试准确度的忠实代理，使得作者能够在无法获取外部测试标签的情况下，衡量完美符号求解器与经过微调的模型之间的“可学习性差距”。

核心问题在于：一个可验证求解器的覆盖率，是否能预测试图通过 CoT 学习该程序的模型的准确度。研究特别关注了需要搜索（例如回溯）的任务与前向可计算（例如算术、查表）任务之间的区别。

研究方法

研究采用了一个经过严格设计的、工具化的流水线，旨在将可学习性从数据噪声或架构限制中分离出来：

基准构建： 定义了九类任务，包括罗马数字、单位换算、自由落体物理、单表替换密码、8 位布尔规则归纳、方程归纳，以及两类字母算术题（cryptarithms，分为推导型和猜测型）。
求解器逆向工程： 作者将确定性生成器逆向工程为 Python 求解器。其中五个任务生成的求解器准确率 $\ge$ 98%。字母算术题任务通过一个回溯搜索求解器解决，准确率约为 71%（其余部分在信息论上是模棱两可的）。
合成 CoT 生成： 对求解器进行了插桩，使其以基础模型的原生 ASCII 风格叙述其步骤。研究执行了一项关键纪律：每一个“结论”（例如“丢弃此候选者”）都必须被见证，即迫使该决策产生的证据必须在同一行中被显式重述。
训练方案：
- 基础模型： Nemotron-3-Nano-3.3B-A3B（一种混合 Mamba-2/混合专家模型）。
- 适配器： 通过监督微调（SFT）在合成 CoT 上训练的秩 $\le$ 32 的 LoRA 适配器。
- 升级手段： 当 SFT 进入平台期时，作者应用了基于可验证奖励的强化学习（RLVR/GRPO）和自我教导推理者（STaR）训练，收集模型自身成功的展开路径（rollouts）。
评估： 模型在留出的真实训练行（作为测试集）上进行评估，采用贪婪解码。研究还包括了一个架构控制实验（测试 3B 到 671B 的密集型和 MoE Transformer）以及一个因果干预实验（揭示部分密码密钥以测试前向可导性）。

核心贡献与发现

1. 可解性—可学习性差距

论文量化了求解器准确度与模型准确度之间显著的分歧。

前向可计算任务： 对于罗马数字、单位换算和简单密码等任务，求解器的覆盖率（接近 100%）直接转化为模型准确度（ $\ge$ 0.99）。
搜索任务： 对于字母算术题，求解器达到约 71% 的准确度，但微调后的模型上限仅为 0.01–0.07，无论使用何种训练方法（SFT, RLVR, STaR）或 CoT 设计（测试了 11 种不同设计）。
位操作： 该任务处于中间地带。求解器达到 98.9%，但模型仅达到 0.678。STaR 部分弥合了这一差距，因为它允许模型模仿其自身成功的搜索过程，这表明如果模型能在上下文窗口内执行搜索，它就能学习搜索。

2. 失效机制：“结论即 Token” (Verdict-as-Token)

论文识别了搜索任务中一种特定的失效模式，称为**“结论即 Token”**。

观察： 在字母算术题的追踪记录中，模型在 97–100% 的行上都能正确执行算术运算。然而，结论（判定某个候选者无效的结论）往往与该行上的证据脱节。
机制： 在教师强制（teacher forcing）下，模型学会了输出一个固定的短语（例如“无匹配 $\to$ 丢弃”），因为在训练期间该短语总是出现在正确的上下文中。但在推理（自由运行）阶段，即使该行上的算术结果与之矛盾，这个短语也会无条件地触发。
证据： 每行保真度审计显示，虽然算术正确性近乎完美，但结论的逻辑保真度（即结论是否由数字推导得出）仅为 16–57%。

3. 架构无关性与前向可导性

该失效现象并非特定于混合 Mamba-2/MoE 架构。

架构控制： 在密集型 Transformer（Llama-3.2-3B, Qwen3.5-4B）和 MoE Transformer（gpt-oss-20b）上训练相同的字母算术题语料库，结果都出现了相同的 $\le$ 0.04 准确度底线。
因果干预： 揭示完整的密码密钥（将任务从搜索转变为前向查找）将模型的准确度从 0.03 提升到了 0.571。仅揭示一半的密钥几乎没有帮助。
结论： 约束因素在于前向可导性。对于一个其唯一诚实的解必须是对无信息结构的进行回溯搜索的任务，不存在忠实的“前向追踪”可供模仿。如果没有前向追踪可供模仿，SFT 学习到的只是搜索的表面形态，而非其逻辑。

4. 逃逸路径：记忆而非搜索

论文证明了该任务是可学习的，但不是通过蒸馏搜索过程。

第一名方案： 竞赛获胜者（私人排行榜 0.92）并没有教模型如何搜索。相反，他们预计算了搜索的组合核心（一个包含 4,205 个候选特征签名的目录）并将其记忆下来。模型的 CoT 随后简化为检索（查找目录）加上有限验证。
启示： 被蒸馏的是记忆与验证，而非搜索本身。只有当搜索过程的候选结构可以被压缩进一个足够小、足以被记忆的有限目录时，可验证搜索才能作为 CoT 被学习。

意义与主张

该论文的主要贡献是一个带有收敛证据的负面结果：可验证搜索并非可学习的思维链。

反驳直觉： “任何可解任务都可以通过 CoT 学习”的假设在需要对无信息结构进行回溯搜索的程序面前失效了。
识别机制： 论文将“结论即 Token”识别为特定的失效模式，即 SFT 导致推理步骤的形式与其逻辑内容脱节，从而导致在推理阶段崩溃的不忠实追踪。
预测启发式： 作者提出了一个用于测试可学习性的预训练测试：纯粹的前向闭包（无需回溯）是否覆盖了实例的显著部分？如果不是，该任务很可能会抵制 CoT 蒸馏。
区分： 论文区分了可解性（存在答案）与可学习性（模型能否通过推理找到答案）。求解器覆盖率仅在求解器是一个前向映射时才能预测模型准确度；对于搜索程序，它几乎无法提供任何预测。

作者明确指出，其贡献不在于提出了新的模型能力或竞赛排名（其最高分仅为 0.85，处于领域中位数水平），而在于提供了一个“清晰、经过工具化处理的说明，解释了为什么以及为何可验证搜索会失败，从而无法转化为模型推理。”研究结果表明，对于复杂的搜索任务，高绩效的路径在于将任务重新表述为将记忆与计算分离，而不是试图去蒸馏搜索过程本身。