🤖 AI

What Makes Chain-of-Thought Work at Probe Time? Local Co-occurrence Rather Than Global Derivation

本文认为，思维链提示在探测阶段带来的性能提升主要源于局部词汇激活和短程词元共现，而非全局逻辑推导或句子层面的结构排序。

原作者： Xiang Wang, Wei Wei

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiang Wang, Wei Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一道棘手的数学题，而一位聪明的朋友（即人工智能）正在帮助你。通常，为了获得最佳答案，你会要求这位朋友在给出最终数字之前“展示其解题过程”，一步步地推导。这被称为**思维链（Chain-of-Thought, CoT）**提示。

长期以来，研究人员认为这种神奇的效果源于人工智能实际上正在像人类解决谜题那样，按逻辑顺序进行“思考”：“首先我做这一步，然后做那一步，所以答案是 X。”

但这篇论文提出了一个不同的问题：如果人工智能在读取答案时，并非真的按逻辑序列“思考”，而仅仅是在识别模式呢？

作者进行了一系列实验，他们拿出了一个完美、逻辑严密的逐步解释，并开始篡改文本，以观察哪些部分真正重要。以下是他们发现的内容，辅以一些简单的类比：

1. “乱序句子”测试（顺序并不重要）

想象你有一份按完美顺序写成的蛋糕食谱：“混合面粉，加入鸡蛋，烘烤 30 分钟。”

实验： 研究人员打乱了一个逻辑解释中的句子顺序。于是，食谱变成了：“烘烤 30 分钟。混合面粉。加入鸡蛋。”
结果： 人工智能几乎和面对完美顺序时一样，经常能得出正确答案。
启示： 人工智能似乎并不需要“故事”从头到尾逻辑连贯。它不需要像人类侦探那样遵循推理链条。

2. “词语袋”测试（魔力在于成分）

接下来，他们打乱了解释中的每一个单词，使其看起来像胡言乱语。

实验： 原本的句子是"P(A) + P(B) = P(A ∪ B)"，现在变成了"B P(A) = + P(B) A"。这对人类来说毫无意义，但它包含了所有相同的数学词汇。
结果： 尽管文本支离破碎，人工智能的表现仍远好于完全没有解释的情况。
启示： 仅仅在“房间”里拥有正确的词汇（即“成分”）就能帮助人工智能。这就像身处一个拥有所有正确工具的厨房；你不需要手册就知道自己正处于烘焙蛋糕的正确环境中。

3. “微小窗口”测试（真正的秘密）

这是最令人惊讶的部分。研究人员问道：如果我们保留单词，但打乱句子，为了获得全部益处，我们实际上需要将多少原始文本保持在一起？

他们尝试只保留微小的文本块：

块大小 1： 仅单个单词（即“词语袋”）。
块大小 2： 仅保持两个单词相邻（例如"P(A)"保持在一起，但下一对是随机的）。
块大小 3： 仅保持三个单词相邻。
结果： 仅保持2 个或 3 个单词在一起，几乎就能恢复完整、完美解释所带来的全部益处。
类比： 想象你试图通过听只言片语来猜一首歌。你不需要按顺序听完整个主歌或副歌。如果你听到通常连在一起的几个词（比如“生日快乐”或“摇滚乐”），你的大脑会立刻认出这首歌。人工智能做的也是同样的事情。它认识到"0.9"和"P(A)"经常一起出现在数学题中，这种微小的局部连接足以触发正确的答案。

这意味着什么？

该论文得出结论：当人工智能阅读“思维链”解释时，它并不一定在按部就班地进行深度的逻辑推导。相反，它表现得像一个模式匹配器。

词汇激活： 特定相关词汇的出现唤醒了人工智能大脑中正确的部分。
局部共现： 人工智能依赖于在其训练数据中频繁共同出现的短小局部词对或词组。它不需要整个逻辑故事；它只需要在微小的相邻块中看到解决方案的“指纹”。

简而言之： 人工智能并不是在像读小说一样解决问题；它是在扫描页面，寻找特定的关键词，并查看它们是否彼此相邻。如果是，即使只是在微小的 2 词窗口内，它也知道答案。

技术摘要：思维链在探测阶段为何有效？

问题陈述

尽管思维链（CoT）提示被广泛认可能提高语言模型在推理任务上的准确性，但驱动这一提升的推理文本的具体属性仍鲜为人知。先前的研究主要集中于生成阶段行为，探讨 CoT 如何影响模型的内部计算，或像自洽性（self-consistency）这样的变体如何影响推理质量。然而，探测阶段行为——即模型读取固定注入的推理文本并利用其回答问题过程——受到的关注较少。

本文旨在回答以下问题：给定上下文中的固定推理文本，该文本的哪些具体属性会改变模型的答案？ 作者挑战了当前普遍存在的假设，即 CoT 的益处主要源于模型重构全局的、句子级别的逻辑推导。相反，他们假设这些增益可能依赖于文本中令人惊讶的局部属性。

方法论

作者采用受控的生成器–探测器框架来隔离推理文本结构的影响：

生成器：一个强大的模型为给定问题生成完整的 CoT 推理文本。
注入与扰动：将生成的推理文本注入到探测模型的上下文中。关键在于，自动移除显式的“答案声明”句子，以防止答案的 trivial 泄露。
N-gram 扰动协议：核心实验操作是将推理文本的 token 序列划分为大小为 $n$ $n$ 的连续窗口，并随机打乱这些窗口，同时保持每个窗口内 token 的内部顺序不变。
- $n=1$ （词序打乱）：破坏所有组合结构，仅保留全局词袋。
- $n=2, 3, \dots$ ：保留越来越大的局部共现结构。
- 句子打乱（SS）：随机重新排列完整句子，同时保持句子本身完整。
**缺口恢复统计量（$GR(n) $）**：作者定义了一个指标，用于量化在给定窗口大小$ n $下，词袋基线（$ WS$）与完整 CoT 之间的性能差距恢复了多少：
$GR(n) = \frac{Acc(n) - Acc(WS)}{Acc(CoT) - Acc(WS)}$
定义临界窗口大小 $n^*$ 为满足 $GR(n) > 0.5 $的最小$ n$ 值。

该研究涵盖了多个数据集（MMLU-Pro, LogiQA, MedQA, GSM8K, MATH500）和多种模型配置（Qwen2.5, Qwen3.5, GPT-4o-mini），跨越不同的参数量级（0.8B 至 35B）。

主要贡献

探测阶段视角：本文引入了一个系统框架，用于研究对固定推理文本的扰动如何影响下游答案预测，这区别于生成阶段分析。
识别两种增益来源：作者确定了在探测阶段驱动 CoT 性能的两个互补机制：
- 词汇激活：仅仅存在领域相关 token 就能提供比无推理基线显著的增益，即使所有结构都被破坏。
- 局部共现激活（LCA）：剩余的大部分增益（词袋与完整 CoT 之间的差异）仅通过保留非常短的局部 token 窗口（ $n^* \approx 2\text{--}3$ ）即可恢复。
排除替代解释：通过针对性的控制实验，本文证明观察到的增益并非主要由以下因素驱动：
- 复制显式的答案声明或答案值。
- 存在完全合乎语法、连贯的句子。
- 通用的主题相关性（通过维基百科检索测试）。
- 模型对打乱的通用鲁棒性（通过问题主干打乱测试）。

主要结果

句子顺序是次要的：与完整 CoT 相比，打乱句子顺序（句子打乱）导致的准确率下降微乎其微（例如，在 MMLU-Pro 上为 83.1% 对比 83.9%），这表明句子级别的逻辑顺序并非探测阶段增益的主要驱动因素。
词汇激活作用显著：全局词序打乱的推理文本（词序打乱）显著优于仅输入基线（例如，66.5% 对比 50.9%），证实仅领域词汇即可激活相关知识。
短窗口恢复大部分增益：从词袋（ $n=1$ ）过渡到仅保留 2–3 个 token 窗口的过程非常陡峭。在 MMLU-Pro 上，保留 $n=2$ 的窗口可恢复词袋与完整 CoT 之间剩余差距的大约 57.5%。临界窗口大小 $n^*$ 在不同模型系列和数据集中始终保持较小（2–3）。
泛化性：定性模式在以下方面均成立：
- 模型系列：Qwen2.5、Qwen3.5 和 GPT-4o-mini。
- 参数量级：从 0.8B 到 35B 参数。
- 任务类型：多项选择题（MMLU, LogiQA）和开放式生成（GSM8K, MATH500）。
CoT 特异性：低 $n$ 恢复效应是 CoT 风格推理文本所特有的。注入主题匹配的维基百科段落或打乱问题主干需要大得多的窗口才能恢复性能，表明该效应并非语言处理的通用属性。

意义与主张

本文主张支持探测阶段 CoT 的局部共现激活（LCA）解释。作者认为，观察到的性能增益主要源于词汇激活（相关 token 的存在）和短程 token 共现（局部统计关联），而非模型执行忠实的、句子级别的逻辑推导或重构全局推理链。

这一发现的意义在于它挑战了"CoT 之所以有效是因为它迫使模型以逻辑连贯的方式‘逐步思考’"的直觉。相反，结果表明在探测阶段，模型可能利用推理文本中的局部统计线索来激活正确答案，即使文本是碎片化的且缺乏全局逻辑连贯性。这将 CoT 的效用从显式推理执行机制重新框架化为局部上下文激活机制。