🤖 AI

Revisiting Chain-of-Thought Reasoning under Limited Supervision: Semi-supervised Chain-of-Thought Learning

本文介绍了 Semi-CoT，这是一个半监督学习框架，它利用无标签问题通过语义熵过滤生成高精度的伪推理链，展示了其作为有效训练信号的潜力，同时也强调了需要改进选择和训练策略，以在多样化的数学基准测试中实现性能增益的最大化。

原作者： Hongyang He, Jiuming Liu, Victor Sanchez

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Hongyang He, Jiuming Liu, Victor Sanchez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个才华横溢但经验不足的学生（即 AI），他擅长解决数学问题，但有时会卡壳或犯一些低级错误。通常，当你问他一个难题时，他会边思考边说出过程，写下步骤，然后给出答案。一旦结束，你会把他的“思考笔记”扔掉，只保留最终答案。

这篇论文提出了一个简单但强大的问题：如果我们不把这些“思考笔记”扔掉会怎样？ 如果我们能利用这些学生在面对从未见过的题目时所产生的“思考笔记”，来帮助他们学习，会发生什么？

以下是他们提出的想法，称为 Semi-CoT，我使用了日常生活的类比来解释。

1. 问题所在：被浪费的思考

目前，AI 模型使用“思维链”（Chain-of-Thought, CoT）就像是一种一次性的技巧。当你问一个问题时，AI 会生成一条逐步推理路径，解决问题，然后忘记这条路径。

论文的洞察： 作者注意到，互联网上有数以百万计的数学题，它们没有答案，也没有解释。这些是“无标签”的问题。
目标： 与其忽略这些问题，不如让 AI 去解决它们，写下其推理过程，然后将这些推理步骤作为未来问题的“学习指南”。

2. 危险之处：“自信的蠢货”

这里存在一个巨大的风险。如果你要求 AI 解决一个它并不了解的问题，它可能会自信满满地写下一段看起来完美无瑕、但却导向错误答案的解释。这就像一个学生为一个自己从未读过的书写了一篇优美的文章。如果你用这篇文章来教他，你只是在教他如何“自信地犯错”。

3. 解决方案：“群体共识”过滤器

为了解决这个问题，作者创建了一个名为 Semi-CoT 的安全网。其工作流程如下：

第 1 步：“多头并进”法。
对于每一个无标签问题，AI 不仅仅求解一次。它会求解多次（就像要求同一个学生连续做五遍同样的题目）。
第 2 步：“投票”检查。
系统会查看那五次尝试的最终答案。
- 场景 A： AI 说的是“5”、“5”、“5”、“5”和“5”。大家达成了一致。这是一个低熵（低混乱度）的结果。系统认为：“好吧，这个推理过程可能是可靠的。”
- 场景 B： AI 说的是“5”、“12”、“3”、“5”和“9”。大家都很困惑。这是高熵（高混乱度）的结果。系统认为：“不行，这太乱了。扔掉吧。”
第 3 步：“学习库”。
系统只保留那些 AI 表现一致（场景 A）的推理步骤。它将这些高质量的“思考笔记”放入一个特殊的**伪推理库（Pseudo Reasoning Bank）**中。
第 4 步：“测试时”提升。
当 AI 面对一个新的测试问题时，它不会仅仅靠直觉猜测。它会查看自己的伪推理库，找到之前解决过的类似问题，并利用那个之前的“思考笔记”作为提示来解决新问题。

4. 结果：喜忧参半

作者在四个不同的数学数据集（如 AQuA、SVAMP、GSM8K 和 MultiArith）上进行了测试。结果如下：

好消息： “群体共识”过滤器在寻找优质推理方面表现得非常出色。在他们测试的数据集中，AI 生成的“伪”推理正确率实际上达到了 91% 到 100%。这证明了无标签问题确实可以提供有用的学习材料。
坏消息： 仅仅拥有好的学习材料并不足以保证更好的测试成绩。
- 在某些测试（SVAMP 和 GSM8K）中，AI 的表现略有提升（大约 1-2%）。
- 在另一个测试（AQuA）中，AI 的表现反而变差了。为什么？因为它选取的“学习指南”恰好与新问题无关。这就像你在学做面包时，却在研究蛋糕的食谱。即使食谱本身很完美，对你也毫无帮助。
- 在另一个测试（MultiArith）中，大家的得分已经是 100% 了，所以没有提升空间。

5. 核心启示

该论文得出了一个非常重要的教训：可靠性并不等于相关性。

可靠性（Reliability）： AI 是否正确解决了练习题？（是的，熵过滤器确保了这一点）。
相关性（Relevance）： 那个练习题对于当前的新问题真的有用吗？（并不总是如此）。

作者发现，仅仅挑选随机的“优质”案例并不总是有帮助。他们尝试使用简单的关键词搜索（TF-IDF）来寻找相关的案例，但效果并不比随机挑选更好。

总结来说： 这篇论文证明了，通过检查 AI 是否能与自己达成一致，我们可以将无标签问题转化为高质量的“学习指南”。然而，要让 AI 变得更聪明，我们不能仅仅满足于收集好的指南，我们还需要更好地为特定的问题挑选出最“合适”的指南。

技术摘要：半监督思维链学习 (Semi-supervised Chain-of-Thought Learning, Semi-CoT)

1. 问题定义

本文探讨了当前思维链（Chain-of-Thought, CoT）应用中的一个空白。虽然 CoT 已被证明在推理阶段能够有效激发大语言模型（LLM）的推理能力，但现有方法通常将推理链视为瞬时的提示词，在生成最终答案后即被丢弃。因此，在数学和逻辑等领域中，大量未标记的数据仍处于未被充分利用的状态，因为高质量的 CoT 标注成本极高。

作者定义了一个新的问题设定，称为半监督思维链学习。其目标是利用少量有标签的问题和大量无标签的问题来构建伪推理监督。与仅生成伪标签（仅最终答案）的标准半监督学习不同，该设定要求为每个无标签问题 ( $x_u$ ) 生成一个完整的伪监督对，即由伪推理链 ( $\hat{r}_u$ ) 和伪答案 ( $\hat{y}_u$ ) 组成的对：
$x_u \rightarrow (\hat{r}_u, \hat{y}_u)$

核心挑战在于确保生成的推理链的可靠性。模型可能会通过无效的推导得出正确的答案，也可能通过看似合理的链条得出错误的答案。因此，需要一种机制在将这些伪 CoT 用于监督或演示之前将其过滤掉。

2. 方法论：Semi-CoT 框架

作者提出了 Semi-CoT，这是一个无需微调模型参数的极简框架。它作为一个提示层面的半监督方法运行，旨在测试无标签问题是否能提供可靠的推理信号。该过程包含三个主要阶段：

A. 伪 CoT 生成

对于每个无标签问题，LLM 使用标准触发词（例如“让我们一步步思考”）采样 $K$ 条不同的推理路径（CoT 输出）。每个输出都会产生一个推理轨迹和一个最终答案。

B. 语义熵可靠性门控

为了过滤不可靠的生成内容，该框架采用语义熵作为选择信号。

归一化： 提取出的答案进行归一化处理（例如，移除数值型答案中的格式符号）。
聚类： 将答案分组为语义簇。
熵计算： 基于这些簇的分布计算归一化语义熵 $H_{sem}(x_u)$ $H_{se m} (x_{u})$ 。
- 低熵表示 $K$ 条采样路径之间具有高度一致性。
- 高熵表示存在分歧和不确定性。
选择： 只有当 $H_{sem}(x_u) \leq \delta$ （ $\delta$ 为预定义的阈值）时，伪 CoT 才会被接受。接受的伪答案是多数投票的结果，而伪推理链则从指向该多数答案的路径中进行选择。

C. 伪推理库与推理

被接受的伪 CoT 被存储在一个伪推理库 $\mathcal{B}$ 中，每个 CoT 都带有一个可靠性权重（ $w_u = 1 - H_{sem}(x_u)$ ）。在对测试问题进行推理期间：

系统从 $\mathcal{B}$ 中检索 $M$ 个演示（demonstrations）。
测试了两种检索策略：随机选择和 TF-IDF 检索（基于词汇相似度）。
检索到的演示被附加到测试问题作为提示词，随后 LLM 生成最终的推理和答案。

3. 核心贡献

本文做出了以下具体贡献：

问题形式化： 它定义了半监督思维链学习，将 CoT 的视角从纯粹的推理时技术转向了半监督学习信号的来源。
框架提议： 它引入了 Semi-CoT，这是一个生成多个伪 CoT、使用语义熵进行过滤并利用高置信度结果作为推理演示的流水线。
经验证据： 它提供了初步证据，表明基于熵的选择在多个算术推理数据集上能产生高精度的伪 CoT。
局限性识别： 它指出伪 CoT 可靠性（由熵保证）和演示相关性（由检索保证）是两个不同的挑战。如果演示与测试问题无关，即使精度很高，也无法保证性能提升。

4. 实验结果

作者在四个算术推理基准测试上进行了初步实验：AQuA, SVAMP, GSM8K, 和 MultiArith。

伪 CoT 可靠性

语义熵门控成功筛选出了高质量的伪 CoT。伪答案精度（选定的伪答案相对于隐藏金标准标签的准确率）为：

MultiArith: 100%
AQuA: 97.14%
SVAMP: 96.30%
GSM8K: 91.36%

任务性能

对最终任务准确率的影响较小且因数据集而异：

SVAMP: 相比 Zero-shot CoT 提升了 2%。
GSM8K: 相比 Zero-shot CoT 提升了 1%。
AQuA: 尽管伪答案精度很高，但表现出轻微的负迁移（性能较 Zero-shot CoT 有所下降）。
MultiArith: 所有方法都达到了 100% 的准确率，这表明在初步实验设置中存在天花板效应。

检索策略

对比用于演示选择的 随机选择 与 TF-IDF 检索，在初步子集实验中没有显著差异。这表明简单的词汇相似度不足以确保伪 CoT 与测试问题之间的相关性。

5. 重要性与主张

本文定位为一份建立新问题设置的技术报告，而非最终解决方案。其重要性在于：

概念转变： 它将 CoT 重新定义为一种自我训练形式，其中模型生成的推理可以作为伪监督，弥合了推理时提示与半监督学习之间的鸿沟。
信号验证： 它证明了语义熵是一种可行且与模型无关的信号，用于从无标签数据中筛选可靠的推理链，且无需人工标注即可实现高精度。
保守结论： 作者谨慎地总结道，虽然无标签问题可以提供可靠的伪推理信号，但可靠的选择本身并不足以带来持续的性能提升。目前的实现强调了演示相关性是一个关键且尚未解决的因素。未来的工作必须解决更强的检索机制、推理模式匹配或参数化学生训练，以充分实现 Semi-CoT 的潜力。

论文明确避免声称当前的提示层面实现是一个达到最先进水平（SOTA）的解决方案，并指出观察到的收益较小，且如果相关性管理不当，负迁移仍然是一个风险。