💬 NLP

CoT-Space: A Theoretical Framework for Internal Slow-Thinking via Reinforcement Learning

本文介绍了 CoT-Space，这是一个将思维链（Chain-of-Thought）推理建模为连续语义空间内优化过程的理论框架，旨在通过解释最优推理长度作为欠拟合与过拟合之间权衡的收敛性，从而为通过强化学习进行测试时扩展（test-time scaling）提供原则性的基础。

原作者： Zeyu Gan, Hao Yi, Yong Liu

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zeyu Gan, Hao Yi, Yong Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：为什么 AI 不会一直思考下去？

想象一下，你正在尝试解决一道复杂的数学题。你可以写下一个步骤，检查答案，然后停止。或者，你可以写下一千个步骤，反复检查每一个数字，直到你百分之百确定为止。

在 AI 世界中，研究人员注意到了一些奇怪的现象。当他们通过强化学习（Reinforcement Learning）训练大语言模型（LLM）进行更深入的思考时，模型并不会无止境地生成越来越长的思维链。相反，它们会自然而然地在一个特定的“甜点位”（sweet spot）长度处停止。如果写得太少，它们会答错；如果写得太多，它们也会出错（或者浪费时间）。

这篇论文探讨的是：为什么 AI 会自然而然地找到这个完美的长度并停在那里？

问题所在：数单词 vs. 理解思想

长期以来，科学家通过逐个单词（token-by-token）的方式来分析 AI。他们把 AI 的思考过程看作是一列火车从一个站（单词）移动到下一个站的过程。

作者认为，这就像是通过数星星的数量来试图理解一个星系一样。这种方法太琐碎、太离散了。相反，他们建议去观察星系本身（即“语义空间”）。

旧观点（Token 层面）： 想象你在森林中行走，每一片叶子都是一个独立的、截然不同的步骤。这让你很难看清路径。
新观点（推理层面）： 作者放大了视野。他们指出，即使 AI 使用许多不同的词汇来表达同一个意思（例如，“计算总和”、“算出数值”、“做下加法”），这些不同的词组组合其实都代表了同一个思想。
类比： 把 AI 的推理空间想象成一个平滑、连续的山丘。尽管 AI 必须采取“离散的步骤”（写出具体的单词），但其背后的思想景观是平滑且连续的，就像一个滑梯。

核心发现：“金发姑娘”式的权衡（适度原则）

论文认为，AI 之所以能找到完美的推理长度，是因为它在**欠拟合（Underfitting）与过拟合（Overfitting）**之间进行了一场经典的平衡博弈。

1. 欠拟合（思考太少）

类比： 想象你正试图通过跳跃来横跨一条宽阔的河流。如果你只跳一两次小步，就会掉进水里。
论文观点： 如果推理链太短，AI 就没有采取足够的“步骤”来抵达解决方案。这就像是在解一道复杂的数学题，却没做必要的中间计算步骤。AI 失败是因为它思考得不够。

2. 过拟合（思考太多）

类比： 想象你正在跨越同一条河，但现在你采取了 1000 个极其细微、摇晃的步伐。你开始因为每一个小石子而感到困惑和踉跄，你可能会因为过度分析每一个动作而意外地踩偏路径，跌入水中。
论文观点： 如果推理链太长，AI 开始“背诵”问题的特定细节，而不是学习通用的逻辑。它会对问题的具体措辞变得过于敏感。这就像一个学生背下了练习题的答案，但在正式考试中却失败了，因为题目稍有变动，他便无法应对。过多的思考引入了“噪声”和混乱。

“噪声”隐喻：寻找完美的步长

作者使用了来自物理学和机器学习中关于噪声（随机性）的巧妙类比。

设定： 想象 AI 正在试图寻找山谷的底部（正确答案）。
太短（低噪声）： 如果 AI 采取巨大且自信的步伐（非常短的推理），它可能会直接跳过山谷底部，落在另一侧，从而错过解。
太长（高噪声）： 如果 AI 采取细小且犹豫的步伐（非常长的推理），它会在细节中迷失。它会开始剧烈抖动和摇晃（噪声），以至于无法找到通往底部的平滑路径。
甜点位： 存在一个“金发姑娘”式的（恰到好处的）推理长度，它能提供适度的“噪声”，帮助 AI 在探索山谷的同时，既不会迷失方向，也不会跳过目标。

实验结果表明

研究人员用真实的 AI 模型测试了这一理论，并发现了四个关键点：

难题需要更长的路径： 正如复杂的拼图需要更多的碎片一样，更难的数学题会迫使 AI 自然地生成更长的思维链，以避免“欠拟合”。
更聪明的模型需要更短的路径： 令人惊讶的是，更大、更强大的模型实际上会选择更短的推理链。为什么？因为它们非常擅长学习，不需要过度解释。如果思考过多，它们就会开始过拟合（死记硬背）特定问题。它们需要更早停止，以保持“泛化性”和鲁棒性。
训练方式并不重要： 无论使用哪种训练算法（例如不同类型的强化学习），AI 总是会对给定的问题收敛到相同的“最优长度”。这个长度是问题和模型共同的属性，而非训练方法决定的。
噪声越多 = 路径越短： 当训练环境更具“噪声”（更随机）时，AI 会学会采取更短、更稳健的路径，以避免被干扰。

结论

论文得出结论，推理长度的“收敛”并非一个缺陷，而是一种特性。这是 AI 在试图平衡完成足够的工作以解决问题（避免欠拟合）与不做过多工作以免产生困惑或死记硬背错误信息（避免过拟合）之间的自然结果。

通过将 AI 的推理视为一段平滑、连续的旅程，而非一系列破碎的单词列表，作者展示了这些模型实际上遵循着与人类及经典机器数十年以来所遵循的相同的基本学习法则。它们只是在寻找那个完美的、“恰到好处”的思考长度。

技术摘要：为什么推理长度会收敛？揭示思维链中的欠拟合-过拟合权衡

问题陈述

近期，大型语言模型（LLM）的进展，特别是那些利用强化学习（RL）进行“测试时扩展”（如 DeepSeek-R1、OpenAI o1）的模型，已经展示出模型能够自主发现最优的思维链（Chain-of-Thought, CoT）推理策略。经验表明，这些模型在训练过程中会收敛到一个特定的最优推理长度（ $L_{opt}$ ）。然而，目前存在一个显著的理论空白：传统的基于标记（token）层面的分析将推理建模为稀疏状态空间上的离散马尔可夫决策过程（MDP），这无法捕捉到推理层面的宏观动力学特征。因此，“过度思考”（即模型收敛于特定长度而非无限增长）这一现象缺乏根植于经典学习理论的清晰机制解释。

方法论：CoT-Space 框架

为了弥合离散标记生成与连续学习理论之间的鸿沟，作者引入了 CoT-Space，这是一个全新的理论框架，将推理过程重新定义为在连续的推理级语义空间内的优化问题。

1. 从标记层面到推理层面

作者认为，在标记层面对 CoT 进行建模与推理的本质不符，因为推理中的动作是抽象的思想而非单个标记。他们提出了一个“缩放”视角：

语义等价性： 多个不同的标记序列可以实现相同的抽象推理步骤。
连续体近似： 随着推理标记预算（ $K$ ）的增加，语义等价状态的密度呈指数级增长（假设 2.9）。这使得离散的推理状态空间可以被近似为一个连续流形（ $\tilde{S}$ ）。
形式化： 该框架定义了推理状态（ $s_o$ ）、可达极小值（成功解）以及量化与最近最优解距离的推理损失函数（ $C$ ）。

2. 收敛性的理论分析

利用连续流形的视角，作者通过两个维度分析了 CoT 长度的收敛性：优化噪声与推理风险。

噪声视角（优化漂移）：
作者将 CoT 生成建模为语义流形上的随机微分方程（SDE）。他们推导出了一个关系式，其中优化噪声规模（ $\sigma$ ）与推理长度（ $L$ ）成反比（ $\sigma \propto 1/L$ ）。
- 短 CoT： 高噪声规模，导致轨迹不稳定，可能无法收敛（欠拟合）。
- 长 CoT： 低噪声规模，导致轨迹过于僵化，容易对特定的提示词模式产生过拟合。
风险视角（泛化界限）：
作者推导了期望总体风险（ $R_{pop}$ ）的信息论泛化界限。该界限由两个相互竞争的项组成：
1. 优化漂移（欠拟合阶段）： 与 $L\sigma^2$ （或 $1/L$ ）成正比。这代表了由于过度噪声导致的偏离最优路径的偏差。
2. 信息复杂度（过拟合阶段）： 与 $\sqrt{L \log L}$ 成正比。这代表了推理路径与输入之间的互信息，该信息随长度增加而增加，从而导致对提示词特定捷径的记忆，进而导致泛化能力下降。

收敛到最优 $L_{opt}$ 被证明是最小化这两项之和的自然结果，有效地平衡了欠拟合与过拟合之间的权衡。

核心贡献

CoT-Space 框架： 一个连接离散 LLM 推理与连续经典学习理论的理论桥梁，通过定义一个收敛至连续流形的推理级状态空间来实现。
$L_{opt}$ 的机制解释： 证明了在 RL 训练模型中观察到的推理长度收敛并非偶然，而是欠拟合-过拟合权衡的根本结果。
理论预测： 该框架得出了四个关于控制 $L_{opt}$ $L_{o pt}$ 因素的具体、可测试的断言：
- 任务难度： 更复杂的任务（更高的平滑参数 $\beta$ ）需要更长的 $L_{opt}$ 来减少优化噪声。
- 模型容量： 更大的模型（更高的容量）更容易发生过拟合，因此会收敛到较短的 $L_{opt}$ 以引入必要的随机性。
- 算法独立性： 最终收敛的 $L_{opt}$ 是任务和模型的内在属性，很大程度上独立于所使用的特定 RL 算法。
- 噪声相关性： 更高的优化噪声规模与较短的最优推理长度呈相关关系。

实验结果

作者使用多种 RL 算法（GRPO、PPO、DAPO 等）在不同规模的模型（Qwen、Llama 系列）及数学推理基准测试（GSM8K、MATH）上对理论断言进行了实证验证。

任务难度： 实验证实，随着任务难度增加（从 GSM8K 到 MATH Level 5）， $L_{opt}$ 单调增加。
模型容量： 在相同任务下，较大的模型相比较小的模型一致地收敛到更短的推理长度，支持了“较大模型需要较少‘思考’以避免过拟合”的假设。
算法不可知性： 尽管初始动力学不同，但不同的 RL 算法对于给定的任务-模型对，都会引导策略趋向相似的最终 $L_{opt}$ 值。
噪声规模： 在优化噪声规模（通过 KL-Loss 作为代理）与收敛后的 $L_{opt}$ 之间观察到了明显的负相关关系。

意义与主张

本文声称为理解 LLM 内部的测试时扩展提供了原则性的理论基础。通过重振经典机器学习的基础原理（特别是噪声分析和泛化界限），作者认为这些理论并未过时，只是需要从分析视角（从标记层面转向推理层面）的转变才能适用。

这项工作的意义在于：

解释“过度思考”： 为模型为何停止增加推理长度提供了一个机制性原因，将其构架为防止过拟合的必要权衡。
优化指导： 为优化推理轨迹提供了理论基础，表明目标不仅仅是最大化长度，而是找到能使总误差最小化的特定 $L_{opt}$ 。
统一现象： 该框架被呈现为一个概念工具，能够潜在地解释其他 LLM 现象，例如幻觉（陷入虚假极小值）、提示词敏感性（景观不稳定性）以及涌现能力（状态密度的拓扑相变），尽管这些被视为该框架的潜在扩展而非本研究的主要实验验证。

作者总结道，CoT-Space 提供了一条通往设计更具原则性的算法并构建更可靠的 AI 推理系统的路径，通过将现代 LLM 的行为与成熟的学习理论相对齐来实现。