Reasoning Models Don't Just Think Longer, They Move Differently

技术摘要：推理模型并非仅仅思考更久，而是以不同的方式移动

问题陈述
经过推理训练的大语言模型（LLM）经常为更难的问题分配更多的测试时计算资源，从而导致更长的思维链。然而，现有文献难以区分这些模型是仅仅执行了更多的计算步骤，还是从根本上改变了其内部推理轨迹。分析隐藏状态轨迹时的一个关键混淆因素是生成长度：无论模型的内部逻辑如何，更长的路径在机械上往往更不直接（更“曲折”）。因此，原始几何分析经常将路径长度的机械效应错误地归因于问题难度或模型架构，从而掩盖了推理训练是否诱发了独特的内部动态。

方法论
作者在三个领域采用了匹配的实验设计：竞技编程（Codeforces）、数学（MATH）和布尔可满足性（SAT）。

1. 难度校准：为了建立独立于特定平台标签的连续难度标度，作者利用 32 个模型在 1,500 个项目上的表现拟合了 Rasch 模型（项目反应理论）。这为每个问题产生了一个潜在难度变量（$b_i$）。
2. 轨迹提取：在生成解决方案片段期间，从五个均匀分布的层的残差流中提取隐藏状态轨迹。对于推理模型，该片段是显式的思维块；对于指令微调的基线模型，该片段是检测到答案边界之前的文本。
3. 几何指标：计算两个主要统计量：
   • 直接性（$D$）：净位移与总路径长度的比率（$\Delta / L$），衡量终点效率。
   • 曲率变异性（$V$）：连续三元组上 Menger 曲率的标准差，衡量局部弯曲的异质性。
4. 长度校正：认识到原始几何主要受生成长度（$N$）主导，作者执行了残差化程序。他们为每个模型和层拟合了一个仅长度的回归（$\bar{D} \sim \log N$），然后将残差（$D_\perp$）与项目难度（$b_i$）进行相关分析。这将独立于路径长度的难度 - 几何耦合隔离出来。
5. 比较分析：该研究比较了六对匹配的推理训练模型（使用 R1 蒸馏、SFT+RL 或 o3-mini 蒸馏）与其指令微调基线模型。
6. 辅助分析：作者使用线性探针测试提示阶段的可解码性，并利用独立的 LLM 裁判对生成的轨迹进行推理行为（如策略转换、不确定性监控）的标注。

主要结果

1. 通过长度校正实现的符号反转：在原始轨迹中，更难的问题显得更不直接，因为它们生成了更长的路径。经过长度校正后，这种关系在三个领域均发生反转：更难的问题引发更直接的校正轨迹。这表明原始几何是长度的结构伪影，而非推理组织的忠实表征。
2. 领域依赖的推理分离：
   • 竞技编程：此处出现了最清晰的区分。所有六个推理模型在难度与校正直接性之间均表现出强正相关（$\rho_{D_\perp} \approx +0.41$），而匹配的基线模型则接近零或为负（$\approx -0.06$）。推理模型在难题上还表现出降低的曲率变异性。
   • 数学：分离较弱且更具异质性（推理模型的 $\rho_{D_\perp} \approx +0.05$，而基线模型为 $-0.07$）。
   • 布尔可满足性：推理模型和基线模型均显示出正校正耦合，表明在该领域，即使没有特定的推理训练，指令微调模型中也可能出现难度 - 几何耦合。
3. 与线性探针的解耦：提示阶段的线性探针并未反映出在校正几何中观察到的推理模型与基线模型的分离。在代码领域，几何差距很大，而线性难度可解码性的差异却微乎其微。这表明该效应不仅仅是更强的难度信息线性访问，而是生成过程中轨迹演化方式的改变。
4. 行为相关性：更强的校正几何耦合与可观察的推理行为同时出现，特别是“策略转换”和“不确定性监控”，在 R1 蒸馏模型中尤为明显。这些标注是从相同轨迹中测量的描述性相关因素，而非因果机制。

意义与主张
该论文确立了生成长度是生成时轨迹分析中的结构性混淆因素，且长度校正对于有效解释是前提条件。作者声称，推理训练与独特的校正轨迹几何相关，但这种效应是领域依赖的，在竞技编程中最为显著。

研究结果表明，推理模型不仅仅是“思考更久”；它们遵循不同的内部路径，随着问题难度的增加，这些路径变得更为直接且局部异质性更低，特别是在需要复杂策略选择的领域。该论文提出，这种几何信号是对线性难度可解码性的补充，而非其重述。最后，作者发布了一个大规模轨迹档案，将生成的思维链与采样的隐藏状态轨迹配对，以促进对未来推理内部动态的研究。

局限性
作者承认，该分析识别出一种稳健的几何关联，而非因果机制。解决方案片段的分割依赖于针对基线模型的启发式方法，且行为标注是从与几何分析相同的数据中得出的描述性相关因素，排除了关于特定行为如何驱动几何信号的因果主张。此外，固定步长采样可能会遗漏更精细的时间结构。