🤖 machine learning

Uncovering Latent Reasoning Strategies in Language Models

本文提出了一种变分推理框架，将预训练语言模型的响应分布分解为路由（router）和生成器（generator），以揭示潜在的推理策略，并通过优先考虑具有高基座模型惊异度（surprisal）的标记，从而克服后验崩溃问题，确保潜在编码能够捕捉到与策略相关的变化。

原作者： Awni Altabaa, John Lafferty

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Awni Altabaa, John Lafferty

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正走进一座宏伟而繁忙的图书馆，这里的书不仅仅是故事，而是人类知识与逻辑的总和。在这座图书馆里住着一位非常聪明、反应极快的图书管理员，名叫“语言模型”。这位管理员读遍了一切，可以回答你提出的任何问题，从“如何烤蛋糕？”到“证明这个数学定理”。但问题在于，这位图书管理员并没有一个单一、清晰的思维过程。当你提出一个问题时，管理员的大脑就像是一个同时思考着解决该问题的多种不同方式的混合体。它可能同时在思考通过画图来解决数学题、使用公式，或者通过试错法来解决问题。最终的答案是正确的，但所经过的路径却是一个纠缠在一起的可能性之结。

科学家们长期以来一直想要解开这个结。他们想知道：“这位图书管理员具体走了哪条路径？”以及“我们下次能否要求这位图书管理员走一条不同的路径？”这就是潜变量（影响结果的隐藏因素）与推理策略（用于解决问题的逐步计划）的世界。通常，当科学家试图寻找这些隐藏路径时，他们会使用一种叫做变分推理的方法，这就像是通过品尝最终的菜肴来猜测图书管理员的秘密食谱。问题在于，这位图书管理员厨艺太好了，以至于无论你猜哪种秘密食谱，菜肴的味道都完美无缺。所以，那个猜测机器放弃了，说：“我不需要猜食谱，菜肴已经很完美了，”然后完全停止了对隐藏路径的寻找。这是一个令人沮丧的死胡同，原本用来寻找秘密的工具反而忽略了秘密本身。

这篇题为《揭示语言模型中的潜在推理策略》（Uncovering Latent Reasoning Strategies in Language Models）的论文，正是针对这一确切的死胡同展开研究的。作者——来自耶鲁大学的 Awni Altabaa 和 John Lafferty——意识到，标准的方法之所以失败，是因为模型表现得太出色了。他们提出了一个巧妙的新技巧：与其仅仅要求模型“做出一道完美的菜”，不如要求它解释那道菜中难做的部分。

你可以这样理解：如果你请一位名厨解释他是如何做出完美蛋糕的，他可能会只说：“我遵循了食谱。”但如果你请他解释在决定加入额外的香草而不是柠檬的具体时刻，或者为什么要用某种特定的方式搅拌面糊，他就必须深入挖掘。作者创建了一种新的训练方法，充当一名好奇的美食评论家。他们告诉模型：“你已经知道如何完美地制作蛋糕了。但我希望你使用你的隐藏‘策略开关’，来解释那些食谱并不直观的具体时刻——即你必须做出真实抉择的时刻。”

通过专注于答案中的“难点部分”（即模型最不确定或存在多种可能路径的时刻），这种新方法迫使隐藏的“策略开关”真正发挥作用。结果呢？模型成功学会了将它的思维分离成截然不同的、可用的路径。例如，当被要求证明一个数学定理时，现在可以告诉模型：“使用‘反证法’开关”，它就会一致地选择那条特定的逻辑路径，而不是将其与其他方法混杂在一起。

研究人员在一些算法谜题（如对数字列表进行排序或求解方程）上测试了该方法，在这些谜题中，他们明确知道存在哪些不同的策略。他们发现，这种新方法成功地揭示了这些隐藏策略，并在不同的问题中保持了它们的一致性。相比之下，旧的标准方法失败了，使得“策略开关”变得毫无用处，思维过程依然纠缠不清。虽然这项工作目前集中在合成的数学和逻辑谜题上，但它暗示了一种强大的新方法，可以让我们窥视 AI 的“黑箱”，从而有可能让我们控制 AI 是如何思考的，而不只是它说了什么。它将一团乱麻般的可能性变成了一份清晰的选择菜单，让我们能够更好地掌控这些数字大脑的推理能力。

技术摘要：揭示语言模型中的潜在推理策略

问题陈述

在推理任务上进行预训练的语言模型（LMs）通常使用多种不同的、高层级的策略来解决问题（例如，反证法与归纳法，或不同的排序算法）。然而，这些策略是隐性的，并纠缠在模型的响应分布 $p_\theta(y|x)$ 中。在生成过程中，不存在一个显式的变量来识别或控制正在使用的策略。

本文将问题形式化为：将这种响应分布分解为一个结构化的、以策略为条件的表示。目标是学习一个路由-生成器分解 $(r_\phi(z|x), g_\phi(y|x, z))$ ，使得：

边缘保真度（Marginal Fidelity）： 积分分布 $\int r_\phi(z|x)g_\phi(y|x, z) dz$ 近似于原始基座模型分布 $p_\theta(y|x)$ 。
策略对齐（Strategy Alignment）： 潜在变量 $z$ 是具有信息量且与策略对齐的，这意味着改变 $z$ 会改变使用的高层级策略，并且相同的潜在值在不同输入中承载一致的策略含义。

核心挑战： 与从头开始训练的标准化潜在变量建模不同，基座模型 $p_\theta$ 已经捕捉到了目标分布，且没有任何潜在变量。因此，一种忽略 $z$ 的分解方式（即对于所有 $z$ ，都有 $g_\phi(y|x, z) = p_\theta(y|x)$ ）在初始化时是可用的，并且对于仅衡量边缘拟合度的目标函数而言是全局最优的。在这一设定下，标准的变分推理（例如条件 ELBO）会遭受后验崩溃（posterior collapse），无法激励 $z$ 去编码策略层级的变化。

方法论

架构

作者将预训练的 Transformer 适配到一个路由-生成器框架中：

路由（Router, $r_\phi$ ）： 读取输入 $x$ ，并输出一个关于连续潜在策略 $z$ 的分布（建模为对角高斯分布）。
生成器（Generator, $g_\phi$ ）： 一个自回归模型，以 $x$ 和采样潜在变量的投影嵌入 $E(z)$ 为条件进行推理。
后验（Posterior, $q_\xi$ ）： 仅在训练期间使用的独立模型，用于从完整的输入-响应对 $(x, y)$ 中推断 $z$ 。
参数化： 路由和生成器共享从基座模型 $\theta$ 初始化的参数，并通过类 LoRA 的低秩适配进行更新。

模型导向的重构目标

为了克服标准 ELBO 的欠定问题，作者提出了一个模型导向的重构目标。该目标利用固定的基座模型 $p_\theta$ 作为参考，来指导 $z$ 必须解释哪些变化。

目标函数 $J_\theta$ 由重构项 $R_\theta$ 和 KL 惩罚项组成：
$J_\theta(x, y; \phi, \xi) = R_\theta(x, y; \phi, \xi) + \beta \text{KL}(q_\xi(\cdot|x, y) \parallel r_\phi(\cdot|x))$

关键组件包括重构项：

基座模型归一化： 重构损失通过基座模型的期望响应损失（ $c_\theta$ ）进行归一化，将其表达为“基座模型参考单位”。
惊异度导向权重（Surprisal-Directed Weighting）： 不同于统一的 Token 权重，损失函数由基座模型的 Token 级惊异度（ $b_{\theta,t}$ $b_{θ, t}$ ）进行加权。
- $b_{\theta,t}(x, y) = -\log p_\theta(y_t | x, y_{<t})$
- 高惊异度的 Token（即基座模型不确定性的分支点）会受到更高的重构压力。
- 这鼓励 $z$ 在基座模型留下多个可能延续的位置编码变化，而这些位置通常对应于策略选择点。

重构项定义为基座模型损失的一个加权的、归一化的分数：
$R_\theta = \frac{1}{c_\theta} \mathbb{E}_{z \sim q_\xi} \left[ \sum_{t} a_{\theta,t}(x, y) [-\log g_\phi(y_t | x, z, y_{<t})] \right]$
其中权重 $a_{\theta,t}$ 在统一压力与惊异度导向压力之间进行插值。

实验设置与基准测试

作者引入了一个受控的多策略算法任务基准，以使策略对齐变得可测量。

任务： 列表求和、排序算法、网格寻路、线性方程求解、进制转换以及多位数加法。
设计： 每个任务任务允许针对同一问题实例存在多种有效的解轨迹（策略）。地面真值（Ground-truth）策略标签在生成后被保留但不在训练期间使用，仅用于评估。
评估指标：
1. 分布保真度（Distributional Fidelity）： 生成的轨迹仍为该任务有效解的比例。
2. 策略对齐（类比一致性/Analogical Consistency）： 从源输入 $X$ 中采样一个潜在变量 $z$ ，并将其应用于相关的目标输入 $X'$ 时，生成的解轨迹 $Y'$ 使用与从 $X$ 生成的 $Y$ 相同的策略的概率。

主要结果

隐性信息存在： 对基座模型隐藏状态的线性探针可以解码策略标签，证实了目标结构在分解前已隐性存在。
标准 ELBO 的失效： 标准变分目标虽然保持了分布保真度，但会导致潜在崩溃（latent collapse），即 $z$ 保持惰性且未能与策略对齐。
模型导向重构的成功： 提出的目标成功恢复了能够实现以下目标的潜在编码：
- 保持高分布保真度（保留基座模型的有效输出）。
- 实现高类比一致性，证明了 $z$ 在不同输入间携带可复用的策略语义。
- 在训练过程中在潜在空间中分离成不同的任务特定和策略特定的区域。
消融研究：
- 移除全局缩放（归一化）或Token 权重（惊异度方向）会降低策略对齐度。
- 使用逆惊异度权重（强调低惊异度 Token）会削弱对齐，证实了必须在不确定/分支 Token 上施加压力才能恢复策略变化。

理论分析

本文发起了对恢复问题的理论分析。它将目标函数描述为最大化一个涉及互信息 $I(Y; Z|X)$ 减去近似复杂度惩罚项的剖面得分（profiled score）。作者提供了充分条件，在这些条件下，复杂度惩罚后的变分目标会选择一个与目标策略结构 $S^*$ 对齐的潜在分解，前提是最优解与次优解之间的“恢复差异”（recovery discrepancy）为正。

意义与主张

本文声称解决了一种专门针对适配预训练模型而非从头开始训练的模型所特有的病态后验崩溃问题。通过引入模型导向的重构目标，作者展示了一种方法来实现：

将隐性的推理策略解耦为显式的、可控的潜在变量。
在使潜在变量具有信息量的同时，保留基座模型的响应分布。
实现干预： 恢复的潜在结构允许将生成导向特定的高层级策略（例如，强制执行特定的证明方法），而无需重新训练基座模型。

作者指出，该方法已在具有地面真值策略的合成算法任务上得到了验证。他们明确表示，将该方法扩展到开放式推理任务，并完全刻画理论预言机选择标准与实际训练动态之间的联系，仍是未来工作的开放性问题。提到的潜在应用包括模型可解释性、可控性以及在强化学习训练后阶段进行定向探索。