🤖 machine learning

LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning

本文提出了LaDi-RL，这是一种利用潜在扩散模型生成结构化推理轨迹、并采用分层潜在 - 文本 rollout 将潜在规划质量与文本解码错误解耦的强化学习框架，从而防止熵崩溃，并在代码和数学推理任务上显著优于传统的 token 级强化学习。

原作者： Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yi-An Ma, Lianhui Qin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位非常聪明但略显固执的学生（一个大语言模型）如何解决复杂的谜题，比如编写计算机代码或解答高等数学问题。

长期以来，教导这位学生的最佳方法一直是强化学习（RL）。这就像一场游戏：学生尝试解决问题，如果答对了，就会得到一颗金星；如果答错了，就会收到“再试一次”的反馈。

然而，这种旧的教学方式存在一个重大缺陷。它强迫学生一次只思考一个词。这就像要求一位主厨在规划整场宴会时，只能决定接下来要切哪一种食材。

问题所在：学生陷入对细枝末节的关注（例如纠结是用“因此”还是“所以”），而忘记了大局。他们开始反复重复同样的几种策略，忽略了其他巧妙的解题方法。在论文中，这种现象被称为**“熵崩溃”**。这就像一个学生无论何时都只学会用加法来解决数学题，即使减法或乘法会更快。最终，他们停止尝试新事物，创造力随之枯竭。

新想法：LaDi-RL（“做梦”的学生）

这篇论文的作者提出了 LaDi-RL，这是一种不同的教学学生方法。他们不再让学生逐词决定，而是让学生先在隐藏的抽象空间中**“梦”**出整个解决方案，然后再将其写下来。

以下是其工作原理，使用一个简单的类比：

1. “蓝图”与“房屋”

旧方法（词元级）：学生一块砖一块砖地建造房屋，每走一步都要决定每一块砖的颜色。如果早期出现失误，整栋房子可能会歪斜。
新方法（潜在扩散）：学生首先在脑海中绘制一张蓝图（即“潜在轨迹”）。这张蓝图代表解决方案的逻辑和策略，而非具体的词语。
- 可以将这张蓝图想象为一个“思维云”。它是想法的一种连续、流动的表征。
- 学生使用一种称为扩散模型的特殊工具。想象这个工具像一位雕塑家，从一块黏土（随机噪声）开始，慢慢剔除多余部分，直到一尊完美的雕像（解决方案策略）显现出来。这使得学生能够在承诺任何具体词语之前，探索多种不同的策略类型（例如，“让我们试试几何”与“让我们试试代数”）。

2. “翻译”问题

这里有一个陷阱。学生的“梦”（蓝图）是用他们理解的秘密语言写成的，但最终答案必须用 plain English（或代码）书写。

风险：有时学生拥有绝妙的蓝图，但“翻译器”（将蓝图转化为文本的部分）搞砸了翻译。如果学生得了低分，我们如何知道是想法本身不好，还是仅仅翻译出了问题？
解决方案（分层 rollout）：论文引入了一种巧妙的修复方法。与其仅基于一份翻译来评判蓝图，学生会为同一张蓝图生成多份翻译。
- 类比：想象一位厨师有一份绝佳的食谱（蓝图）。与其只烹饪一次并评判这道菜，不如将其烹饪五次。如果五道菜中有四道美味可口，我们就知道食谱是好的，即使有一道菜是意外烧焦的。这为教师提供了更清晰的信号，以判断学生的策略是否真正聪明。

3. 保持多样性

为了确保学生不会偷懒而固守某一种蓝图，作者添加了一种**“排斥力”**。

类比：想象一群探险者试图寻找宝藏。如果他们都跟随同一条路径，可能会错过隐藏的洞穴。“排斥力”就像一种温和的推动，说道：“嘿，你离朋友太近了！去探索不同的方向吧！”
这迫使生成的蓝图在结构上彼此不同，确保他们探索各种各样的解决方案。

他们发现了什么？

论文在两项严峻的挑战上测试了这种新方法：编写代码和解决数学问题。

更高的准确率：与旧的“逐块建造”学生相比，“做梦的学生”（LaDi-RL）在第一次尝试中就正确解决了更多问题。
- 在编程方面，准确率提高了9.4%。
- 在数学方面，准确率提高了5.7%。
更强的创造力：旧的学生最终停止尝试新事物（熵崩溃）。而新学生不断发现多样且富有创意的解决方案。即使被要求生成 100 个不同的答案，新学生的答案也都是独特且正确的，而旧学生的答案开始变得雷同且质量下降。
效率：新学生不需要撰写成千上万字的“大声思考”来获取答案。他们将思维压缩成简短高效的“蓝图”，节省了时间和计算资源。

总结

LaDi-RL 改变了 AI 学习推理的方式。它不再强迫 AI 以微小、僵硬的步骤（逐词）进行思考，而是让 AI 先探索思想的景观（使用扩散过程），然后将这些思想转化为文字。这防止了 AI 陷入死胡同，保持其解决方案的多样性，并帮助它更准确地解决更难的问题。

技术摘要：LaDi-RL

问题陈述

强化学习（RL）已成为增强大语言模型（LLMs）推理能力的主导范式，特别是通过优化推理轨迹来实现。然而，现有方法主要优化离散 token 序列上的策略。这种方法造成了根本性的不匹配：关键的推理决策往往是语义的、全局的、轨迹层面的，而 token 层面的优化依赖于局部扰动。

这种不匹配导致了多样性崩溃，即模型策略将概率质量集中在狭窄的推理模式上，抑制了替代策略。虽然 token 层面的探索可以生成词汇变体（例如，将"therefore"替换为"so"），但它难以发现语义上截然不同的策略（例如，从代数推理切换到几何推理）。因此，经过 RL 微调的模型通常能提高 pass@1（单样本准确率），但在大 $k$ 值下无法维持或提升 pass@k 性能，这表明多样化的正确轨迹发生了丢失。

此外，将探索移至连续潜在空间引入了信用分配挑战。在潜在空间 RL 中，策略在连续潜在空间中行动，但只有在潜在轨迹被解码为文本后才能观察到奖励。一种简单的 rollout 策略会将潜在推理的质量与文本解码的质量纠缠在一起。低奖励可能源于有缺陷的潜在轨迹，也可能仅仅是良好潜在轨迹的不完美文本实现，从而产生嘈杂且具有误导性的学习信号。

方法论：LaDi-RL

作者提出了带有强化学习的潜在扩散推理（Latent Diffusion Reasoning with Reinforcement Learning, LaDi-RL），这是一个利用扩散模型在连续潜在空间中重构探索以防止熵崩溃的框架。

1. 潜在扩散策略

LaDi-RL 不使用 token-by-token 的方式生成推理，而是使用变分自编码器（VAE）将整个推理轨迹编码为一个紧凑的连续潜在块（例如 64 个 token）。策略被参数化为这些轨迹表示上的扩散模型。

机制：从噪声开始，策略迭代去噪以趋向潜在推理轨迹。该过程允许结构化的探索和表达式的分布建模，自然地支持多模态推理策略。
多样性引导：为了进一步防止崩溃，作者引入了一种基于排斥的引导机制。在去噪过程中，对附近的潜在轨迹施加排斥力，鼓励它们在潜在空间中分离。这充当了局部几何正则化，明确地保留了多样性，而不仅仅依赖于策略熵。

2. 分层潜在 - 文本 Rollouts

为了解决信用分配挑战，LaDi-RL 采用分层 $N \times M$ rollout 策略：

潜在采样（ $N$ ）：对于给定的查询，扩散策略采样 $N$ 个不同的潜在推理轨迹。
文本解码（ $M$ ）：对于每个采样的潜在轨迹，文本策略生成 $M$ 个候选答案文本。
解码器边缘化奖励：将 $M$ 个文本补全的奖励进行聚合（平均），以估计底层潜在轨迹的效用。这种“解码器边缘化”估计将潜在推理的质量与文本解码的随机性隔离开来，为优化扩散策略提供了更清晰、方差更低的奖励信号。

3. 联合优化

该框架使用组相对策略优化（GRPO）同时优化两个异构策略：

潜在策略：使用与每个潜在块关联的 $M$ 个文本的平均奖励进行优化。该目标鼓励扩散模型探索多样化的、高质量的推理模式。
文本策略：使用从同一潜在块生成的 $M$ 个文本之间的相对差异进行优化。这迫使文本策略为给定的推理策略找到最佳的文本实现，将其与新策略的探索解耦。
损失函数：潜在损失和文本损失的加权和确保了潜在策略探索多样化的思维链，同时文本策略保持为忠实且高效的生成器。

关键结果

作者在代码生成和数学推理基准测试上评估了 LaDi-RL，并将其与 token 层面的 RL 基线（例如，Vanilla GRPO、带有熵优势的 GRPO）以及其他潜在推理方法进行了比较。

性能提升：与 token 层面的 RL 基线相比，LaDi-RL 在代码生成上实现了 +9.4% 的 pass@1 绝对提升，在数学推理上实现了 +5.7% 的提升。
多样性保持：与表现出多样性崩溃（即在大 $k$ 值下 pass@k 低于基线模型）的 Vanilla GRPO 不同，LaDi-RL 在所有基准测试中始终超越了基线模型的 pass@k 性能。例如，在 AIME 2025 上，其 pass@128 实现了 +13.4 的绝对提升。
效率：通过在解码前将推理压缩为潜在块（64 个 token），LaDi-RL 显著减少了生成的 token 数量（例如，在代码任务中，从标准 GRPO 的约 3,447 个 token 减少到 LaDi-RL 的约 422 个 token），从而实现了 33% 的端到端推理时间减少。
消融研究：
- 轨迹级 vs. Token 级：潜在轨迹空间中的探索产生了显著更高的语义多样性（0.52 对比 token 层面的 0.18–0.22）和更强的性能。
- 扩散 vs. VAE：基于扩散的策略优于单步 VAE 采样器，证明了迭代去噪对于学习复杂潜在推理分布的重要性。
- 分层 Rollouts： $N \times M$ 结构至关重要；增加 $N$ （潜在多样性）推动了语义多样性，而增加 $M$ （文本平均）提供了更清晰的奖励信号。

意义与主张

该论文声称，LaDi-RL 为改进 LLM 推理提供了一种原则性的 token 层面 RL 替代方案。其主要意义在于：

缓解多样性崩溃：通过将探索从局部 token 扰动转移到全局轨迹层面的扩散，该方法维持了多样化的解决方案策略，防止策略收敛到次优的局部极小值。
解决信用分配：分层 rollout 和解码器边缘化奖励估计有效地将推理质量与解码噪声解耦，实现了潜在策略的稳定优化。
效率与质量：该方法在准确性（pass@1）和多样性（pass@k）方面均实现了最先进的性能，同时通过潜在压缩显著降低了计算开销。

作者得出结论，潜在扩散为结构化探索提供了一种稳健的机制，使模型能够发现 token 层面方法所遗漏的语义截然不同的推理策略，从而在不牺牲解决方案多样性的情况下解锁更高的推理边界。