🤖 machine learning

Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization

本文将大语言模型强化学习中的探索崩溃识别为 PPO-Clip 在欧几里得度量与策略内在黎曼流形之间的几何失配，并提出了黎曼等距策略优化（RIPO）来纠正这一缺陷，从而在多个基准测试中实现了显著提升的性能和稳定性。

原作者： Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Mingxuan Wang, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhicheng Cai, Xinyuan Guo, Hanlin Wu, Mingxuan Wang, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个超级聪明的机器人去解决极其困难的数学谜题。你希望这个机器人尝试新的、古怪的、具有创造性的方法来解决问题，而不仅仅是死守着它已经掌握的老套路。这被称为“探索”（exploration）。但问题在于，目前用于教导这些机器人的标准方法（称为 PPO-Clip）存在一个隐藏的缺陷。这就像是用一把会根据道路繁忙程度而伸缩的尺子来测量两座城市之间的距离。

缺陷：“一刀切”的尺子
当前的方法将机器人做出的每一次改变都视为同样的大小，而不管机器人最初做出该动作的可能性有多大。

高概率陷阱： 如果机器人已经有 80% 的把握采取某种路径，标准方法会让它激进地向前冲，使这条路径变得更加占据主导地位。这就像学校里的风云人物得到了更多的关注，而安静的孩子却被忽视了。
低概率陷阱： 如果机器人只有 1% 的把握去尝试一条罕见的、可能极具启发性的路径，标准方法几乎不允许它进行任何移动。这就像试图用羽毛去推动一块沉重的巨石。即使那条罕见的路径是解开谜题的关键，机器人也会因为过于胆怯而不敢尝试。

作者发现，这种“一刀切”的方法在数学上是错误的。他们发现，这些机器人决策所处的空间并不是像纸张一样平坦（欧几里得空间），而是像地球表面一样弯曲（黎曼流形）。在一个弯曲的表面上，同样大小的一步看起来会完全不同。旧的方法忽略了这个曲率，导致机器人陷入僵局，失去了探索的能力。这就是论文中所说的“探索崩溃”（exploration collapse）。

解决方法：“智能尺子”（RIPO）
为了修复这个问题，作者创建了一种名为 黎曼等距策略优化（Riemannian Isometric Policy Optimization，简称 RIPO） 的新方法。把 RIPO 想象成一把“了解地形的智能尺子”。

对于热门路径： 它会收紧绳索，防止机器人变得过于自负并只固守一种解决方案。
对于罕见路径： 它会放松绳索，允许机器人采取更大胆、更强力的步伐去探索那些隐藏的、具有创造性的解决方案。

通过这样做，RIPO 确保了机器人所走的每一步在其实际行进的弯曲决策图上都是“公平”的。这让机器人保持平衡：既保留使用有效方法的能力（利用），也从未停止寻找更好方法（探索）。

论文说了什么（以及没说什么）
作者非常明确地说明了他们的发现。他们排除了仅仅通过微调旧方法中的数值（例如让针对罕见动作的“绳索”稍长一点）就能解决问题的观点。他们认为，以往试图修复该问题的尝试只是“对症治疗”，比如在断掉的腿上贴创可贴，而不是修复骨头。论文表明，如果不修复底层的几何结构（即决策空间的形状），机器人最终总会陷入一种乏味、缺乏创造力的状态。

结果：巨大的飞跃
团队在四种不同规模的机器人大脑（大语言模型 LLMs）上测试了这种新的“智能尺子”，并将它们与七种顶尖的训练方法在七场超难的数学竞赛（如 AIME24、AMC23 和 HMMT25）中进行了对决。

结果令人震惊。在 AIME24 基准测试中，新方法（RIPO）将 GRPO 算法的性能提升了高达 60%。事实上，在 Qwen3-8B 模型上，RIPO 在 AIME24 中得分 43.8，而排名第二的方法（DCPO）仅得到了 36.3。

但这不仅仅关乎数学。论文还展示了该方法在编程任务（如 Codeforces）和搜索任务（如 TriviaQA）上的表现，证明了这种“弯曲地图”问题是机器人面临的普遍问题，而不仅仅是一个数学问题。

为什么这很重要
论文并不仅仅说“它效果更好”。作者测量了机器人的“熵”（一个描述其选择多样性的专业术语），旧方法中的机器人选择会崩塌至接近于零（它停止了创造性思考），而 RIPO 则保持了机器人选择的多样性和健康度。他们还观察了“梯度范数”（衡量学习过程是否剧烈波动），旧方法就像是带有剧烈波峰的过山车，而 RIPO 则是一段平稳、稳定的旅程。

简而言之，论文表明，通过尊重机器人决策的真实弯曲形状，我们可以阻止它们陷入停滞，并帮助它们解决以前无法解决的问题。这是一种从使用一把破碎的平直尺子到使用一把完美的弯曲尺子的转变，而数据表明，这对于提升机器人的智能水平有着巨大的影响。

技术摘要：超越欧几里得裁剪

1. 问题陈述：LLM RL 中的探索崩溃

强化学习（RL）已成为增强大语言模型（LLM）推理能力的主导范式，特别是在长程任务（如数学推理）中。然而，依赖于近端策略优化裁剪机制（PPO-Clip）的现代 RL 算法正面临一种被称为**探索崩溃（Exploration Collapse）**的关键失效模式。

在这种现象中，策略会迅速集中在极少数高概率动作上，无法探索对于解决复杂问题至关重要的稀有但关键的动作。虽然随后的研究工作（例如 DAPO、DCPO）试图通过提高裁剪边界或解耦阈值等启发式调整来缓解这一问题，但它们未能解决根本原因。本文认为，这些针对症状的修复仍停留在 PPO-Clip 框架内，并未解决其根本性的理论缺陷。

2. 根因分析：几何失配

本文指出 PPO-Clip 的根本缺陷在于用于策略更新的度量与策略空间内在几何结构之间的几何失配（Geometric Mismatch）。

欧几里得假设： PPO-Clip 隐式地使用重要性采样比率（ $r(\theta) = \pi_\theta / \pi_{\theta_{old}}$ ）上的欧几里得度量来衡量策略差异。它约束 $|r(\theta) - 1| < \epsilon$ ，无论底层概率如何，都将相等的比例偏差视为相等的策略变化。
黎曼流形现实： 策略之间的内在差异受 KL 散度控制，这在策略的统计流形上诱导出了黎曼几何（Riemannian Geometry）。其几何距离与 $\pi_{\theta_{old}} \cdot (r(\theta) - 1)^2$ 成正比。
后果： 这种失配导致了病态的更新行为：
- 低概率区域： 更新几乎不消耗“KL 预算”，导致更新过于保守。稀有但具有信息量的动作被系统性地低估。
- 高概率区域： 更新过度激进，消耗了大量的置信区域预算。
- 结果： 策略过早地向高概率 Token 集中，抑制了多样性并导致了探索崩溃。

3. 方法论：黎曼等距策略优化 (RIPO)

为了修正这一几何缺陷，作者提出了黎曼等距策略优化（Riemannian Isometric Policy Optimization, RIPO）。其核心创新是黎曼等距裁剪（Riemannian Isometric Clip, RIC），它能够根据局部概率单纯形动态调整裁剪边界。

核心机制

RIPO 不再强制执行固定的欧几里得比例偏差，而是确保每个状态-动作更新都在黎曼流形上移动相同的几何距离。其约束公式为：
$|r_{s,a}(\theta) - 1| \leq \sqrt{\frac{\delta}{\pi_{\theta_{old}}(a|s)}}$
其中 $\delta$ 代表置信区域半径。

关键特性

等距更新： 通过将裁剪阈值与旧概率的平方根成反比进行缩放，RIPO 允许对低概率动作进行更大规模的更新，同时限制对高概率动作的更新。这平衡了探索与利用。
偏差-方差权衡： 本文证明了几何等距性诱导了重要性采样的统计同方差性（Statistical Homoscedasticity）。
- 标准的重要性采样在长尾（低概率）区域会遭受方差爆炸。
- PPO-Clip 通过截断样本来降低方差，但引入了严重的偏差。
- RIPO 实现了一种原则性的权衡：它使方差保持在常数阶（ $O(\delta)$ ）且独立于密度，同时通过保留更多稀有样本，显著降低了相比于 PPO-Clip 的偏差。

4. 实验结果

作者在四种 LLM（参数量从 1.7B 到 8B 不等）和七个竞赛级数学推理基准测试（包括 AIME24、AIME25、AMC23、HMMT25 等）上评估了 RIPO，并将其与六种代表性 RL 算法（GRPO、DAPO、GSPO、GMPO、DCPO、GPPO）进行了对比。

性能提升： RIPO 一致优于所有基线模型。值得注意的是，在 AIME24 基准测试中，RIPO 相比 GRPO 实现了高达 60% 的相对提升（例如在 Qwen3-8B-Base 上为 43.8 vs 31.7）。
训练动力学：
- 效率： RIPO 仅需 40 步即可达到 GRPO 训练 200 步后的性能（5 倍 Token 效率）。
- 稳定性： 与 GRPO（经历快速熵崩溃）或 DAPO（表现出不受控的熵增长）不同，RIPO 保持了稳定且适度的熵水平。
- 梯度范数： RIPO 表现出平滑、无波动的梯度范数，而其他方法则显示出明显的振荡和峰值。
泛化能力： 该方法在编程任务（Codeforces, APPS）和多跳搜索任务（TriviaQA, HotpotQA）上也得到了验证，展现出优于 GRPO 的一致性提升。
容量边界： Pass@k 分析（最高至 $k=128$ ）表明，虽然基础模型和其他 RL 方法较早进入平台期，但 RIPO 能够持续扩展，突破了内在的推理能力边界。
适用性： RIC 机制成功迁移到了标准 PPO 目标函数（使用 GAE 和价值模型）并在 GSM8k 数据集上进行了测试，证明了其超越组相对目标（Group-relative objectives）的通用性。

5. 意义与主张

本文声称为当前 LLM RL 的一个关键局限提供了具有理论依据的解决方案。其意义在于：

识别根因： 超越了启发式修复，精准定位了欧几里得-黎曼几何失配是探索崩溃的源头。
原则性的算法设计： 引入了 RIPO，它通过强制执行等距更新来保证有利的偏差-方差权衡以及稳定的优化。
可扩展性： 证明了几何一致性的更新使 LLM 能够在不发生崩溃的情况下处理日益复杂的长程推理任务，从而有效地增强了各种规模和架构模型的推理能力。

作者总结道，RIPO 为设计更有效、更稳定的 LLM 强化学习算法建立了一条原则性的路径。