💬 NLP

N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization

该论文引入了 N-GRPO，这是一种针对组相对策略优化（Group Relative Policy Optimization）的新型探索策略，它通过将锚点标记（anchor token）嵌入与其最近的语义邻居进行动态混合，以在注入多样性的同时保持语义一致性，从而增强了数学推理能力，并在分布内和分布外任务上均超越了现有基准。

原作者： Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名非常聪明的学生（一个大语言模型）如何解决困难的数学问题。为了变得真正优秀，这个学生需要通过尝试多种不同的方法来解决同一个问题来进行练习。这个练习阶段被称为“采样”（rollout）。

这里介绍了一种帮助该学生练习的新方法，叫做 N-GRPO。以下是它的工作原理，通过简单的概念进行拆解：

问题所在：两种糟糕的练习方式

目前，当 AI 模型进行练习时，它们通常通过两种方式之一来尝试实现多样性，但两者都有缺陷：

“鹦鹉学舌”法（Token 级采样）：
想象你要求学生重写一个句子。他们可能会说：“猫坐在垫子上”或者“垫子下面坐着猫”。
- 问题在于： 这些只是换种说法。底层的逻辑完全相同。学生并没有学习新的解决数学问题的方法；他们只是在用不同的词表达同样的意思。这就像是在练习钢琴曲，但只是改变了音量，而不是改变音符。
“静态噪声”法（随机嵌入噪声）：
想象给学生一个随机的电击，来搅动他们的思维。
- 问题在于： 这太混乱了。这就像是在齿轮里扔进了一个扳手。学生可能会突然开始谈论“香蕉”，而他们本该谈论“代数”。随机噪声破坏了意义，导致学生偏离轨道并失败。

解决方案：N-GRPO（“聪明邻居”法）

作者提出了一个折中方案，称为 语义邻居混合（Semantic Neighbor Mixing）。你可以把它看作是一场“引导式小组头脑风暴”。

模型不是随机挑选一个词，也不是仅仅进行改写，而是观察它最可能想说的那个词（即“锚点”）。然后，它会在其内部词典中找到距离该词最近的 3 个“邻居”。

类比： 想象学生正准备说出“正方形（Square）”这个词。
- “鹦鹉学舌”法可能会说“四边形（Quadrilateral）”（仅仅是一个同义词）。
- “静态噪声”法可能会说“香蕉（Banana）”（随机且错误）。
- N-GRPO 会观察“正方形”，并找到它的邻居：“长方形（Rectangle）”、“菱形（Diamond）”和“立方体（Cube）”。然后，它会创建一个融合后的思想，这是所有四个概念的混合体。

这种混合是一种“连续的”思想。它还不是一个具体的词；它是一个处于这些相关想法中间的模糊概念。

为什么这有效

留在路径上： 因为邻居是根据与原词的相似度来选择的，所以这个新的“混合”思想在数学和逻辑上仍然是相关的。它不会漂移到毫无意义的状态（比如“香蕉”的例子）。
寻找新路径： 因为它是混合而成的，它允许模型探索比单一词汇稍微不同的解题角度。这就像是在森林中寻找隐藏捷径时，采取一条略微不同的路线，而不是仅仅更快或更慢地走原路。

如何使用

论文将此集成到一个名为 GRPO 的训练框架中。

在训练期间： 模型进行练习。有时（大约 10% 的时间），它会使用这种“聪明邻居”混合法来生成解决方案。如果该解决方案导向了正确答案，模型就会获得奖励，并学习到这条“混合”路径是有效的。
在测试期间（推理）： 有趣的是，论文发现虽然这种混合有助于学习，但在模型独立回答问题时，它实际上会损害性能。因此，在进行最终测试时，他们会关闭这种混合，坚持使用标准的、清晰的答案。

结果

研究人员在数学问题（如 AIME 和 MATH 基准测试）上测试了不同规模的 AI 模型。

结果： 使用 N-GRPO 的模型比使用旧方法模型解决了更多的正确问题。
核心结论： 通过将相似词汇的“思想”混合在一起，AI 可以探索更具创造性的解决方案，而不会感到困惑或迷失方向。

局限性

论文指出有两个主要缺点：

速度： 寻找这些“邻居”并进行混合需要额外的计算能力，这使得训练过程变得稍慢。
范围： 他们仅在数学和科学领域进行了测试。他们还没有尝试将其用于编程，因为编程的规则非常严格（你不能在不破坏语法的情况下真的去“混合”代码语法）。

简而言之，N-GRPO 教会 AI 通过融合相似的想法来进行思考，从而在不失去理智的前提下探索新的解决方案。

技术摘要：N-GRPO —— 用于增强策略优化的嵌入级邻域混合

1. 问题陈述

大语言模型（LLMs）在数学推理方面的成功，很大程度上取决于在强化学习（RL）的展开（rollout）阶段生成多样化且有效的解题路径。然而，目前的探索技术面临着一个根本性的权衡：

Token 级采样： 标准方法生成的轨迹往往具有冗余性，仅在表达方式或交换律顺序（例如“1+2”与“2+1”）上有所不同，而没有改变底层的推理逻辑。
嵌入级噪声： 在连续嵌入中注入随机噪声（如高斯噪声）的方法经常会破坏语义一致性。初步实验表明，不受约束的噪声会将表示推离语义流形（semantic manifold），使有效的 Token 变成无关的 Token，从而导致展开轨迹脱轨。

现有的尝试（如 Soft Thinking 或 HRPO）通常依赖于离散 Token 采样来引入随机性，或者在扰动连续空间时无法维持语义连贯性。

2. 方法论：N-GRPO

作者提出了 N-GRPO，这是一种集成到组相对策略优化（GRPO）框架中的新型探索策略。其核心创新是 语义邻域混合（Semantic Neighbor Mixing），这是一种嵌入级扰动机制，能够在严格遵循局部语义流形的同时注入多样性。

核心机制：语义邻域混合

该方法不是通过采样离散 Token 或添加不受约束的噪声，而是通过将锚点 Token 的嵌入与其最近的语义邻居进行混合来构建输入表示。

锚点选择： 在每个生成步骤中，模型根据经过温度缩放的 Logits 识别出最受偏好的 Token（即语义锚点， $v^*_t$ ）。
邻居检索： 根据与锚点的余弦相似度，从嵌入矩阵中检索出一组 $k$ 个邻居 Token ( $C_t$ )。这确保了邻居在语义方向上聚集在一起。
加权混合： 对该邻居集合进行温度缩放后的 Logits 归一化，以计算混合权重 ( $\alpha_t$ )。
连续嵌入构建： 生成一个连续的混合嵌入 ( $\tilde{e}_{t+1}$ )，作为邻居嵌入的加权和。该嵌入将作为下一步的输入。

与 GRPO 的集成

N-GRPO 通过随机门控机制将此机制集成到 GRPO 的展开阶段：

混合掩码（Mixing Mask）： 一个具有固定概率 $\rho$ （例如 0.1）的伯努利掩码 ( $m_{i,t}$ ) 决定了是激活语义邻域混合，还是遵循标准的离散 Token 采样。
稳定性： 通过保持大多数步骤为离散 Token，该方法在引入必要的间歇性以进行探索的同时，保留了语义稳定性。
训练： 在训练阶段，记录候选集和权重，以确保用于优势计算（advantage calculation）的可复现轨迹重建。最终奖励基于与混合步骤对应的离散锚点 Token 进行计算。

3. 核心贡献

可控的嵌入级探索： 本文引入了一种在生成过程中注入语义引导扰动的方法，弥合了离散 Token 级推理与连续嵌入级探索之间的鸿沟。
N-GRPO 框架： 作者将语义邻域混合集成到 GRPO 框架中，创建了一个利用局部语义流形来扩展探索空间而不牺牲连贯性的系统。
实证验证： 在不同模型规模（1.5B 到 7B）和架构（DeepSeek-R1-Distill-Qwen, Llama-3.2, Qwen3）上的广泛评估表明，该方法较强基线模型有持续的提升。

4. 实验结果

该方法在具有挑战性的数学推理基准测试（AIME25, AMC23, MATH500）和分布外（OOD）任务（GPQA-Diamond）上进行了评估。

数学推理： N-GRPO 始终优于包括标准 GRPO、Soft Thinking 和使用不受约束高斯噪声的 STHT 基线在内的模型。
- 在 DeepSeek-R1-Distill-Qwen-1.5B 模型上，N-GRPO 将平均 Pass@32 从 77.41 (GRPO) 提升至 79.17。
- 在 7B 模型上，平均 Pass@32 从 81.94 (GRPO) 提升至 84.20。
- 在极具挑战性的 AIME25 基准测试中观察到了显著收益，N-GRPO 在该测试中分别取得了 50.28 (1.5B) 和 61.18 (7B) 的 Pass@32，超越了 GRPO 和 STHT。
分布外泛化能力： 在 GPQA-Diamond 基准测试中，N-GRPO 展示了强大的泛化能力，取得了最高的 Pass@32 分数（1.5B 为 92.87，7B 为 92.80），表明该方法增强了通用的科学推理能力，而非仅仅是数学特定技能。
可迁移性： 该机制成功迁移到了 GSPO 框架（N-GSPO），在 AIME25 上实现了 +7.66 的增益，这表明该扰动机制与 GRPO 特有的优势归一化并非紧密耦合。
消融研究：
- 混合率（Mixing Rate）： 性能在不同的混合率（0.1 到 0.2）下保持稳定，尽管在 AIME25 上对较小模型进行过度混合（0.2）会导致性能下降，这强调了多样性与稳定性之间平衡的重要性。
- 距离度量： 余弦距离在邻居选择方面明显优于 L1 和 L2 度量，这归功于高维嵌入空间中语义信息的方向性特征。
- 推理： 作者指出，在推理阶段应用语义邻域混合（不使用 GRPO 过滤机制）会导致性能下降，这证实了其作为训练时探索工具而非解码策略的角色。

5. 重要性与主张

论文声称，N-GRPO 通过在嵌入空间中探索推理动力学，为提升 LLM 的推理能力提供了一条充满前景的途径。其重要性在于：

解决权衡问题： 它成功地在展开过程中注入了多样性，同时避免了由于朴素噪声注入导致的语义漂移或由于 Token 级采样导致的冗余。
语义锚定： 通过利用局部语义流形，该方法确保了探索始终保持在有效的推理区域内。
泛化性： 该方法并不局限于特定的模型家族或推理蒸馏策略，在不同规模和基础模型上均表现出鲁棒性。

作者总结道，虽然该方法在展开过程中引入了计算开销，且目前主要在数学和科学任务上得到验证，但它建立了一种平衡探索与语义一致性的策略优化新范式。