🤖 machine learning

GeoMin: Data-Efficient Semi-Supervised RLVR via Geometric Distribution Modeling

GeoMin 是一个数据高效的半监督强化学习框架，它通过建模全局特征分布来区分正确和错误的展开（rollouts），使其能够通过有效地利用未标记实例，在仅使用 10% 标注数据的情况下超越全监督模型。

原作者： Guangcheng Zhu, Shenzhi Yang, Haobo Wang, Xing Zheng, Yingfan MA, Xuening Feng, Zhongqi Chen, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guangcheng Zhu, Shenzhi Yang, Haobo Wang, Xing Zheng, Yingfan MA, Xuening Feng, Zhongqi Chen, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一名才华横溢但缺乏经验的学生（即 AI）如何解决复杂的数学问题。你手头有一大堆练习题，但你只有其中极少数题目的标准答案。

问题所在：

昂贵的方法： 如果你想让学生完美地学习，你需要每一道题都有标准答案。这就像雇佣一个专家导师团队来批改每一份家庭作业。这种方法很准确，但成本极高且极其耗时。
偷懒的方法： 你可以让学生进行自我批改，规则是：“如果我觉得很有信心，那我就是对的。” 但学生往往会对错误答案过度自信。如果你让他们在没有纠错的情况下练习自己的错误，他们最终会开始相信荒谬的理论。这被称为“模型崩溃（Model Collapse）”——学生会变得越来越差，因为他们只是在不断强化自己的错误。
中间地带（以往的方法）： 一些方法尝试利用你拥有的那少量标准答案来引导学生。它们说：“只练习那些看起来与我们已知答案的题目完全一致的题目。” 问题在于，这种方法过于严苛。它丢弃了 87% 的优质练习题，因为这些题目看起来并不与你仅有的几个例子“完全一致”。这就像一位老师拒绝让学生练习一种新的数学题型，仅仅因为这种题型看起来与教科书里的例题略有不同。

解决方案：GeoMin（“几何指南针”）
作者提出了一种名为 GeoMin 的新方法。GeoMin 不仅仅是观察答案，它还观察学生大脑内部思考过程的形状。

以下是它的工作原理，使用一个简单的类比：

1. “大脑地图”（几何分布）

想象学生的脑海是一个巨大的房间。每当他们解决一个问题时，都会在房间的特定位置留下一个“脚印”。

正确答案倾向于在特定的区域留下脚印（我们称之为“北”区）。
错误答案则会在另一个区域留下脚印（我们称之为“南”区）。

在最开始时，学生处于困惑状态，脚印在中间乱成一团，杂乱无章。

2. 第一阶段：绘制地图（监督锚定）

首先，GeoMin 提取那小部分带有已知答案的题目（有标签数据），并让学生去解决它们。

它观察脚印落下的位置。
它在“北”区（正确区）和“南”区（错误区）之间画出一条清晰的边界线。
核心秘诀： 它会特别关注那些落在边界线上的脚印（“边界样本”）。这就像教练在喊：“嘿，你刚才离做对就差一点点！让我们针对这个特定的动作进行练习！” 这让正确与错误思维之间的界限变得更加锐利。

3. 第二阶段：指南针（半监督挖掘）

现在，学生开始处理那堆没有答案的庞大题目（无标签数据）。

与其问“这个答案看起来是否像我们已知的那些答案？”，GeoMin 问的是：“这个学生思考过程的‘形状’是符合‘北’区还是‘南’区的？”
即使答案是全新的，如果学生的内在“脚印”与“北”区一致，GeoMin 就会知道：“这是一个好的练习题，尽管我们还没有它的标准答案。”
它使用一个智能过滤器（一种被称为“高斯混合模型”的东西，其实就是一个聪明的分类机器）来自动挑选出最符合“北”区模式的题目，并忽略掉那些看起来像“南”区错误的题目。

结果
通过使用这个“几何指南针”，GeoMin 能够找到并利用其他方法会丢弃掉的 89% 的有价值练习题。

效率： 它取得了比使用所有标准答案进行训练更好的效果，但它仅使用了 10% 的标准答案就达到了这一目标。
速度： 由于它不再浪费时间在坏数据上，也不需要漫长的“预热”阶段来摸索方向，它的训练速度比之前的最优方法快了两倍。

简而言之：
GeoMin 不再试图死记硬背答案，而是开始学习正确思维的几何结构。通过理解正确解法的“形状”，它可以自信地引导 AI 完成数千个新问题，而无需人类为每一个问题进行人工批改。

技术摘要：GeoMin —— 基于几何分布建模的高效半监督强化学习验证（RLVR）

1. 问题陈述

强化学习验证奖励（RLVR）已成为增强大语言模型（LLM）推理能力的关键范式。然而，RLVR 的可扩展性受到“标注瓶颈”的严重制约：标准的监督方法需要昂贵的真值标注，而无监督替代方案往往会因为依赖存在噪声的自我奖励信号（例如多数投票、熵）而导致“模型崩溃”，从而在缺乏事实依据的情况下强化错误的自信。

最近的半监督方法（如 TraPO）试图通过使用少量有标签数据来引导高质量无标签数据的选择，以弥补这一差距。然而，这些方法面临着关键的数据效率瓶颈。它们依赖于粗粒度的性能启发式算法（例如，将单个轨迹的通过率与集体平均值进行对齐），这无法解释个体实例优化过程中的自然波动。因此，这些方法表现出严重的“召回瓶颈”，仅利用了极小比例（例如约 12.3%）的可用可靠无标签数据，导致大部分有价值的实例未能得到充分利用。

2. 方法论：GeoMin

作者提出了 GeoMin，这是一个利用潜在表示（latent representations）的几何特性来高效挖掘高质量无标签数据的两阶段框架。其核心洞察在于，正确和错误的推理展开（rollouts）在其方向分布上表现出独特的几何共振（geometric resonance），这种共振可以通过建模来评估自我奖励信号的可靠性。

核心概念：几何先验

该方法将 LLM 的隐藏状态（具体为归一化的最后 Token 嵌入）建模为超球面上的方向性数据。它假设正确和错误的展开形成了截然不同的簇，可以使用 von Mises-Fisher (vMF) 分布进行建模。

几何共振： 随着训练的进行，正确和错误展开的方向分布会自然分离。无标签的正确展开会与“正确”的有标签分布对齐，而错误的展开则会与“错误”的分布对齐。

第一阶段：监督锚定

为了建立稳健的几何先验，GeoMin 首先仅在小规模有标签集（ $D_l$ ）上进行监督训练。

分布建模： 它在各网络层上拟合在线 vMF 分布（ $\mu_c, \kappa_c$ ），分别对应正确（ $c=1$ ）和错误（ $c=0$ ）类别。
边界消歧： 该方法识别出“模糊边界样本”，即展开的方向对齐与其正确性相矛盾的样本（例如，一个正确的展开在几何上更接近错误分布）。
优势重加权： 为了加速几何分离的出现，在组相对策略优化（GRPO）更新期间，这些边界样本的优势（advantages）会被放大。这强化了表示空间中的决策边界。

第二阶段：几何引导的样本挖掘

在第二阶段，框架引入无标签数据（ $D_u$ ）进行半监督训练。

动态适应： vMF 分布通过持续利用有标签子集进行刷新，以追踪不断演进的表示空间。
判别性层选择： 该方法量化层级可分性（ $\Delta^{(l)}$ ），并选择具有最高诊断保真度的前 $K$ 层用于可靠性评估。
置信度评分： 对于每个无标签实例，通过聚合其展开相对于已学习的正确和错误 vMF 分布的方向亲和力，计算出一个置信度分数（ $s_i$ ）。
自适应过滤： GeoMin 没有使用静态阈值，而是对置信度分数的分布拟合一个高斯混合模型（GMM）。它自适应地选择高置信度样本（属于高均值高斯分量的样本）来形成可靠的伪标签集（ $B^*_u$ ）。
训练： 最终策略在原始有标签集与过滤后的可靠无标签集的并集上进行优化。

3. 核心贡献

几何共振发现： 本文识别并形式化了“几何共振”现象，即正确与错误展开之间的结构差异可以通过全局特征分布进行解码，从而为评估伪标签可靠性提供了稳健的先验。
新型两阶段框架： GeoMin 引入了一种协调的方法，结合了监督锚定（用于建立判别边界）和几何引导挖掘（用于自适应选择无标签数据），克服了以往半监督方法的召回率限制。
数据效率： 通过对分布进行建模而非依赖宏观性能启发式算法，GeoMin 在识别可靠无标签样本方面的 F1 分数达到了 89.0%，显著优于 TraPO 基线的 21.4%。

4. 实验结果

实验在 Deepmath-103k 数据集上针对 Qwen3-8B-Base 及其他模型（1.5B, 8B）进行。

性能提升： GeoMin 在域内（ID）准确率上超过最强的半监督基线（TraPO）+4.1%，在域外（OOD）平均准确率上超过 +1.7%。
标注效率： 值得注意的是，仅使用 10% 标注数据训练的 GeoMin，其 ID 性能超过了使用 100% 数据训练的全监督基线 +1.2%，同时保持了极具竞争力的 OOD 性能。
可扩展性： 该方法在不同模型规模（1.5B 到 8B）和架构（Qwen vs. Llama）上均展现出一致的改进。
效率： 与 TraPO 相比，GeoMin 的总训练时间实现了 2.14 倍的加速，因为它避免了轨迹匹配基线所需的冗长多轮预热阶段。

5. 意义与主张

本文声称 GeoMin 代表了迈向可扩展、高效数据 RLVR 的重要一步。通过将关注点从表层的输出概率转向潜在表示的几何对齐，该方法在不损害训练稳定性的前提下，释放了海量无标签数据的潜力。

作者断言，GeoMin 有效绕过了标注障碍，使模型能够在极少人类监督的情况下实现卓越的泛化能力。这项工作表明，半监督 RLVR 中的“召回瓶颈”并非范式本身固有的，而是源于对粗粒度启发式算法的依赖，而这可以通过严谨的几何分布建模来解决。

承认的局限性：

验证主要针对高达 8B 参数的模型；在更大规模前沿模型上的表现仍需验证。
该方法的效率取决于初始几何判别性；初始表示质量较差的模型可能需要更长的第一阶段训练。
目前的评估局限于文本和符号推理；向多模态或跨语言任务的泛化能力仍需进一步研究。