💬 NLP

GeometryZero: Advancing Geometry Solving via Group Contrastive Policy Optimization

该论文提出了 GeometryZero 模型及其核心训练框架 GCPO，通过引入基于上下文效用的组对比掩码和长度奖励机制，解决了传统强化学习方法在几何推理中盲目辅助构造的问题，从而以较小的模型成本实现了超越现有基线的几何解题性能。

原作者： Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 GeometryZero 的新项目，它的核心目标是教人工智能（AI）如何像人类数学家一样解决几何题，特别是那些需要“画辅助线”的难题。

为了让你更容易理解，我们可以把这篇论文的故事想象成教一个聪明的学生如何参加“几何奥林匹克竞赛”。

1. 遇到的难题：只会死记硬背 vs. 懂得变通

以前的 AI 模型（就像那些只会死记硬背的学生）在解几何题时，要么完全看不懂图，要么就是不管题目需不需要，不管三七二十一，先画一条辅助线再说。

比喻：想象你在解一道数学题，老师告诉你“遇到难题就画辅助线”。以前的 AI 就像个笨学生，不管题目是简单的加法还是复杂的几何，它都拿起笔乱画。结果呢？简单的题被它画乱了，复杂的题它又画错了，反而把问题搞得更难。
现状：以前只有像 GPT-4o 这样的“超级学霸”（大模型）才能做得好，但它们太贵了，普通学校（普通用户）用不起。

2. 核心创新：GCPO（分组对比策略优化）

作者们想出了一个新办法，叫 GCPO。我们可以把它想象成一种**“分组对抗训练法”**。

传统方法（GRPO）：就像老师只告诉学生“画辅助线就能得分”。学生为了得分，拼命画线，结果画了一堆没用的线，反而扣分。
GCPO 方法：老师把学生分成三组，针对同一道题进行“分组 PK"：
1. A 组（画辅助线组）：尝试画辅助线解题。
2. B 组（不画辅助线组）：直接硬算，不画线。
3. 裁判（奖励机制）：
  - 如果这道题确实需要辅助线才能解出来，A 组赢了，老师给 A 组发糖（正奖励），并告诉 B 组“你输了”。
  - 如果这道题根本不需要辅助线，画了反而画蛇添足，B 组赢了，老师给 B 组发糖，并罚 A 组（负奖励），告诉它：“别乱画！这次画线是错的！”
  - 如果画不画都差不多，那就不奖励也不惩罚（0 奖励）。

关键点：通过这种“对比”，AI 学会了**“什么时候该画线，什么时候不该画线”。它不再是无脑画线，而是学会了审时度势**。

3. 两个新工具：让 AI 更聪明

为了让这个训练更有效，作者还加了两个小工具：

情境感知面具（Group Contrastive Masking）：
- 比喻：就像给 AI 戴上了一副“智能眼镜”。这副眼镜能自动判断：这道题是“画线题”还是“直接计算题”。如果是前者，眼镜变绿（鼓励画线）；如果是后者，眼镜变红（禁止画线）。这解决了 AI“乱画线”的毛病。
长度奖励（Length Reward）：
- 比喻：几何题往往需要多步推理。以前的 AI 喜欢“走捷径”，还没想清楚就急着给答案。这个奖励机制告诉 AI：“别急着交卷，多思考一会儿，多写几步推理过程，只要过程对，我就给你加分。”这迫使 AI 把思路想得更深、更透。

4. 成果：GeometryZero 家族

基于这套方法，作者训练出了一系列名为 GeometryZero 的 AI 模型（从 15 亿参数到 70 亿参数）。

效果：
- 省钱：它们不需要像 GPT-4o 那样巨大的模型，小模型也能达到甚至超过大模型的效果。
- 聪明：在 Geometry3K 和 MathVista 等几何考试榜单上，它们的表现吊打其他使用传统方法的模型。
- 会反思：就像图 1 和图 3 展示的那样，GeometryZero 会在解题过程中自我反思：“哎呀，我刚才画这条线好像没用，还是直接算吧”，或者“这里必须画条线才能看出来”。这种“顿悟时刻”是以前的小模型很难做到的。

总结

这篇论文就像是在说：

“我们不需要造一个超级昂贵的‘几何天才’。只要给普通大小的 AI 装上**‘分组对比训练’的大脑，教会它‘该出手时就出手，不该出手时别乱动’**，它就能变成一个既便宜又强大的几何解题高手。”

一句话概括：GeometryZero 通过让 AI 在“画线”和“不画线”之间进行对比学习，教会了它何时该画辅助线，从而用较小的成本实现了顶尖的几何解题能力。

GeometryZero 技术总结

1. 研究背景与问题 (Problem)

几何问题求解（Geometry Problem Solving）是大语言模型（LLM）推理能力的重要试金石，其难点在于不仅需要理解视觉上下文（几何图形），还需要进行复杂的逻辑推理。特别是许多几何问题需要**辅助线构造（Auxiliary Construction）**才能解决。

现有的方法存在以下局限性：

性能不足或成本高昂：要么在几何推理上表现不佳，要么依赖超大规模模型（如 GPT-4o, Gemini），导致计算成本极高，难以部署。
辅助线使用的盲目性：现有的强化学习（RL）方法（如 ToRL）通常使用**无条件奖励（Unconditional Rewards）来鼓励模型使用工具（如绘制辅助线）。这导致模型倾向于 indiscriminately（不加区分地）**添加辅助线，甚至在不需要辅助线或辅助线会干扰推理的场景中强行构造，从而引入错误。
缺乏自适应能力：模型无法自主判断何时“应该”使用辅助线，何时“应该”直接推理。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 Group Contrastive Policy Optimization (GCPO)，一种新的强化学习框架，并基于此构建了 GeometryZero 模型家族。

2.1 Group Contrastive Policy Optimization (GCPO)

GCPO 在 GRPO（Group Relative Policy Optimization）的基础上进行了关键改进，核心在于条件化奖励机制，使模型学会“何时”使用辅助线。

组对比掩码 (Group Contrastive Masking)：
- 这是 GCPO 的核心创新。在训练采样过程中，模型会生成三组响应：
  1. 普通组 ( $O$ )：模型自由决策是否使用辅助线。
  2. 强制辅助线组 ( $O_w$ )：强制模型在思维链中包含辅助线构造。
  3. 禁止辅助线组 ( $O_{wo}$ )：强制模型不使用辅助线。
- 通过比较 $O_w$ $O_{w}$ 和 $O_{wo}$ $O_{w o}$ 的准确率奖励（Accuracy Reward），动态决定对辅助线奖励（Auxiliary Reward）的掩码策略：
  - 如果 $E(R_{acc}(O_w)) > E(R_{acc}(O_{wo})) + \epsilon$ ：说明辅助线有益，给予正奖励。
  - 如果 $E(R_{acc}(O_w)) + \epsilon < E(R_{acc}(O_{wo}))$ ：说明辅助线有害，给予负奖励（惩罚）。
  - 否则：奖励为 0。
- 这种机制让模型学会根据具体问题的上下文，自主判断辅助线是“雪中送炭”还是“画蛇添足”。
长度奖励 (Length Reward)：
- 受 LCPO 启发，引入长度奖励鼓励更长的推理链。因为复杂的辅助线构造和深度推理通常需要更多的思考步骤，该奖励旨在防止模型过早截断推理过程，促进更深入的“思维链”生成。
综合奖励函数：
$R(o_i) = R_{GRPO}(o_i) + \lambda \cdot \text{Mask}(R_{aux}(o_i)) + \beta \cdot R_{length}(o_i)$
其中 $R_{GRPO}$ 包含准确率和格式奖励， $\text{Mask}(R_{aux})$ 是经过组对比掩码处理后的辅助线奖励。

2.2 GeometryZero 模型

基于 GCPO 框架，作者训练了一系列轻量级（1.5B 到 7B 参数）的几何推理模型。这些模型能够：

将几何图形转化为形式化语言（如 TikZ 代码或逻辑形式）。
在推理过程中自主决定是否生成辅助线代码。
在不需要辅助线时直接进行逻辑推导。

3. 关键贡献 (Key Contributions)

验证了辅助线构造的价值与条件性：证明了 LLM 可以通过辅助线构造解决复杂几何问题，但关键在于选择性使用，而非盲目使用。
提出了 GCPO 算法：一种新颖的强化学习方法，通过组对比掩码机制，灵活地提供鼓励或惩罚信号，解决了传统 RL 方法中工具使用“一刀切”的问题。
构建了 GeometryZero 模型家族：训练了从 1.5B 到 7B 的专用几何模型，并在多个基准测试中证明了其优越性。
开源与可复现性：提供了代码和模型，推动了小参数模型在几何推理领域的研究。

4. 实验结果 (Results)

实验在 Geometry3K, Geomverse, MathVista 和 OlympiadBench 等基准上进行，对比了 SFT、GRPO、ToRL 等基线模型。

整体性能提升：GeometryZero 在所有模型规模（1.5B, 3B, 7B）上均一致优于 GRPO 和 ToRL。
- 例如，在 7B 模型上，GeometryZero-7B 在平均准确率上达到了 57.47%，显著高于 GRPO (55.63%) 和 ToRL (54.72%)。
- 在 MathVista（跨域测试）上，GeometryZero-7B 达到了 87.15%，表现优异。
泛化能力：GCPO 不仅适用于纯文本模型，也成功迁移到了视觉 - 语言模型（Qwen2.5-VL-7B），在直接处理图像输入时依然保持领先。
消融实验：
- 移除“组对比掩码”（即退化为无条件奖励，类似 ToRL）会导致性能下降。
- 移除“长度奖励”也会导致性能下降，证明了长推理链的重要性。
- 移除“辅助线奖励”同样导致性能下降，说明辅助线构造本身是必要的技能。
训练动态：
- 观察发现，GCPO 模型在训练过程中响应长度呈现“上升 - 下降 - 再上升”的趋势，表明模型先学习推理模式，再优化冗余，最后学习更复杂的推理策略。
- 组对比掩码中，正掩码（鼓励辅助线）的比例通常高于负掩码，说明在几何问题中辅助线总体是有益的，但模型学会了在特定情况下抑制它。

5. 意义与影响 (Significance)

低成本高效推理：GeometryZero 证明了通过改进的强化学习策略，中小规模模型（如 7B）可以达到甚至超越依赖超大模型（如 GPT-4o）的几何推理性能，极大地降低了部署成本。
工具使用的范式转变：该工作为 LLM 的“工具使用”（Tool Use）提供了新的视角。它表明，对于像辅助线这样的工具，**“何时使用”（When to use）**比“如何使用”（How to use）更重要。GCPO 提供了一种通用的框架，用于训练模型在复杂任务中自主决策工具调用的时机。
可解释性与反思能力：案例研究表明，GeometryZero 模型在推理过程中展现出类似人类“顿悟”（Aha moments）的反思能力，能够识别错误并调整策略（例如，意识到辅助线无效后停止构造或改变思路）。

总结：GeometryZero 通过引入组对比掩码机制，成功解决了几何推理中辅助线构造的“盲目性”问题，使得小参数模型能够像专家一样，在需要时精准使用辅助线，在不必要时保持简洁，从而实现了高效、准确的几何问题解决能力。