💬 NLP

GeometryZero: Advancing Geometry Solving via Group Contrastive Policy Optimization

本論文は、補助的な作図を文脈に応じて適切に選択・評価する「Group Contrastive Policy Optimization (GCPO)」という強化学習フレームワークを提案し、これにより小規模モデルでも GPT-4o に匹敵する幾何学推論能力を達成する「GeometryZero」を開発したことを報告しています。

原著者： Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

公開日 2026-04-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yikun Wang, Yibin Wang, Dianyi Wang, Zimian Peng, Qipeng Guo, Dacheng Tao, Jiaqi Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

幾何学の問題を解く「天才少年」の育て方：GeometryZero の物語

この論文は、**「AI に幾何学の問題を解かせる」というテーマについて書かれています。特に、図形の問題を解く際に必要な「補助線（ひもや線を引いて図形を完成させること）」**を、AI が「いつ引くべきか」「いつ引かなくていいか」を自分で判断できるようにする新しいトレーニング方法を紹介しています。

これをわかりやすく、日常の言葉と面白い例え話で解説しましょう。

1. 問題：AI は「何でもかんでも」線を引いてしまう

これまで、AI が図形の問題を解くのは難しかったです。
例えば、三角形の角度を求める問題が出たとき、AI は正解するために「補助線」を引く必要があるのに、それを引くのを忘れたり、逆に**「引かなくてもいいのに、無理やり線を引いて混乱させてしまう」**というミスをしていました。

悪い例え話：
料理をするとき、レシピには「塩を少し」しか必要ないのに、AI は「もっと美味しくなるかも！」と塩を山ほど入れてしまい、料理が台無しになってしまうようなものです。
以前の AI は、補助線という「魔法の道具」を、必要な時だけでなく、**「とりあえず全部の問題に使う」**という間違った習慣を持っていたのです。

2. 解決策：新しいトレーニング方法「GCPO」

そこで研究者たちは、**「GCPO（グループ対照方策最適化）」**という新しいトレーニング方法を考案しました。

これは、AI に**「正解したか・不正解だったか」だけでなく、「補助線を使ったことで、本当に問題が簡単になったのか？」**を教える方法です。

魔法の鏡の例え話：
先生（AI）が問題を解こうとしています。
1. グループ A（補助線あり）： 先生は「線を引いて解こう」と考えます。
2. グループ B（補助線なし）： 先生は「線を引かずに解こう」と考えます。
先生は両方の答えを出した後、**「どちらのグループの方が正解に近かった？」**を比較します。
- もし「線を引いたグループ」が正解に近ければ → 「よし、その問題では線を引くのは正解だ！ご褒美！」
- もし「線を引いたグループ」が混乱して間違えれば → 「いやいや、その問題では線を引くのは無駄だ！罰ゲーム！」
この**「比較して、褒めたり叱ったりする」というプロセスを繰り返すことで、AI は「この問題なら線を引け、あの問題なら引くな」という「勘所（コツ）」**を自分で学び取ります。

3. 結果：「GeometryZero」の誕生

この新しいトレーニングを受けた AI を**「GeometryZero（ジオメトリー・ゼロ）」**と呼びます。

どんな AI になった？
- 賢い判断力： 難しい問題には「補助線」という武器を使い、簡単な問題では素直に解きます。無駄な動きをしません。
- 考える力： 答えを急ぐのではなく、**「もっと深く、長く考えてから答える」**ように訓練されました（長い思考プロセスを褒める仕組みがあるため）。
- コストパフォーマンス： 巨大で高価なスーパーコンピュータ（GPT-4o など）を使わなくても、比較的小さなモデルでも、トップクラスの性能を発揮します。

4. 実験の結果：他の AI を凌駕する

実験では、GeometryZero は他の有名な AI（GRPO や ToRL など）と競い合いました。

GeometryZero： 補助線を「必要な時だけ」使い、正解率が高い。
他の AI： 補助線を「常に使う」か「使わない」かのどちらかで、状況に合わせて使い分けられず、正解率が低い。

まるで**「状況に合わせて道具を使い分ける職人」と「常にハンマーを振り回す職人」**の違いのようなものです。GeometryZero は職人技を身につけました。

5. まとめ：なぜこれが重要なのか？

この研究は、**「AI に『道具を使うタイミング』を教える」**という新しい道を開きました。

これまでの AI： 道具（補助線）があるから、何でも使おうとする。
GeometryZero： 「この問題には道具が必要だ」「あの問題には不要だ」と自分で判断する。

これは、AI が単に「答えを覚える」のではなく、**「どう考えればいいのか」**を深く理解する第一歩です。将来的には、数学だけでなく、プログラミングや科学の分野でも、「必要な時に必要なツールを使う」賢い AI が活躍するようになるかもしれません。

一言で言うと：
GeometryZero は、**「補助線という魔法の杖を、必要な時だけ使いこなす、賢く節度ある AI」**に成長させた、画期的なトレーニング方法の物語です。

GeometryZero: 補助線構築を強化した幾何学問題解決のためのグループ対照方策最適化

本論文「GeometryZero: Advancing Geometry Solving via Group Contrastive Policy Optimization」は、大規模言語モデル（LLM）における幾何学問題解決、特に補助線（auxiliary construction）の適切な使用に焦点を当てた研究です。既存の手法が巨大なモデルに依存するか、あるいは無条件に補助線を引きすぎて性能を低下させる課題を解決するため、新しい強化学習フレームワーク「GCPO」を提案し、軽量かつ高性能な幾何学推論モデル「GeometryZero」を開発しました。

以下に、論文の技術的要点を問題定義、手法、主要な貢献、実験結果、意義の順で詳細にまとめます。

1. 問題定義と背景

幾何学問題解決は、視覚的コンテキスト（図形）の知覚と複雑な推論の両方を必要とする難易度の高いタスクです。特に、問題の性質によっては補助線の引くことが解法への鍵となります。

既存手法の限界:
- 既存の強化学習手法（GRPO や ToRL など）は、ツール（補助線構築）の使用を無条件に（unconditionally）報酬で促す傾向があります。
- これにより、モデルは補助線が不要な場合や、むしろ有害な場合でも無差別に補助線を引き、推論チェーンを混乱させ、誤った解答を導くことがあります。
- 一方、巨大なモデル（GPT-4o など）は高い性能を示しますが、計算コストが高く、実用的な展開が困難です。
課題: 小型〜中型のモデル（1.5B〜7B パラメータ）において、「いつ補助線を使うべきか（判断）」と「どのように使うか（実行）」を同時に学習させる効率的な強化学習手法の確立。

2. 提案手法：GCPO (Group Contrastive Policy Optimization)

著者は、従来の GRPO（Group Relative Policy Optimization）を改良した新しいフレームワークGCPOを提案しました。この手法の核心は、補助線構築の報酬を「無条件」ではなく「条件付き（conditional）」に制御する点にあります。

主要なコンポーネント

グループ対照マスキング (Group Contrastive Masking):
- 従来の GRPO は単一の回答群から報酬を計算しますが、GCPO は問題ごとに 3 つの回答群をサンプリングします。
  - $O$ : 通常の回答群（モデルの判断に任せる）。
  - $O_w$ : 強制的に補助線構築を含む回答群。
  - $O_{wo}$ : 補助線構築を禁止した回答群。
- 報酬の動的付与: $O_w$ の平均精度が $O_{wo}$ よりも有意に高い場合（ $\epsilon$ 閾値以上）、補助線構築に対して正の報酬を与えます。逆に、 $O_{wo}$ の方が高い場合は**負の報酬（ペナルティ）**を与えます。これにより、モデルは「補助線が有効なケースでは引き、無効なケースでは引かない」という戦略を学習します。
長さ報酬 (Length Reward):
- 補助線を含む推論はより深く多角的な分析を必要とするため、推論チェーンの長さを促すための報酬を導入しました（LCPO に着想を得ています）。これにより、モデルは単に答えを急ぐのではなく、十分な推論ステップを踏むことを学習します。
検証可能報酬の組み合わせ:
- 最終的な報酬 $R(oi)$ は、正解報酬、フォーマット報酬、上記の対照マスキングによる補助線報酬、長さ報酬を重み付けして組み合わせます。

3. 主要な貢献

GeometryZero モデルファミリーの開発:
- 1.5B、3B、7B パラメータの軽量 LLM（Qwen2.5 ベース）を、GCPO を用いて幾何学推論に特化させてトレーニングしました。
- これらのモデルは、補助線構築を「状況に応じて選択的」に行う能力を獲得しています。
新しい強化学習手法 GCPO の提案:
- ツール使用（補助線）に対して、文脈に応じた条件付き報酬（鼓励またはペナルティ）を与えるメカニズムを確立しました。これにより、モデルの「無差別なツール使用」を防ぎつつ、必要な場面でその能力を最大限に引き出します。
包括的な評価と分析:
- 複数のベンチマーク（Geometry3K, MathVista, OlympiadBench など）での実験により、既存の RL 手法（GRPO, ToRL）や SFT（教師あり微調整）を上回る性能を証明しました。
- 視覚言語モデル（VLM）への適用可能性も検証し、テキストベースの形式言語（コード）で図形を記述するアプローチの有効性を示しました。

4. 実験結果

ベンチマーク性能:
- Geometry3K, MathVista, OlympiadBench などの主要な幾何学ベンチマークにおいて、GeometryZero（GCPO 適用）は、GRPO や ToRL を用いたベースラインモデルを一貫して上回りました。
- 特に 7B モデルでは、平均スコアが 57.47 となり、GRPO ベースライン（55.63）や ToRL（54.72）を凌駕しました。
- 分布外（OOD）データに対する汎化性能も高く、SFT 単独では見られなかった推論能力の向上が確認されました。
アブレーション研究:
- 「補助線報酬（AR）」、「グループ対照マスキング（GC）」、「長さ報酬（LR）」の各コンポーネントを除去した実験を行いました。
- どのコンポーネントを除去しても性能が低下することから、これら 3 つの要素がすべて重要であることが示されました。特に、マスキング（GC）がない場合（ToRL 相当）は、無条件な報酬により性能が頭打ちになることが確認されました。
トレーニングダイナミクス:
- 応答長（推論ステップ数）の推移を観測したところ、GCPO モデルはトレーニング初期に長くなり、中盤で最適化され、後半に再び複雑な推論パターンを学習して長さが回復する「上昇 - 下降 - 上昇」のパターンを示しました。これは、モデルがより洗練された推論を学習していることを示唆しています。

5. 意義と結論

コスト効率の高い高性能モデル: 巨大なモデルに依存せず、中規模モデルでも補助線構築を含む高度な幾何学推論を可能にしました。
適応的な推論戦略: 「ツールを使うべきか、使わないべきか」を自律的に判断する能力を RL によって学習させることは、数学的推論だけでなく、他のツール利用タスク（コード生成、検索など）における RL 応用にも重要な示唆を与えます。
形式言語と推論の融合: 視覚情報を形式言語（TikZ コードや論理形式）に変換して推論を行うアプローチが、マルチモーダル推論よりも精度が高い場合があることを示し、幾何学問題解決における新しいパラダイムを提示しました。

総じて、GeometryZero は、幾何学問題解決における「補助線」の適切な使用を RL によって制御する画期的な手法であり、軽量モデルでも高度な推論能力を実現する可能性を示した重要な研究です。