Achieving Olympia-Level Geometry Large Language Model Agent via Complexity Boosting Reinforcement Learning

本論文は、記号エンジンとの反復的な対話と複雑度増強強化学習（CBRL）を採用し、AlphaGeometry 2 が使用するデータの 0.004% しか用いないことで、国際数学オリンピックの幾何学問題において平均金メダリストを上回る成績を収めた大規模言語モデルエージェント「InternGeometry」を提案するものである。

要約

数学のオリンピックで金メダル級の AI 誕生：「InternGeometry」の物語

2025 年、数学の頂点である「国際数学オリンピック（IMO）」の幾何学問題において、驚くべき成果を上げた AI が登場しました。その名は**「InternGeometry（インターン・ジオメトリー）」**。

この AI は、これまでの AI が抱えていた「ひらめき不足」を克服し、わずか 1 万 3000 例の学習データ（従来の AI の 0.004% ！）で、人間の金メダリスト平均を凌ぐ成績を叩き出しました。

一体、この AI はどうやってそんなすごいことをしたのでしょうか？まるで「天才的な探偵」が事件を解決するようなプロセスを使って、わかりやすく解説します。

---

1. 従来の AI の悩み：「迷路で迷子になる」

これまでの幾何学 AI（AlphaGeometry 2 など）は、**「膨大な地図（データ）」と「徹底的な検索」**に頼っていました。
まるで、迷路の入り口から出口まで、すべての道をひたすら歩き回って正解を探すようなものです。

• メリット: 確実性が高い。
• デメリット: 迷路が複雑すぎると、データ量が足りず、どこから手をつけていいか（「補助線」をどこに引くか）がわからず、迷子になってしまう。

人間は、迷路の入り口を見て「あ、ここからこの壁を越えれば近道かも」と**直感（ひらめき）**で補助線を引きますが、従来の AI はその「直感」が弱かったのです。

2. InternGeometry の新戦略：「探偵と助手のチームワーク」

InternGeometry は、単なる検索ロボットではなく、**「思考する探偵（LLM）」と「厳格な検査官（記号エンジン）」**が組んだチームです。

🕵️‍♂️ 探偵（LLM）：「もしも〜だったら？」

探偵は、問題を見て自然言語で考えます。「もしここに点を追加したら？」「もしこの角度が等しければ？」と、補助線や仮説を次々と提案します。

• 特徴: 失敗を恐れません。「あ、この線はダメだったか。じゃあ次はこうしよう」と、200 回以上も試行錯誤を繰り返します。

🧪 検査官（記号エンジン）：「本当か？証明せよ！」

探偵が「ここを結べば解ける！」と提案すると、検査官が即座に数学のルール（定理）を使って「本当にそうなるか？」を厳密にチェックします。

• 結果: 「成功！」なら次のステップへ。「失敗！」なら「ダメでした」とフィードバックします。

🧠 記憶装置（ダイナミック・メモリー）：「過去の失敗を忘れない」

ここで重要なのが**「ダイナミック・メモリー」です。
探偵が 200 回も試行錯誤する中で、過去の「失敗した線」や「成功した発見」をすべて覚えておくのは大変です。そこで、この AI は「重要なポイントだけまとめて記憶」**します。

• 例: 「昨日、A 点と B 点を結んだらダメだった。でも、C 点と D 点を結んだら角度が揃った！」という情報をコンパクトに保存し、次の探偵のアイデアに活かします。

このように、**「考えて提案し、チェックされ、失敗から学び、また考える」**というループを繰り返すことで、AI は人間のように「ひらめき」を身につけていったのです。

---

3. 成長の秘訣：「難易度調整トレーニング（CBRL）」

この AI を鍛える際、指導者は**「Complexity-Boosting Reinforcement Learning（CBRL）」**という特別なトレーニング方法を使いました。

🎓 従来のトレーニング：「いきなり難問」か「簡単な問題ばかり」

• 難しすぎる問題: 初心者には無理で、挫折して何もしなくなる。
• 簡単すぎる問題: 簡単すぎて、成長しない。

🌱 InternGeometry のトレーニング：「階段を登るように」

CBRL は、**「AI の現在の力に合わせて、少しずつ問題を難しくしていく」**という方法です。

1. 最初は簡単な問題: AI が「できた！」と自信をつける。
2. 成功したら少し難しく: 「よし、次はこれだ」とレベルを上げる。
3. 失敗したら少し易しく: 「ちょっと戻って、基礎を固めよう」と調整する。

まるで、**「子供の成長に合わせて、少しずつ高い段差を越えさせる」**ようなトレーニングです。これにより、AI は効率的に「難問を解く力」を身につけ、最終的にはオリンピックレベルの難問も解けるようになりました。

---

4. 驚異的な成果：「人間を超える創造性」

この AI の最大の特徴は、**「人間が思いつかないような解法」**を見つけられることです。

• 人間の解法: 伝統的な「反転」や「三角関数」を使う。
• AI の解法: 全く新しい補助線を引いたり、図形の対称性を利用した、人間には思いもよらない「美しい幾何学的な構成」を見つけ出す。

ある問題では、人間は複雑な計算で解こうとしたのに対し、AI は「あ、この 2 つの円を結べば、角度がきれいに揃うな！」と、シンプルでエレガントな幾何学的なひらめきを見せつけました。これは、AI が単にデータを暗記しているのではなく、**「幾何学のルールを深く理解し、創造的に応用している」**証拠です。

---

まとめ：なぜこれがすごいのか？

InternGeometry の成功は、以下の 3 点で画期的です。

1. 圧倒的な効率: 従来の AI が 3 億個のデータで学んだことを、**1 万 3000 個（0.004%）**のデータで達成しました。これは「少ない材料で、より賢く学ぶ」技術の勝利です。
2. 長期的な思考: 200 回以上の試行錯誤を「記憶」しながら行えるため、複雑な迷路でも諦めずに解き明かします。
3. 創造性: 人間が思いつかない新しい解法を生み出し、数学の探求そのものを広げました。

これは、AI が単なる「計算機」や「検索エンジン」を超え、**「創造的な問題解決者」**として進化し始めた瞬間と言えるでしょう。まるで、小さな子供が階段を一つずつ登り、やがて頂上から素晴らしい景色（新しい数学の真理）を眺めるようになるような物語です。

技術概要

論文「Achieving Olympia-Level Geometry Large Language Model Agent via Complexity Boosting Reinforcement Learning」の技術的サマリー

本論文は、国際数学オリンピック（IMO）レベルの幾何学問題を解くための大規模言語モデル（LLM）エージェント「InternGeometry」を提案し、従来の専門モデル（AlphaGeometry 2 など）を凌駕する性能を、極めて少量のデータで達成したことを報告しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と課題

• 現状の課題: 幾何学問題、特に IMO レベルの問題は、単なる定理の適用だけでなく、創造的な「補助線（補助構成）」の発見が不可欠です。従来の LLM エージェントは、この補助線の発見におけるヒューリスティクス（経験則）が弱く、AlphaGeometry 2 のような大規模な合成データと探索に依存する専門モデル（Expert Models）に性能で劣っていました。
• 既存手法の限界: 既存の最善手（SOTA）である AlphaGeometry 2 や SeedGeometry は、数億〜数十億のトレーニングデータと大規模な探索木（Beam Search など）を必要としており、データ効率や汎化能力に課題がありました。
• 研究の目的: 大規模なデータ合成や複雑な探索に依存せず、LLM エージェント自身が長期的な推論と試行錯誤を通じて、メダリストレベルの幾何学問題解決能力を獲得できるか検証すること。

2. 提案手法：InternGeometry

本論文は、LLM エージェントが記号エンジンと対話しながら問題を解決するアーキテクチャを構築しました。

2.1. 環境とツール：InternGeometry-DDAR

• DDAR (Deductive Database Arithmetic Reasoning): オープンソースの幾何学証明エンジン「Newclid」を基盤に、IMO 問題の解法を網羅的にカバーできるよう拡張した対話型証明エンジンです。
• 機能: 点の配置を最適化する動的調整、重複点（Double Points）の扱い、新しい述語の追加などを行い、LLM が提案した補助線や命題を形式的に検証します。

2.2. エージェントの推論プロセス

LLM エージェントは、自然言語による思考（Think）と、DSL（ドメイン固有言語）によるアクション（Action）を交互に繰り返します。

1. 思考 (Think): 自然言語で問題の分析、戦略の立案、仮説の提示を行います。
2. アクション (Action): 補助線の追加、命題の証明提案などを DSL で記述し、DDAR に実行させます。
3. フィードバック (Feedback): DDAR からの実行結果（成功/失敗、導出された事実）を受け取り、次の推論に反映します。
4. 動的メモリ (Dynamic Memory): 200 回を超える対話履歴を圧縮・要約し、重要なアクションと結果のみを保持することで、コンテキストの制限を回避しつつ、長期の探索を可能にします。
5. 拒否サンプリング: 過去の行動の繰り返しや無効な出力を防ぐため、ルールベースのチェックを行い、不適切な生成を破棄して再サンプリングします。

2.3. 複雑度強化強化学習 (CBRL: Complexity-Boosting Reinforcement Learning)

学習効率を最大化するためのカリキュラム学習フレームワークです。

• データ合成パイプライン: 証明に必要なステップ数（DDAR proof steps）を「複雑度（$\kappa$）」の指標として定義し、特定の複雑度を持つ幾何学問題を自動生成します。
• 適応的カリキュラム: 学習の各段階で、モデルの現在の能力に合わせた複雑度のデータを生成・選択します。
  • 報酬が 0.5（50% の成功率）になるように複雑度を調整し、モデルにとって「難しすぎず、簡単すぎない」タスクを提供します。
  • これにより、単純な問題から徐々に高度な問題へと学習を進め、強化学習の収束を加速させます。
• 報酬設計: 証明成功（Outcome Reward）と、各ステップの有効性（Step Effectiveness Reward）の論理積を報酬とします。

3. 主要な結果

3.1. 性能評価 (IMO 50)

• テストセット: 2000 年から 2024 年までの IMO 幾何学問題 50 問（IMO 50）。
• 結果: InternGeometry は44/50の問題を解決しました。
  • 比較: AlphaGeometry 2 (42/50)、SeedGeometry (43/50) を上回り、IMO 金メダリストの平均スコア（40.9 点）も超えています。
  • 2025 年問題: 2025 年の IMO 問題も解決しています。
• データ効率: 学習に使用したデータは13,000 例のみ。
  • AlphaGeometry 2 の約 0.004%（3 億例に対して）、SeedGeometry の約 0.006%（2.3 億例に対して）という驚異的なデータ効率を達成しました。

3.2. 分析とアブレーション研究

• 長期的対話の重要性: 最大ステップ数を 64 から 200 に増やすことで性能が劇的に向上しました。補助線提案と命題証明の両方を繰り返す「長い試行錯誤」が、弱いヒューリスティクスを克服する鍵であることが示されました。
• CBRL の効果: 複雑度を段階的に上げるカリキュラム学習なしでは、難易度の高い問題への汎化が困難でした。単純なデータのみ、または難しいデータのみで学習させる場合、性能は大幅に低下しました。
• 創造性: 人間の解答には存在しない、新しい補助線の構成を提案するケースが確認されました（例：IMO 2018 P6 における等角共役点の発見）。

4. 論文の意義と貢献

1. LLM エージェントの限界の突破: 幾何学という「ヒューリスティクスが弱い」領域において、大規模なデータ合成や専門的な探索モデルに依存せず、LLM エージェント単体でメダリストレベルの性能を達成できることを実証しました。
2. データ効率の革新: 従来の専門モデルが数億のデータが必要だったのに対し、1 万数千のデータで同等以上の性能を出したことは、LLM の学習効率と汎化能力の飛躍的な向上を示唆しています。
3. 新しい学習パラダイム (CBRL): 問題の複雑度を動的に調整する「複雑度強化強化学習」は、強化学習の収束を加速し、高度な推論タスクにおけるカリキュラム学習の有効性を示しました。
4. 創造的推論の可能性: エージェントが人間の解法とは異なる、独創的な幾何学的構成（補助線）を発見できることは、AI が単なる模倣を超えて創造的な問題解決能力を持つ可能性を示しています。

5. 結論

InternGeometry は、LLM エージェントが記号エンジンとの長期的な対話と、複雑度制御された強化学習を通じて、IMO レベルの幾何学問題を解決できることを示しました。これは、AI による数学的推論において、大規模データ依存から「効率的な学習と創造的探索」へのパラダイムシフトを促す重要な成果です。