Pythagoras-Prover: Advancing Efficient Formal Proving via Augmented Lean Formalisation
Pythagoras-Proverは、カリキュラムベースの教師あり微調整と拡張Lean形式化を活用することで、既存のモデルよりも大幅に少ないパラメータ数でありながら、形式的な証明ベンチマークにおいて最先端の性能を達成する、計算効率の高いオープンソースのLean定理証明器ファミリーです。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ロボットに非常に難しい数学パズルを解く方法を教えようとしていると想像してください。ただし、一つ条件があります。ロボットは、その解答を「Lean」と呼ばれる厳格でコンピュータが読み取り可能な言語で書かなければなりません。もしロボットがたとえ微細な論理的ミスを犯したとしても、コンピュータはその回答を拒絶します。これが「自動定理証明（Automated Theorem Proving）」の世界です。
長い間、ロボットを上手にする唯一の方法は、膨大な量のデータを流し込み、数百万ドルのコストがかかるほど巨大な「脳」（コンピュータモデル）を使用することでした。それは、1,000人のグランドマスターを雇って代わりに考えてもらうことでチェスの大会に勝とうとするようなものでした。
この論文では、新しい数学ロボットのファミリーであるPythagoras-Proverを紹介しています。これは、勝つために巨大な脳や百万ドル規模の予算は必要ないことを証明しています。彼らは、以下の3つの巧妙なトリックを実現しました。
1. 「トレーニングキャンプ」（カリキュラム学習）
いきなり最も難しい問題にロボットを放り込むのではなく、研究者たちは「初級」「中級」「上級」の3つのレベルを持つトレーニングキャンプを構築しました。
- 比喩： 子供に自転車の乗り方を教える場面を想像してください。いきそうな山道から始めることはありません。まずは平らな歩道（初級）、次に緩やかな丘（中級）、そして最後に山道（上級）へと進みます。
- 手法： 彼らは膨大な数学問題のライブラリを作成しました。もし問題がロボットにとって難しすぎた場合、単にそれを捨て去るのではなく、「ルーブリック」（よくある間違いのチェックリスト）を使用して、その問題をロボットが解けるようなより単純なバージョンへと分解しました。これにより、ロボットは巨人に立ち向かう前に、自信とスキルを段階的に構築しながら学ぶことができました。
2. 「マッドリップス」マシン（拡張されたLean形式化）
この分野における最大の課題は、優れた練習問題の不足です。研究者たちは、人間が書いたりスーパーコンピュータで検証したりすることなく、より多くの練習問題を生成できることに気づきました。
- 比喩： 完璧な数学の物語があるとします。新しい物語を一から書く代わりに、「マッドリップス（穴埋め問題）」のゲームを行います。数字を入れ替えたり、登場人物の名前を変えたり、手順の順序を入れ替えたりしますが、物語の「論理」はそのまま維持されます。
- 手法： 彼らは検証済みの問題を取り上げ、ALFと呼ばれるツールを使用してそれらを変異（ミューテーション）させました。彼らは、より単純なバージョン、より難しいバージョン、あるいは単に表現を変えたバリエーションを作成しました。彼らは、すべての新しいバリエーションを厳格なコンピュータでチェックしたわけではありません（それは低速で高価です）。単に、新しい問題が「有効な数学の問題として見えるか」を確認しただけです。これにより、練習問題のライブラリが2.5倍に爆発的に増加し、ロボットが学習するための材料が大幅に増えました。
3. 「自己内省」ループ（自己蒸留）
ロボットが基礎を学んだ後、彼らはロボット自身に教えさせました。
- 比喩： 猛勉強した学生を想像してください。テストを受けるだけでなく、学んだ問題の新しいバリエッションに挑戦します。もし正解すれば、それを後で自分で勉強するための新しい例として書き留めます。
- 手法： ロボットはそれらの「マッドリップス」によるバリエーションに対して証明を生成しました。たとえコンピュータがそのすべてをダブルチェックしていなくても、ロボットが変異したバージョンに対して証明を生成できたということは、単に答えを暗記しているのではなく、論理を真に理解していることを意味します。この「自己学習」によるデータが、ロボットをさらに賢くしました。
結果：小さな脳、大きな勝利
論文では、彼らの新しいロボットを、この分野における現在の「巨人」たちと比較しています。
- 4B ロボット： このロボットは40億の「ニューロン」（パラメータ）を持っています。これは、以前のチャンピオン（6710億のニューロンを持つDeepSeek-Prover-V2）よりも約167倍小さいです。
- 結果： これほど小さいにもかかわらず、4Bロボットは巨大なロボットよりも多くの問題を正しく解きました。これは、よく訓練された高校の数学の天才が、PhD（博士号保持者）のチームに打ち勝ったようなものです。
- 32B ロボット： これより少し大きいこのロボットは、ベンチマークでテストされた中で最高のオープンソース・ロボットとなり、問題の93%を解きました。
「拡散（Diffusion）」実験
研究者たちは、**拡散（Diffusion）**と呼ばれる異なる思考法も試みました。
- 比喩：
- 標準的（自己回帰型）： 文章を左から右へ、一語ずつ書いていく方法。もし早い段階でミスをすると、最初からすべて書き直さなければなりません。
- 拡散型： 文章のぼやけたスケッチを想像してください。ロボットはそのスケッチ全体を見て、欠けている言葉を一度に埋めていき、絵が鮮明になるまで洗練させていきます。途中でミスがあっても、最初から書き直すことなく修正できます。
- 結果： この「拡散」ロボットは、標準的なロボットよりも回答の生成速度が2.5倍速くなりましたが、精度はわずかに劣りました。これは、精度と速度をどのようにトレードオフするかを示す新しい方法です。
「ストレス・テスト」（MiniF2F-ALF）
ロボットが単に答えを暗記しているのか、それとも実際に学習しているのかを確認するために、研究者たちは「ストレス・テスト」を作成しました。彼らは、先ほどの「マッドリップス」の手法を用いて、テストの問題をわずかに変異（数字の変更、変数の入れ替え）させました。
- 結果： ほとんどのロボットはこのテストに失敗しました。なぜなら、元の質問を暗記していたからです。しかし、Pythagoras-Proverは、これらの変異に対して非常にうまく対処しました。これは、彼らが特定の答えではなく、数学の「論理」を学んだことを証明しています。
まとめ
Pythagoras-Proverは、難しい数学の証明を解くためにスーパーコンピュータは必要ないことを示しています。スマートなトレーニング計画を用い、無限のバリエーションの練習問題を作り出し、ロボット自身に教えさせることで、過去の巨大で高価な巨人たちを凌駕する、小さく効率的なロボットを構築することができるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。