Learning to Coordinate Symbolic Tools: LLM Agents for Verified Sum-of-Squares Certificates

コンピュータが指示に従うことには非常に長けているものの、どの指示に従うべきかを判断することに関しては極めて拙い、そんな世界を想像してみてください。これは、現在の人工知能（AI）、特に大規模言語モデル（LLM）——物語を書いたり、コードを生成したり、謎解きをしたりできる超スマートなチャットボット——が直面している最前線の課題です。これらのモデルは文章の次の単語を予測することには長けていますが、複雑な数学の証明のような、長い論理の連鎖を必要とする問題ではつまずいてしまうことがよくあります。これを解決するために、科学者たちはAIエージェントに、人間が計算機や定規、あるいは専門的なソフトウェアを選ぶように、「ツール」を使う方法を教えています。大きな疑問は、AIがツールを「使える」かどうかではなく、単一のツールでは解けないパズルを解くために、ツールボックス全体を「コーディネート（調整）」する方法を学べるかどうかです。それは、ハンマーを持っていることと、いつ叩き、いつネジを締め、いつ壁を壊す前に止まるべきかを知っていることの違いなのです。

本論文は、「平方和（Sum-of-Squares, SOS）分解」と呼ばれる特定の種類の数学パズルを用いて、まさにこの課題に切り込んでいます。これは、複雑で乱れた多項式が、どのような数値を代入しても常に正（負にならない）であることを証明しようとする試みだと考えてください。この証明の「コツ」は、方程式を（$x^2 + y^2$ のような）完全平方の和の形に並べ替えることです。なぜなら、平方（二乗）は常に正だからです。しかし、方程式をどのように並べ替えるべきかを見つけ出すことは、目隠しをしてルービックキューブを解くようなものです。そこには何百万通りもの回転の仕方がありますが、解にたどり着く方法はごくわずかしかありません。著者らは、AIエージェントが自身の作業を即座に検証するために、記号計算ツール（SymPy）を使用する方法を学ぶ特別なエージェントを構築しました。彼らはこのエージェントに対し、最終的なパズルだけでなく、まず135万個のより単純な代数問題の膨大なライブラリを用いて訓練を行いました。

結果は、単にAIにツールを与えるだけでは不十分であることを示しています。AIには「代数的根拠（algebra-grounded）」、つまりツールを効果的に使う前に、その背後にある数学を深く理解させる必要があります。研究者たちが、数学を学び（かつツールを使いこなす方法を学んだ）フル訓練済みのエージェントをテストしたところ、複雑なパズルを78.96%の割合で解くことに成功しました。対照的に、同じツールを持ちながらも基礎となる数学の訓練を受けていないバージョンのAIは、それらのうち44.73%しか解くことができませんでした。さらに印象的なことに、フル訓練済みのエージェントは、9つの異なるタイプの代数タスクにおいて91.75%の精度を達成しました。この研究は、AIが真の「問題解決者」になるためには、単に「ボタン」を押す方法だけでなく、その道の「技術（クラフト）」を学ぶ必要があることを示唆しています。

数学探偵の物語

あなたが、容疑者が巨大で乱れた代数方程式である事件を解決しようとしている探偵だと想像してください。あなたの仕事は、その方程式が常に「善（正）」であり、決して「悪（負）」ではないことを証明することです。この証明を行う唯一の方法は、方程式を、すべてが正であるレンガを積み上げるように、完全平方の山へと分解することです。もし、その方程式が単なる正のレンガの山であることを示せれば、事件は解決です。

しかし、ここには落とし穴があります。方程式は、バラバラで混乱した状態で書かれています。これを解きほぐすには、方程式の一部を即座に展開、縮小、または再構成できる「数学の魔法の杖」（SymPyと呼ばれるコンピュータプログラム）が必要です。しかし、この杖は「何をすべきか」までは教えてくれません。ただ、あなたが命じた通りに動くだけです。もし間違った部分を展開するよう命じれば、状況をさらに悪化させてしまうかもしれません。あなたは、どの部分を捻り、いつ止まり、どのようにピースを組み立て直すべきかを判断しなければならないのです。

カリフォルニア工科大学（Caltech）とOpenAIの研究者たちは、AIにこの探偵になれるよう教える方法を模索しました。彼らは単にAIに杖を与えたのではありません。「トレーニングキャンプ」を構築したのです。彼らは135万個の練習問題を作成しました。まず、AIは文字のソート、類似項のグループ化、数値の因数分解といった単純なタスクを練習しました。次に、ツールを使うことで何が起こるのかをシミュレーション環境で学習させました。最後に、実際の杖を使って、本物の「平方和」パズルに挑戦させました。

大きな発見：訓練はツールに勝る

実験では、4つの異なるバージョンのAI探偵を比較しました。

1. ルーキー（Base）: トレーニングキャンプを見たことがなく、杖も持っていないAI。
2. 学生（SFT）: トレーニングキャンプで学習したが、テスト中には杖を持っていないAI。
3. ツール使用者（Base+Tools）: 突然杖を渡されたが、学習はしていないルーキー。
4. マスター（Full）: キャンプで学習し、かつ杖も与えられた学生。

結果は、マスターの明確な勝利でした。複雑なパズルに直面したとき：

• 杖を持ったルーキーは、約**44.73%**しか解けませんでした。
• マスター（数学を知っており、かつ杖を持っている）は、**78.96%**を解きました。

これは決定的な事実を証明しています。強力なツールを賢いAIに手渡すだけでは不十分だということです。AIはそのツールの背後にある論理を理解していなければなりません。それは、熟練のシェフにハイテクなオーブンを渡すようなものです。もし彼が料理の仕方を知らなければ、オーブンは役に立ちません。しかし、もし彼がレシピを知っていれば、オーブンは彼を無敵にします。

研究では、この集中的な数学訓練が、一般的な数学問題などの他の能力を低下させないかどうかも確認しました。そうなることはなく、マスターAIは標準的なテストにおいて**96.29%**というスコアを出し、一般的な数学問題についてもわずかに成績が向上しました。これは、ツールのコーディネートを学ぶことが、他のスキルを損なわなかったことを示しています。

AIが学んだこと（そして学ばなかったこと）

本論文は、自らの主張について非常に慎重です。AIが世界のあらゆる数学問題を解ける天才になったと主張しているわけではありません。使用されたパズルは合成的なもの（コンピュータによって生成されたもの）であり、変数は1つから3つ程度と比較的規模が小さいものです。AIは数学を「発見」したのではなく、特定の種類の証明を見つけるために、既存のツールをコーディネートする方法を学んだのです。

しかし、本研究は一般的な仮定の一つを否定しています。それは、「モデルにツールのインターフェースを貼り付けさえすれば、期待通りに動くはずだ」という考えです。ツールのバージョン（Base+Tools）は、ツールを持たずとも数学を学習していた「学生（SFT）」バージョンよりも成績が悪かったのです。これは、代数の深い理解がなければ、ツールがかえってAIを混乱させ、誤った選択へと導いてしまうことを示唆しています。

また、研究者はAIが失敗する3つの具体的なパターンについても指摘しています。それは、「早すぎる諦め」、「見た目は正しいが構造的に間違っている解決策の構築」、あるいは「構造的には正しいが、実際には元の式と一致しない解決策の構築」です。システム内の「正確な検証器（exact verifier）」がこれらすべてのミスを検知し、完璧な解のみがカウントされるようにしていました。

まとめ

この論文は、よりスマートなAIエージェントを構築するための設計図を提示しています。数学や科学の分野におけるAIの未来は、単にモデルを大きくしたり、より派手なツールを導入したりすることではないことを示唆しています。それは**「コーディネーション（調整）」**です。AIに対して、その領域の基礎的なスキル（この場合は代数）を訓練し、その上で、自身の作業を検証するためにツールを使う方法を教えることで、より信頼性の高いエージェントを作ることができます。「マスター」AIは単に推測したのではなく、人間の専門家と同じように、計画し、実行し、チェックし、そして修正を行ったのです。この研究自体は制御された数学環境に限定されていますが、将来、AIがいかにしてより困難な現実世界の課題に取り組めるようになるかという道筋を照らしています。