BootLoops: an LLM-driven toolkit for exact quantitative science

科学計算の歴史の大部分において、人間はプログラムが何を行うかを正確に理解した上で記述し、コンピュータはその指示を実行してきた。その後、パラダイムはシフトした。人間がアーキテクチャを指定し、コンピュータがデータに適合するニューラルネットワークを構築し、人間がその結果を解釈するというものである。現在、新たな転換が進行中である。大規模言語モデル（LLM）が半自律的なエージェントとして機能し、プログラムを設計・記述し、実行し、そして自ら結果をレビューして解釈することができるようになった。こうしたシステムの潜在能力は無限であるように思われるが、一つの重要な問いが残っている。いかにして人間はこれらのエージェントを用いて最大限の生産性を発揮できるのか。その答えは、遠く離れた分野を結びつけることにある。素粒子物理学のために開発された手法が生態学の問題を解決したり、数値解析のツールが公衆衛生における規制閾値を明確にしたりすることがあるが、両方の側面を十分に理解してその繋がりを見出せる人はほとんどいない。あらゆる事象を読み込んできた大規模言語モデルは、その両方を知っている。

本論文では、その知識の広がりを活用するために設計されたツールキット「BootLoops」を紹介する。これは、言語モデルが正確かつ定量的な科学を実行するために操作および拡張できる、一連の特化したコンピュータプログラムの集合体である。このツールキットは、衝突型物理学、実験数学、およびコンピュータ代数からの手法を集結させ、通常は近似によって推定されたり、丸め誤差を隠してしまう浮動小数点数で計算されたりする問題を解決する。推測や推定を行う代わりに、BootLoopsはモデルが答えを正確な有理数として計算し、解が存在するかしないかの証明を行い、保証された誤差範囲を伴って計算を行うことを可能にする。目的は人間の科学者に取って代わることではなく、ある分野のツールを用いて別の分野の問題を解決するための手段を人間に提供することであり、人間には困難な「繋がり」を日常的な操作へと変えることにある。

この作業の中核となるのは、ループ内でコマンドを発行してプログラムを実行し、その出力を読み取る大規模言語モデルである。困難な計算に直面した際、モデルは手順を計画し、ツールキットから適切なツールを選択し、それらを実行する。もしツールが不足していれば、モデルは新しいルーチンを書き、テストを行い、それをコレクションに追加する。プログラム自体はあらゆる数値と記号を計算するため、モデルが数字を推測することはない。ツールキットは異なる問題を超えて持続し、新しい手法が追加されるにつれて成長していく。これには、複雑な積分を有限の基底へと簡約するプログラム、微分方程式を解くプログラム、そして高精度な数値に正確な定数を適合させるプログラムが含まれる。これらのプログラムの中には、物理学や数学から採用された公開コードもあれば、このプロジェクトのためにゼロから書かれたものもある。合計で、およそ100の新しいプログラムが、この論文で記述されている計算を処理するために作成された。

BootLoopsの最初の主要な応用は、粒子がどのように散乱し相互作用するかを記述するファインマン積分の計算である。数十年にわたり、物理学者は直接積分を行うか、あるいは点ごとに推定することでこれらを計算してきた。BootLoopsは異なるアプローチをとる。「ブートストラップ」と呼ばれる手法を用いるのである。モデルはまず、問題によって定義される幾何学的形状（単純な球面、楕円曲線、あるいはカラビ・ヤウ多様体として知られる複雑な形状など）を特定する。この幾何学が、答えを記述できる関数の種類を決定する。次に、モデルは未知の係数を持つ一般式を構築し、高精度の数値サンプルを用いてそれらの係数を適合させる。その結果得られるのは、数値のリストではなく、閉じた形式の答え、すなわち精密な数学的表現である。著者は、単純な1ループ図形から複雑な4ループ構造に至るまで、30のこのような積分を計算した。そのうち15は既知の文献に存在するものであり、残りの15は計算例が見当たらない新しいものであった。各結果は、モデルの直感に頼ることなく、30桁以上の精度で独立した数値評価と比較検証され、正当性が確認された。

第二の応用は、これらの物理学のツールがいかに生物学や統計学の課題を解決するかを示している。進化生物学のような分野では、科学者はどの系統樹がDNAデータに最もよく適合するかを確認するために、種の異なる家族構成を比較する。これには、「ベイズ証拠（Bayesian evidence）」と呼ばれる、特定の樹の下でのデータの確率を表す数値を計算する必要がある。従来、これはモンテカルロ法を用いて推定されてきたが、これらは低速であり、独自の推定誤差を伴う。BootLoopsは、これらの生物学的証拠の積分に関する数学が、ファインマン積分の数学と同一であることを認識する。これらの簡約化および適合技術を適用することで、ツールキットはこれらの証拠を正確な有理数として計算する。単純なケースでは、答えは正確な分数となる。より複雑なケースでは、真の値を含むことが保証された範囲を提供する。これにより、科学者は以前は浮動小数点による推定では不可能であった、絶対的な確信を持って系統樹を比較できるようになる。同様のアプローチは、混合モデル、集団遺伝学、およびシングルセル生物学にも適用され、通常はノイズの多いシミュレーションに依存する問題に対して正確な回答を提供する。

第三の能力は、完全性の証明を伴う網羅的な探索を行う能力である。多くの科学的な問いにおいて、答えはあらゆる可能なケースをチェックすること、あるいは特定の種類のケースが存在しないことを証明することに依存する。BootLoopsは、弦理論におけるフラックスの配置や、品質評価のためのデータの最適なグループ化の方法といった、有限の空間におけるあらゆる構成を列挙することができる。これは、何も見落としていないという厳密な証明とともに実行される。もし探索が解を見つけた場合は、完全なリストを返す。もし解が見つからなかった場合は、そのような対象が存在しないことを証明する定理を提供する。例えば、ツールキットは、ランダムウォークに関する数学の有名な問題であるワトソン積分を分析するために使用された。モデルは、可能な閉じた形式の解のクラスを網羅的に調べ、一般的なケースにおいてはそのような閉じた形式が存在しないことを証明した。これは、数十年にわたる未解決問題であった。これにより、ヒューリスティック（発見的手法）あるいは不完全になりがちな探索が、数学的な確実性へと変貌する。

最後に、このツールキットは標準的な計算における丸め誤差の問題に対処する。コンピュータが浮動小数点演算を使用する場合、微小な誤差が蓄積し、特に長い計算の連鎖において誤った答えを導く可能性がある。BootLoopsは「ボール算術（ball arithmetic）」を使用しており、そこではすべての数値が、保証された半径を持つ中間点として扱われる。この半径は計算が進むにつれて拡大または縮小し、真の値が常に範囲内に含まれることを保証する。もし誤差が有用なレベルを超えて大きくなった場合、システムは誤った答えを出すのではなく、答えを出すことを拒否する。この手法は、大気質に関する規制閾値や医療格付けなどの公開された数値を監査するために使用された。ある事例では、ツールキットが米国オゾン基準の計算を厳密な算術で再現したところ、公開された結果が数値の切り捨て方法に依存していたことが判明した。これは、浮動小数点演算では隠蔽されていた詳細である。別の事例では、メディケアのスターレーティングの正確な値を検証し、公開されたカットポイントが確かに最適であることを証明した。

本論文は、エージェンティックな人工知能の真の力は、異なる分野の知識を組み合わせる能力にあると結論付けている。BootLoopsは、これらの手法を単一の拡張可能なツールキットとして集約しようとする最初の試みである。それは単一の方向へ人間の知識の境界を押し広げるのではなく、むしろ既存の分野間の隙間を埋めるものである。ツールキットはオープンソースであり、科学者が新しい手法を発見するたびに拡張されることを想定して設計されている。著者は、モデルがコードを書き、ツールを実行するものの、その結果はモデルの判断に基づくのではなく、プログラムの決定論的な実行に基づいていることを強調している。この研究は、衝突型物理学の簡約アルゴリズム、統計学の証拠積分、および数値解析の厳密な境界を統合することで、以前は手の届かなかったレベルの精度と確実性をもって、長年の問題を解決できることを示している。ツールキットとそのドキュメントは誰でも利用および拡張が可能であり、人間の科学的知識の凸包が完全に探索される未来への一歩を記している。