HEPTABench: A framework for portable and controlled agentic evaluations in high energy physics

現代物理学の広大で静寂な回廊において、科学者たちはもはや単に新しい粒子を探しているだけではありません。彼らは、それらを見つけ出すための新しい方法をも探し求めているのです。数十年にわたり、高エネルギー物理学の分野は、抽象的な理論を具体的な計算へと翻訳し、粒子が巨大な検出器の中でどのように振る舞うかをシミュレートしたり、衝突の結果を予測したりするための複雑なコンピュータコードを記述したりすることを、人間の研究者に頼ってきました。今日、研究所には新しい種類の労働者が入り込みました。人工知能（AI）エージェントです。これらは、厳格な指示リストに従うだけの単純なプログラムではなく、多段階のタスクを計画し、自らコードを書き、シミュレーションを実行し、物事がうまくいかない時には自らの間違いを修正することができる、洗練されたシステムです。これらは発見のペースを加速させると期待されていますが、同時に新たな問いも投げかけています。果たして、私たちはこれらを、科学の繊細かつ精密な仕事を行う存在として信頼できるのでしょうか？これに答えるために、研究者たちは単純なテストを超え、これらのデジタル・アシスタントがどのようにパフォーマンスを発揮し、どのようなツールを必要とし、どこで失敗する可能性があるのかを正確に把握できる、制御された環境を作り出さなければなりません。

物理学者とコンピュータ科学者のチームは、そのような環境、すなわちHEPTABenchと呼ぶフレームワークを構築しました。これは、高エネルギー物理学という特定の領域において、AIエージェントの実力を測るために設計されたものです。彼らの目的は、単にAIが問題を解決できるかどうかを見ることではなく、AIが使用するツールが結果をどのように変えるのかを理解することでした。彼らは、同じ科学的タスクを異なるAIシステムに与える一連の実験を設定しましたが、そこでは一つの決定的な変数が変更されていました。ある試行では、AIは数学的ツールをゼロから構築しなければなりませんでしたが、別の試行では、検証済みの専門的な器具を備えた既製のツールキットが手渡されました。結果は明白かつ一貫していました。AIエージェントがこれらの専門的でドメイン固有のツールを使用することを許可されると、その作業の精度は著しく向上し、信頼性もはるかに高まりました。彼らが導き出した結果は、既知の真実に近くなり、提示された回答は試行ごとに極めて一貫したものとなりました。

研究チームはこのアイデアを、二つの非常に異なるタイプの物理問題を用いてテストしました。第一の課題は、崩壊する前に長い寿命を持つ仮説上の粒子に関する複雑な計算でした。この種の計算は、粒子の生成、検出器内を移動する様子、そしてそれが観測される確率の予測を含む一連のステップを必要とする、この分野の定番の作業です。チームは4つの異なる高度なAIシステムに対し、この計算を行うよう求めました。第一ラウンドでは、システムには基本的な物理法則と実験設定のみが与えられ、粒子の旅路をシミュレートするために必要なすべてのコードを自力で記述することを強制されました。第二ラウンドでは、同じシステムに対し、同じタスクを与えましたが、同時に、粒子のストリームの生成や崩壊確率の計算といった、計算の特定の部分を処理できる専門的なツールも提供されました。その差は劇的でした。基礎となるアーキテクチャに関わらず、すべてのシステムが、専門的なツールへのアクセスを得たときにより良い結果を出しました。計算された数値は正しい値に近づき、同一システムによる試行間の差異は劇的に減少しました。また、AIエージェントはコードの記述量も大幅に減らし、毎回の試行で車輪を再発明するのではなく、信頼できるツールに重労働を任せていました。

第二の実験は、異なる種類の挑戦、すなわち記号数学（シンボリック・マセマティクス）に焦点を当てました。ここでの課題は、粒子の崩壊に関する公式を導出することであり、これは単に数値を計算するだけでなく、複雑な代数式を操作するプロセスを必要とします。研究者たちは、特定のAIモデルを8つの異なる崩壊シナリオに対してテストしました。専門的なツールがない状態では、そのモデルは非常に苦戦し、成功率はごくわずかな試行に限られました。不完全な回答や、物理学に合致しない公式を生成することも頻繁にありました。しかし、同じモデルに記号物理計算専用のツールキットを与えたところ、そのパフォーマンスは急上昇しました。成功した試行の割合は、わずか8パーセントから、ほぼ80パーセントへと跳ね上がったのです。これは、適切なツールを提供することが、かろうじて機能している程度のシステムを、極めて効果的なものへと変貌させ得ることを示しました。興味深いことに、より強力な別のAIモデルは、組み込まれた能力のみを使用してこれらの問題を完璧に解くことができました。これは、一部のシステムにとってはツールが不可欠である一方で、最も高度なモデルは、最終的にはこれらのタスクを自力で処理できるようになる可能性を示唆しています。

この研究は、単にツールが役立つことを示すだけでなく、それを証明する方法を確立しています。タスク、AIモデル、およびコンピュータ環境のすべての要因を一定に保つことで、研究者たちはツール自体の影響を分離することができました。彼らは、改善が単に一度正解を得るという問題ではなく、一貫性の問題であることを突き止めました。AIエージェントはより信頼性を増し、実験を実行するたびに真実に近い結果を生み出すようになりました。単なる「運の良い推測」では不十分であり、研究者は結果が精査に耐えうるものであることを知る必要がある科学の世界において、この信頼性は極めて重要です。彼らが構築したフレームワークは、このような詳細な検査を可能にし、AIが行ったすべてのステップ、作成したすべてのファイル、そして下したすべての決定を記録します。この透明性により、もし結果が疑問視された場合、科学者は単に最終的な数値を受け入れるのではなく、AIがそこに到達するために辿った正確な経路を遡って確認することができるのです。

この研究の意義は、テストされた特定の粒子や計算に留まりません。それは、人工知能が科学においてどのように利用されるべきかについての、新しい考え方を提示しています。単一の、すべてを知り尽くしたAIにすべてを期待するのではなく、未来はこれらの知的なシステムを、専門化された、人間によって検証されたツールキットと組み合わせることにこそあるのかもしれません。人間の物理学者が、自身の仕事を行うために確立された公式やソフトウェアパッケージのライブラリに依存しているのと同様に、AIエージェントも、同じリソースへのアクセス権を与えることで、より有能で信頼できるものにすることができるのです。研究者たちは、このアプローチが、粒子の衝突のシミュレーションから数学的公式の導出に至るまで、異なる種類のAIおよび異なる種類の物理問題において有効であることを実証しました。それは、AIのスピードと適応性が、人間が設計したツールの精密さと信頼性と融合する道筋を示しています。

結局のところ、この論文で提示されていることは、信頼を築くことです。人工知能が科学的プロセスに統合されるにつれ、コミュニティは、他のあらゆる科学機器に対して用いられるのと同様の厳密さをもって、その能力と限界を測定する方法を必要としています。HEPTABونチ（HEPTABench）はその「物差し」を提供します。適切なセットアップがあれば、AIエージェントは高品質で再現可能な科学的成果を生み出すよう導かれ得ることを、それは示しています。研究結果は、将来これらのシステムを配備する最も効果的な方法は、それらを自由に彷徨わせることではなく、成功するために必要な、特定の検証済みツールを備えさせることであると示唆しています。このアプローチは、彼らが生み出す結果が、単なる巧妙な推測ではなく、宇宙の理解に対する信頼に足る貢献であることを保証するものなのです。