AI Agents Can Already Autonomously Perform Experimental High Energy Physics

技術要約：AIエージェントはすでに実験高エネルギー物理学を自律的に遂行できる

問題提起
実験高エネルギー物理学（HEP）の解析は、伝統的に労働集約的かつアルゴリズム的なプロセスであり、大学院生やポストドクターの時間の大部分を消費する。そのワークフローには、測定チャネルの特定、文献調査、イベント選択の設計、系統誤差の定量化、統計的推論、およびレポートの作成が含まれる。こうした努力の大部分は、データ処理や標準的な手法を適用するための、構造的に類似した数千行のコードを書くことに費やされており、多くの場合、深い物理学的考察を伴わない。このプロセスは、コアとなるソフトウェア・インフラストラクチャに関する中央集約的で最新のドキュメントが不足していることにより頻繁に停滞し、初期の学習フェーズを過ぎると教育的リターンが減少する、エラーが発生しやすく退屈なワークフローを生み出している。大規模言語モデル（LLM）はコード生成において有望な兆しを見せているが、既存のHEPにおけるエージェント・システムは、硬直した定義済みの解析構造に限定されているか、あるいは絶え間ない人間による監視（human-in-the-loop）を必要とする場合が多く、真の自律性を妨げている。

手法：Just Furnish Context (JFC) フレームワーク
著者らは、HEP解析パイプラインの完全な自律実行を可能にするために設計された概念実証フレームワークである「Just Furnish Context (JFC)」を紹介する。このフレームワークは、AIエージェントが（テンプレートやスケルトンコードを与えられることなく）高いレベルの物理学的目的（例：「Z線の形状を測定せよ」）を受け取り、イベント選択、背景事象推定、統計的手法を含む全戦略を自律的に決定すべきであるという原則に基づいて動作する。

JFCアーキテクチャの主要コンポーネントは以下の通りである：

• オーケストレーターとサブエージェント： 中央のオーケストレーターが、Claude Code環境（Opus 4.8モデル）を使用して、専門化されたサブエージェント（Executor、Reviewers、Note-writer、Typesetter、Arbiter）にタスクを委譲する。オーケストレーターは決してコードを書いたりフルデータファイルを読み込んだりせず、記述されたアーティファクトを通じてワークフローを管理する。
• ゲートを備えた逐次フェーズ： 解析は逐次的なフェーズ（Strategy、Exploration、Processing、Inference、Documentation）に分解され、各フェーズは記述されたアーティファクト（例：STRATEGY.md、SELECTION.md）の生成によってゲート制御され、進行前に独立したレビューを通過しなければならない。
• マルチエージェント・レビュー・システム： 従来のコラボレーションにおける分散型の人間によるレビュープロセスを置き換えるため、JFCは一連の専門化されたAIレビュアー・パネルを採用している：
  • 物理学レビュアー (Physics Reviewer): フレームワークの内部手法にはアクセスせず、物理学的な妥当性（信号モデリング、背景事象推定）を評価し、外部レフェリーとして機能する。
  • 批判的レビュアー (Critical Reviewer): 手法仕様および慣習への準拠を確認する。
  • 建設的レビュアー (Constructive Reviewer): 改善案や代替案を提案する。
  • プロット・バリデーター (Plot Validator): 図（収量、単位、一貫性）に対してプログラム的なチェックを行い、レッドフラグ（例：負の収量、収束しないフィット）を検出する。
  • 判定者 (Arbiter): レビュアーの所見を統合し、PASS、ITERATE、または ESCALATE の判定を下す。
• 知識検索： フレームワークはSciTreeRerieval（SciTreeRAG）を統合し、出版された論文（例：ALEPH、DELPHI、CMS）のコーパスからドメイン固有の知識を検索する。これにより、エージェントは事前学習データのみに頼るのではなく、確立された実験的慣行に基づいて選択基準や系統誤差の評価を適応させることができる。
• ブラインディング・プロトコル： フレームワークは厳格なブラインディング・プロトコルを強制する。解析はAsimovデータセット（期待される結果）を用いて進行し、「部分的アンブランキング（Partial Unblinding）」フェーズ（信号データの10%）において、人間のゲートによる明示的な承認を受けるまで進まない。人間の承認を得た後にのみ、エージェントは完全なデータセットを用いた「完全アンブランキング（Full Unblinding）」へと進む。
• ソフトウェア・スタック： 再現性を確保し、レガシーなC++マクロへの依存を避けるため、純粋なPythonスタック（uproot, awkward-array, hist, pyhf, mplhep）を強制する。

主な貢献

1. 自律的なエンドツーエンドの実行： 本論文は、AIエージェントが短い自然言語のプロンプトとオープンデータへのアクセスのみに基づき、イベント選択から背景事象推定、統計的推論、論文執筆に至るまでの完全なHEP解析を、自律的に計画、実行、文書化できることを実証している。
2. 新規測定： このフレームワークは、ALEPHのデータを用いたハドロン的Z崩壊における主要なLundジェット平面密度の最初の測定を実現した。著者の知る限り、これはこの観測量が$e^+e^-$衝突において測定された初めての事例であり、かつAIエージェントによって完全に自律的に生成された初の新しいHEP測定である。
3. 確立された結果の再現： システムは、CMS Open Dataを用いたCMSヒッグス・シグナル強度測定（$H \to \tau^+\tau^-$、$\mu\tau_h$チャネル）の再現に成功した。得られた結果（$\hat{\mu} = 1.20 \pm 1.13$）は、公表されたCMSの値（$\mu = 1.01 \pm 0.41$）と0.16$\sigma$以内で一致しており、複雑な統計モデルを複製するフレームワークの能力を検証している。
4. マルチエージェント・レビューによる検証： 本論文は、マルチエージェント・レビュー・システムが、エラー（例：誤った背景事象の事前分布、過大な有意性）を効果的に検出し、人間のコラボレーション・レビューに匹敵する厳格な基準を強制できることを確立しており、コーディングおよびデバッグ段階における継続的な人間による介入の必要性を低減させている。

結果
著者らは、ALEPH、DELPHI、およびCMSのオープンデータにわたる6つの異なる解析にJFCを適用した：

• スカラー観測量： エージェントは、Z線の形状パラメータ（$M_Z, \Gamma_Z, \sigma_{had}^0$）、重いフレーバーの観測量（$R_b, A_{FB}^b$）、およびイベント形状（$\alpha_s$）の測定値を生成した。9つのスカラー比較のうち8つが、公表された参照値との間で $|pull| < 2$の範囲内に収まった。一つの外れ値（$\Gamma_Z$）は$-3.4\sigma$の偏差を示したが、これはオフピーク・スキャン点における残留効率の問題に起因することが判明した。
• 不確実性の定量化： 中央値は概ね一致していたが、エージェントによる不確実性は公表された結果よりも大きいことが多かった（例：CMS $\mu\tau_h$ の不確実性は公表値の約3倍であった）。これは、完全なコラボレーション・データセットではなく、部分的なオープンデータセットおよび単一の最終状態を使用しているという制限を反映している。
• 定性的評価： エージェントは一貫して標準的な解析戦略（例：反復ベイズ・アンフォールディング、HistFactory尤度）を選択し、正しい系統誤差源を特定した。生成された解析ノートおよび図は出版品質であったが、フォーマットや論理的エラーを修正するために、レビューエージェントによる反復的な洗練が必要となる場合もあった。
• 効率性： 単一の解析に対するフルパイプラインの所要時間は、レート制限による待機時間を含めて約10時間のウォールクロック・タイムであったが、実際の計算時間はそれよりも大幅に短かった。

意義と主張
本論文は、実験HEPコミュニティがエージェント型AIシステムの現在の能力を過小評価していると主張している。著者らは以下の通り述べている：

• 現在の能力： AIエージェントはすでに「反復的な技術的負担」を担うことができ、研究者が物理学的洞察、新規手法の開発、および厳格な検証に集中することを可能にする。
• 代替ではなく、オフロード： 著者らは、AIが物理学者に取って代わることを求めているのではないと明言している。AI支援による解析の最終出力は、必ずドメインエキスパートによって徹底的にチェックされ、検証されなければならない。物理学者の役割は、実装者からアーキテクトおよび批評家へとシフトする。
• パラダイムシフト： このフレームワークは、学生のトレーニング方法、解析の組織化方法、および人間の専門知識の割り当て方を再考する必要性を示唆している。もし実装が数年から数日へと圧縮できるならば、HEPにおけるボトルネックはコーディング能力から、物理学的アイデアと人間のレビュー能力へと移行する。
• レガシーデータの再解析： 本フレームワークは、膨大なアーカイブのレガシーデータ（例：LEP、Tevatron）を現代的なソフトウェアと手法を用いて体系的に再解析するための経路を提供する。これは、レガシーなコードベース（例：FORTRAN、PAW）における専門知識の喪失により、以前は困難であった作業である。

結論として、現在のエージェントは完璧ではなく、検証とアンブランキングのための人間の監視を必要とするものの、技術的には、大学院生レベルの解析を自律的に行うことはすでに可能であり、即時の実験、および責任あるワークフローとベンチマークの開発を正当化するものである。