AgentRivet: an automated system for producing Rivet routines from journal publications

本論文では、大規模言語モデルを利用して学術論文から物理解析の詳細を抽出し、Rivetルーチンを生成する自動ワークフローであるAgentRivetを提示し、それによって素粒子物理学におけるモデル独立な測定のカバー範囲における重大なギャップに対処する。

要約

素粒子物理学の世界を、大規模でハイステークスな料理コンテストだと想像してみてください。科学者たちは巨大な装置（大型ハドロン衝突型加速器など）を使って、複雑な「料理」（粒子の衝突）を作り出し、詳細なレシピを科学論文として書き上げます。さらに、他のシェフがその料理を再現できるように、材料のリスト（データ）も提供します。

しかし、問題があります。これらの料理を本当に味わい、比較するためには、他の科学者たちはRivetと呼ばれる、特定の標準化されたキッチンツール（専用の計量カップ）を必要とするのです。Rivetは、誰もが全く同じ方法でスープを計っていることを保証する、特殊でハイテクな計量カップのようなものです。これがないと、自分の作ったスープを他人のものと公平に比較することができません。

厄介なことに、出版されたレシピのうち、この特別な計量カップが付いているのはわずか**40%**程度です。残りのレシピは単なる文章による記述であり、ツールに必要な精密なコードへと変換するのが困難です。

登場したのは、AI副シェフ：AgentRivet

この論文の著者たちは、AgentRivetと呼ばれる新しいシステムを構築しました。これは、それらの乱雑なテキストのみのレシピを読み取り、欠落しているRivetの計量カップ（コンピュータ・コード）を自動的に作成するように設計された、AIロボットのチームだと考えてください。

この「キッチン・チーム」のワークフローは、以下の通り非常にシンプルです：

1. アナリスト（読者）： このAIロボットは科学論文を読み、非常に注意深い副シェフとして振る舞います。ただ読むだけでなく、「レモンを2個使う」「玉ねぎをこのように刻む」「10分間調理する」といった正確な指示を抽出します。これにより、乱雑なテキストを、整理された構造的な買い物リストへと変換します。
2. コーダー（構築者）： このロボットは、その買い物リストを受け取り、実際のRivetツール（C++と呼ばれる特定のプログラミング言語で書かれています）を組み立てようと試みます。それは、複雑な機械を組み立てるための指示書に基づき、動くロボットアームのようなものです。
3. レビュアー（検査官）： ツールが完成する前に、2人の検査官が作業をチェックします。
   • コード・レビュアーは、ネジのタイプが間違っていたり、部品が壊れていたりといった技術的なエラー（構文エラー）をチェックします。
   • 物理学レビュアーは、指示が実際にレシピと一致しているかを確認します。ロボットは玉ねぎを正しく計りましたか？ 調理時間を守りましたか？

「味見」（結果）

チームは、ATLASおよびCMS実験（2つの主要な素粒子物理学研究所）による、2つの最新かつ複雑なレシピを用いて、このAIチームをテストしました。彼らはAIに対し、ゼロからRivetツールを構築するよう命じました。

• 良いニュース： AIチームは驚くほど優秀に仕事をこなしました。技術的な不具合をほとんど出すことなく、動作するツールを構築したのです。これらのツールを使用してシミュレーションされた粒子衝突を測定したところ、その結果は人間の科学者が期待していたものと非常によく似ていました。
• 悪いニュース（「ハルシネーション／幻覚」）： 時として、AIはレシピの曖昧な部分に混乱しました。
  • もし論文に「ソースに特別な処理を施す」と書かれており、その具体的な方法が説明されていなかった場合、AIは推測を行いました。正解することもありましたが、間違えることもありました。
  • あるAIモデル（Gemini）は、「ニュートリノ」（目に見えない粒子の一種）に関する特定の指示に従うことを忘れることがあり、別のモデル（Claude）は、ループに陥ったり、コードの代わりに自分自身の「思考」を書き込んだりすることがありました。
  • AIは、イベントの「形状」を測定したり、明確に定義されていない複雑な数学公式を使用したりといった、最も複雑で抽象的なレシピのパートにおいて最も苦戦しました。

結論

論文は、AgentRivetは有望な新しいツールであると結論付けています。これは、不足しているレシピの約40%を動作するコードへと変換することに成功しており、物理学コミュニティにとって大きな助けとなります。

しかし、まだ完璧ではありません。特に元のレシピが曖昧な場合には、依然として人間の監視が必要です。著者らは将来に向けて、より多くの事例でAIを訓練し、人間が確認する前にエラーをキャッチするための自動チェック機能を追加することで、AIをより良く教育していくと考えています。

要約すると： AgentRivetは、科学論文を読み、科学者がデータを比較するために必要なソフトウェアツールを構築する自動化されたチームです。うまく機能していますが、指示が不明確な場合には依然としてミスを犯すため、作業をダブルチェックするための人間の専門家が引き続き必要です。

技術概要

技術要約：AgentRivet：学術論文からRivetルーチンを自動生成するシステム

問題提起
粒子物理学の衝突型加速器実験は、解析定義を保存し、理論的予測と実験データのモデルに依存しない比較を可能にするために、C++ツールキットである「Rivet」（Robust Independent Validation of Event Generators）に依存している。このような保存戦略の明確な利点にもかかわらず、解析のカバー率は極めて不完全である。現在、文書化され公開されているRivetルーチンの割合は、測定全体のわずか39%であり、その範囲はATLASの49%からALICEの16%に及ぶ。これらのルーチンの作成は、労力を要する作業であり、コミュニティ内で十分に認識・評価されていないと見なされていることが多く、これが衝突器データの保存におけるボトルネックとなっている。

手法：AgentRivetのワークフロー
このギャップに対処するため、著者らは大規模言語モデル（LLM）に基づいた自律的な多段階ワークフローであるAgentRivetを設計・実装した。本システムは、モジュール式のプロバイダー非依存なPythonフレームワークとして構築されており、学術論文から物理情報を抽出し、対応するRivetルーチンを生成するために特化したAIエージェントをオーケストレーションする。

ワークフローは以下の主要コンポーネントで構成される：

1. モジュール式エージェントアーキテクチャ： システムは、高レベルのオーケストレーションと特定のLLMプロバイダー（OpenAI、Anthropic、Google）を分離しており、モデル間の動的な切り替えを可能にしている。
2. 特化型エージェント：
   • アナリスト（Analyst）： 出版物から、フィデューシャル位相空間の定義、オブジェクトの構成（例：ドレスト・レプトン、ジェット）、イベント選択基準、ヒストグラムの仕様を含む、構造化された物理情報を抽出する。構造化された出力スキーマを強制するためにPydanticモデルを利用する。
   • コーダー（Coder）： アナリストが提供した構造化された要約に基づき、Rivet互換のC++コードを生成する。これはRivet4の構文を使用するように制約されており、特定の改訂ポリシーに従う。
   • コードレビュアー（Code Reviewer）： 生成されたコードを、構文エラー、廃止されたRivet3の使用、および潜在的なコンパイル時の問題について評価する。
   • 物理レビュアー（Physics Reviewer）： オブジェクト定義、カット、観測量の不一致をチェックすることで、実装の物理的忠実度をアナリストの抽出した仕様に対して検証する。
3. 反復レビューループ： ワークフローの重要な特徴は、コーダーが両方のレビュアーからのフィードバックに基づいてコードを洗練させる反復ループである。このループは、承認が得られるか、重大な問題が残らないか、あるいは設定された反復制限に達するまで継続される。
4. 共有メモリとアーティファクト： 抽出されたメタデータ、コードの下書き、レビューコメントを含むすべての中間ステップは、共有状態に保存される。これにより、プロセスは監査可能かつ再現可能となり、高価なLLM由来の生成物のキャッシュが可能になる。

ベンチマークと実験設定
AgentRivetの性能は、既存のRivetルーチンが存在しない、最近公開された2つの測定を用いて評価された：

1. ATLAS： 複雑な角度観測量、ブースト非対称性、およびニューラルネットワークベースの観測量を特徴とする、包括的な $W\gamma \to \ell\nu\gamma$ 生成。
2. CMS： ジェット内部の荷電粒子を用いたイベントシェイプ観測量。これには、ジェット質量、スラスト、広がりに関する非自明な定義が含まれる。

システムは、3つの商用LLM（OpenAIのGpt-5.5、GoogleのGemini-3.5-Flash、AnthropicのClaude-Opus-4.6）を用いてテストされた。各セットアップにおいて、一貫性を評価するために3回の独立した実行が行われた。生成されたルーチンはRivet-4.1.2でコンパイルされ、Monte Carloイベントサンプル（MadGraph5_aMC@NLOおよびPythia8）に適用して物理出力を検証した。

主な結果

• コードの品質： AgentRivetは、構文エラーが少ない、有能なRivetルーチンを生成した。
  • Gpt-5.5 と Claude-Opus-4.6 は、概して正常にコンパイルされるルーチンを生成したが、Claude-Opus-4.6 は、ブロッカー（阻害要因）がゼロであると特定したにもかかわらず、ルーチンを正式に承認することは稀であった。
  • Gemini-3.5-Flash は、廃止されたRivet3の構文を除去するために2〜3回の反復を必要とし、時としてハルシネーション（幻覚）による構文を導入した。
  • すべてのルーチンは、最小限の人間の介入（必要なエラーの修正のみ）でコンパイル可能であった。
• 物理的忠実度：
  • オブジェクト再構成： ほとんどのモデルは、標準的なオブジェクト（電子、ミューオン、光子、ジェット）を正しく再構成した。しかし、ソース論文の曖昧な表現に起因して、「ドレスト」レプトンの誤った除外や、ジェット探索へのプロンプトニュートリノの混入といった微妙な問題が発生した。
  • 複雑な観測量： システムは最も複雑な定義に対して苦戦した。ATLASの解析において、Gemini-3.5-Flash は、アナリストによる情報抽出が不完全であったため、角度観測量の構築に失敗した。Claude-Opus-4.6 は、時として誤った系に対して制約を適用した（例：$\ell\nu$ ではなく $\ell\nu\gamma$ システムに対して制約をかける）。
  • ニューラルネットワーク観測量： 予想通り、どのモデルも基礎となるモデルファイルなしではニューラルネットワークベースの観測量を構築できず、「ブラックボックス」的な定義を扱う際の限界が浮き彫りになった。
  • ヒストグラムのビンニング： HepDataの記録が利用できない場合、モデルは図からビンニングを推論する必要があり、手動での修正を要するわずかな不一致が生じた。
• コストと信頼性： ルーチン1つを生成するコストは1.20ドルから2.20ドルの範囲であった。フレームワークはリトライロジックを通じてAPI失敗に対する堅牢性を示したが、アクセスの安定性はプロバイダーや時間帯によって大きく異なった。

意義と主張
本論文は、現代のLLMが科学文献から詳細な解析定義を抽出し、それを実行可能な科学ソフトウェアへと翻訳する能力を有していることを示していると主張している。システムは、出版物と実装の間のギャップを埋めることに成功しており、不完全なRivetルーチンのカバー率に対する潜在的な解決策を提示している。

著者らは、反復レビュープロセスが、コードの品質と元の解析との一貫性の両方を向上させるために不可欠であることを強調している。彼らは、システムはまだ完璧ではないものの、物理実装に関する問題の大部分は、根本的なワークフローの欠陥ではなく、元の出版物における微妙で曖昧な定義に起因すると指摘している。したがって、本論文は、生成されたアーティファクトが上述の品質管理ループを経ることを前提とすれば、AgentRivetが解析保存を増加させるための実行可能な自動経路を提供するものであると論じている。本研究は、厳格かつドメイン特化型の科学的文脈においてAIエージェントの性能を記録することで、AIエージェントに関する発展的な文献に寄与するものである。