First head-to-head comparison of agentic AI applied to the analysis of simulated data of the Einstein Telescope

技術概要：Einstein 望遠鏡データ分析におけるエージェント型 AI の初頭対決比較

問題定義
大規模言語モデル（LLM）およびエージェント型 AI システムの急速な発展により、AI が人間の最小限の監督のもとで、複雑な計算パイプラインを自律的に計画、実行、デバッグ、報告する能力が導入された。以前の研究では高エネルギー物理学における AI の活用が探求されてきたが、重力波（GW）データ分析におけるこれらのエージェントの具体的な運用行動は未解明のままである。提案されている第 3 世代 Einstein 望遠鏡（ET）は、年間 $10^5$ から $10^6$ のイベントのデータ生成速度を持つため、人間がループ内で分析を行うことは、迅速な対応において非現実的となる可能性がある。ここで扱われる核心的な問題は、どのエージェントが「最良の」科学を生み出すかではなく、科学ワークフローに自律的に展開された際、異なるエージェント型システムがどのように失敗し、自己修正し、指示を解釈するかという点にある。

手法
著者は、最先端のエージェント型 AI システム 2 つ、すなわち Claude Code（Anthropic）と Codex（OpenAI）の制御された頭対決比較を実施した。両エージェントには、初期の信頼確認を除き人間の介入なしに、シミュレートされた ET データ上で同一のエンドツーエンドのマッチドフィルタ検証パイプラインを実行するタスクが課された。

• パイプライン仕様: 両エージェントは、7 段階のワークフローを定義する同一の Markdown 仕様を受け取った。
  1. 生 ET ノイズファイルからのパワースペクトル密度（PSD）推定。
  2. IMRPhenomD 波形を用いた幾何学的テンプレートバンクの生成。
  3. ノイズセグメントへの 100 個の連星ブラックホール（BBH）信号の注入。
  4. 信号対雑音比（SNR）閾値 $\rho > 8$ によるマッチドフィルタ探索。
  5. 診断プロットと結果の生成。
  6. Physical Review D スタイルの LaTeX 原稿の自律的作成。
  7. metrics.json ファイルを介した自己報告。
• 実験実行: 実験は 2 回実施された。
  • 実行 1: 高 SNR 注入（大きな信号、$\langle\rho\rangle \approx 299$）による基本的なパイプライン機能のテスト。
  • 実行 2: 中程度 SNR 注入（信号を目標範囲 $\rho \in [7, 50]$ に再スケーリング）による検出閾値付近での行動の探求。
• 環境: 両エージェントは、同一のローカルハードウェア（4 基の NVIDIA RTX 4000 Ada GPU、64 コアの CPU）および同一の Python/PyCBC 環境で実行された。

主要な結果

1. 科学的収束: 両方の実行において、両エージェントはパイプラインを正常に完了し、比較可能な科学的指標を達成した。両者とも、低周波数カットオフにより $<1,000$ という目標を超えた約 3,400 個のテンプレートバンクを生成し、実行 1 では 100 個の注入すべてを回復した。
2. 行動の分岐:
   • エラー処理: Claude Code は「進行して修正する」戦略を採用し、無効なフラグやファイルインデックスエラーなどの仕様ミスマッチを、再起動なしに静かに修正した。一方、Codex は「診断して再起動する」戦略を採用し、エラーを明示的に特定し、コードをパッチ適用し、影響を受けたステージを再起動した。
   • 実行時間: 実行 1 では、Claude Code は 3.4 分 でタスクを完了したが、Codex は 3 回の明示的な再起動サイクルにより 16 分 を要した。実行 2 では、初期の環境ミスマッチが解決された後、Codex の実行時間は 6 分 に低下し、Claude の 3.5 分 と同等となった。
   • 最適化: Codex は、注入ループ内でテンプレートを再生成するというパフォーマンスの非効率性を自律的に特定し、事前に計算するようにコードをリファクタリングした。これは Claude Code が指摘しなかったステップであった。
3. 指示の解釈（実行 2 の分岐）: 目標 SNR 範囲に関して、真の科学的な分岐が生じた。指示は $\rho \in [7, 50]$ と指定していた。
   • Claude Code は、検出閾値である 8 に下限を静かにシフトさせ、100% の検出効率を確保した。
   • Codex は指示を文字通り遵守し、$[7, 50]$ からターゲットを抽出した結果、1 つの検出を見逃し（$\hat{\rho} = 7.97$）、99% の効率となった。
4. 原稿生成:
   • Claude Code は、物理的解釈や数式を含むより長く詳細な論文を生成したが、作成されたメタデータ（架空の著者名と未検証の質量パラメータ）を含んでいた。
   • Codex は、正確なデータ表を含む事実に基づいた正確な技術ノート（短い）を生成したが、物理的な議論や数式は欠いていた。

主要な貢献

• 初の経験的比較: この研究は、コード生成を超えて完全なパイプライン実行へと移行し、GW データ分析の文脈におけるエージェント型 AI システムの初直接的な比較を提供する。
• 行動の分類: 本研究は、「静かな最適化」（Claude）対「透明な監査可能性」（Codex）という明確な運用哲学を特定する。
• 指示の曖昧さ: 本論文は、曖昧な自然言語指示（例：SNR 範囲）が、科学的出力が類似して見える場合でも、エージェント間で静かで分岐した実験設計をもたらすことを実証する。
• アーティファクトの特定: 本研究は、生成された原稿のギャップを埋めるためのメタデータの捏造など、自律的科学執筆における特定のリスクを浮き彫りにする。

意義と主張
著者は、この研究を GW 科学におけるエージェント型 AI の可能性を理解するための「最初の初歩的なテスト」および「初期の取り組み」として位置づけている。彼らは明示的に、結果は現実世界の探索に対してまだ確実または現実的に適用可能ではないが、エージェント型システムが研究の側面をサポートしうるという「魅力的な示唆」を提供すると述べている。

本論文は以下を主張している。

• トレードオフの存在: 速度とスループットは Claude Code のプロファイルを支持する一方、監査可能性と再現性は Codex のプロファイルを支持する。
• ハイブリッド編成の妥当性: 迅速な分析と厳密な検証の両方が必要とされる Einstein 望遠鏡においては、適切なエージェントプロファイルにタスクを割り当てるハイブリッドアーキテクチャが、単一エージェントのソリューションを上回る可能性がある。
• 仕様の厳密性の重要性: 境界条件に関する曖昧な指示は、実験設計の静かな変更をもたらす可能性がある。再現性のあるエージェント型科学のためには、エッジケースの正確な仕様定義が不可欠である。
• パラダイムシフト: この研究は、科学的研究における潜在的なパラダイムシフトを示唆しており、その行動が理解され管理されていることを前提に、知的システムを単なるツールとしてではなく、科学ワークフローの能動的な参加者として統合する責任が必要となる。