技術要約: EUREKAGENT

問題提起

大規模言語モデル（LLM）ベースのエージェントは、最適化可能な指標に対して解決策を提案、検証、反復することで、科学的発見を自動化する可能性を示してきたが、現在のアプローチは決定的なボトルネックに直面している。既存のシステムは、多くの場合、硬直した研究特化型のワークフロー（例：進化的な集団、ソリューションツリー、または構造化された討論）を規定することに依存している。しかし、汎用コーディングエージェント（Claude CodeやCodexなど）の能力が向上するにつれ、必要な能力の多くはベースとなるエージェントに既に備わっているという証拠が得られている。主要な課題は、複雑なエージェントのワークフローを設計することから、信頼性、再現性、および検査可能性を確保することへとシフトしている。制約のないエージェントは、「報酬ハッキング」を行い、評価を汚染し、アーティファクトを操作したり、手続き上の制約に違反したりするリスクがあり、その結果、印象的ではあるが信頼性の低い結果をもたらす。

本論文は、自律的な科学的発見の未来は、エージェントの行動を微細に管理することではなく、**環境エンジニアリング（Environment Engineering）**にあると主張している。すなわち、生産的なアフォーダンス（探索、コラボレーション）を増幅させつつ、有害なアフォーダンス（改ざん、監視の失敗）を抑制するように、エージェントの振る舞いを形作るリソース、制約、およびインターフェースを設計することである。

手法: EUREKAGENT

EUREKAGENTは、指標駆動型の自律的な科学的発見のために設計された、環境エンジニアリングによるシステムである。特定の研究ワークフローをハードコードするのではなく、入念に設計された環境内で、オフザシェルフのCLIエージェントを調整する。このシステムは、**準備（Prepare）→ 提案（Propose）→ 実装（Implement）**という単純な3段階のループで動作し、これは $R$ ラウンドにわたって $P$ 個の並列実装セッションと共に繰り返される。

システムアーキテクチャ

1. 準備ステージ（Prepare Stage）: 単一のエージェントセッションがランタイム環境をセットアップし、隠蔽された評価器を検証し、依存関係をインストールする。その後、後続のラウンドと共有される準備サマリーを作成する。
2. 提案ステージ（Propose Stage）: 各ラウンドの開始時に、エージェントセッションが過去のアーティファクトとウェブ検索結果をレビューし、最大 $P$ 個の多様で実行可能な仮説を生成する。
3. 実装ステージ（Implement Stage）: 各仮説は、個別の並列エージェントセッションに割り当てられる。これらのセッションは、隠蔽された評価器に対して、解決策を反復的に洗練、デバッグ、および提出する。環境は、次ラウンドの情報となる有効な提出物を自動的にランク付けする。

環境エンジニアリングの4つの次元

EUREKAGENTの核心的な革新は、エージェント環境における以下の4つの次元のエンジニアリングである：

1. 権限エンジニアリング（Permissions Engineering）:

   • 生産的なアフォーダンス: エージェントには、構成可能なPython環境、シェルアクセス、ウェブ検索/ブラウジングツール、および過去のラウンドからの履歴アーティファクトへのアクセス権が付与される。
   • 制約: 実行は隔離されたDockerコンテナ内で行われる。「隠蔽された評価器」はテストデータを含んでいるが、エージェントからはアクセス不能であり、エージェントはコードを提出して安全なインターフェースを介してスコアを受け取ることしかできない。コントローラーが所有する結果ファイルは読み取り専用である。同一ラウンド内の並列セッションは、単一のローカルな方向への早期収束を防ぐために互いに隔離されている。GPUへのアクセスは、競合を防ぐためにヘルパーAPIを介して厳格に制御される。

2. アーティファクト・エンジニアリング（Artifact Engineering）:

   • ファイルシステムとGit履歴が、共有された長期記憶として機能する。
   • すべてのステージの成果物（サマリー、マニフェスト、コード、ログ、スコア）は永続化される。
   • Gitコミットは解決策の進化を追跡し、エージェントは以前のバージョンに対する変更を文書化するように指示される。これにより、トレーサビリティ、中断からの復旧、および将来のセッションが以前の作業を検査し、その上に構築できることが保証される。

3. 予算エンジニアリング（Budget Engineering）:

   • リソースは、実時間（ウォールクロックタイム）とAPIコストによって制限される。
   • 時間: 提案フェーズと実装フェーズに対して個別の制限が設定される。エージェントは、デッドラインが近づくと、ヘルパーAPIを介したアクティブな警告と、注入されたメッセージによるパッシブな警告の両方を受け取る。
   • コスト: トークン使用量はグローバルに追跡される。制限に達した場合、ワークスペースのスナップショットを保存した上で、実行は中止される。
   • 継続性: システムはセッションの状態を保持するため、中断された実行は、最初からやり直すのではなく、残りの予算内で再開できる。

4. ヒューマン・イン・ザ・ループ・エンジニアリング（Human-in-the-Loop Engineering）:

   • 微細な管理をすることなく監督するための、2つのインターフェースを提供する：
     • ターミナルUI: ライブセッションの出力を検査し、稼働中のエージェントと通信するためのもの。
     • ウェブモニター: スコアの進化、最良のアプローチ、および予算使用のハイレベルなビューを提供する。
   • 人間は介入、行動の方向転換、または追加時間の付与を行うことができ、エージェントの自律性を維持しながら監視を実現する。

主な貢献

• パラダイムシフト: 本論文は、自律的な発見のボトルネックを「ワークフローのデザイン」から「環境エンジニアリング」へと再定義し、適切に構造化された環境があれば、汎用エージェントの能力を引き出すのに十分であることを論じている。
• EUREKAGENTシステム: 標準的なCLIエージェントを、安全で追跡可能かつ予算を意識した環境を通じて調整する、新しいシステムアーキテクチャ。
• 完全性メカニズム: 報酬ハッキング、評価器の漏洩、およびアーティファクトの操作を防ぐための、包括的な隔離および権限制御。これは、エージェントによる研究における信頼性の問題を解決するものである。
• オープンソース: 再現可能な自律的研究のためのコード、結果、およびフレームワークの公開。

実験結果

EUREKAGENTは、数学、カーネルエンジニアリング、および機械学習における指標駆動型のタスクで評価された。システムは、CLIエージェントとしてClaude Codeを、ベースモデルとしてGLM-5.1を使用した。

• 数学:
  • 26円充填問題 (26-Circle Packing): 前回のAIによる最高スコア（2.635986）および人間の最高スコア（~2.634）を上回る、新しいSOTAスコア 2.635999（半径の合計）を達成した。これは総APIコストが11ドル未満で達成された。
  • エルドシュの最小重複 (Erdős' Minimum Overlap): 前回のAIによる最高値（0.380876）を改善する、新しいSOTA 0.380870（低いほど良い）を達成した。
  • 第一自相関不等式 (First Autocorrelation Inequality): 前回のAIによる最高値（1.502863）を改善する、新しいSOTA 1.502861（低いほど良い）を達成した。
• カーネルエンジニアリング:
  • TriMul: 前回のAI（2247.78 µs）および人間（2096.04 µs）の最高値を大幅に上回る、新しいSOTA実行時間 2005.03 µs を達成した。
• 機械学習:
  • MLE-Bench: 評価されたサブセットにおいて、前回のAI（71.43%）を上回るスコア 85.71% で1位となった。

意義と主張

本論文は、EUREKAGENTが、オフザシェルフのエージェントを用いて高度な自律的科学的発見を達成するために、環境エンジニアリングこそが「必要なすべて（all you need）」であることを示していると主張している。複雑でタスク固有のワークフローの規定を排除し、代わりに信頼性が高く、境界が明確で、協調的な環境の構築に焦点を当てることで、システムは多様な領域で最小限のAPIコストで新しいSOTAの結果を達成している。

著者らは、この研究をコミュニティへの呼びかけとして位置づけている。信頼できる自律的研究エージェントの将来の開発においては、環境エンジニアリングを中核となる研究方向に優先させるべきである。このアプローチは、オープンエンドな探索の必要性と、科学的な完全性、再現性、および人間の監視という厳格な要件とのバランスをとるものである。実験結果は、適切な環境的制約があれば、汎用エージェントが従来のAIシステムや人間の専門家をも凌駕する科学的解決策を独自に発見できることを示唆している。