技術的概要：AUTOSCIENTISTS

問題定義

科学的研究は本質的に反復的であり、仮説の生成、実験の設計、実行、修正のサイクルを含む。AI エージェントがこのプロセスの一部を自動化し始めたものの、既存のアプローチは通常、単一の研究経路に従うか、固定された目的を持つ中央計画者に依存している。これらのシステムは、長期間の実験において並列探索を維持したり、変化する実験的証拠に適応したり、失敗した方向に関する知識を保持したりすることに苦慮している。現在のマルチエージェントシステムは、しばしば硬直的な構造（例えば、問題を分解する計画者や投票によって収束するエージェント）を通じて調整され、探索空間を初期段階で安定した方向に分割できると仮定している。しかし、長期間の科学実験においては、証拠が蓄積するにつれて生産的な方向が変化し、当初有望に見えた仮説が改善をもたらさなくなることがある。

手法：AUTOSCIENTISTS

著者は、長期間の計算機科学実験向けに設計された分散型 AI エージェントチーム「AUTOSCIENTISTS」を紹介する。中央調整者や固定された分解に依存する先行システムとは異なり、AUTOSCIENTISTS は中央オーケストレーターなしで動作し、エージェントが共有された実験状態に基づいて自己組織化することを可能にする。

コアアーキテクチャ

このシステムは、探索プロセス全体にわたって内部状態を維持する $n$ 個の長期稼働型大規模言語モデル（LLM）エージェントを配備する。システムは 2 つのフェーズを交互に実行する：

1. 議論と自己組織化：エージェントはタスク、現在のチャンピオンモデル（$p^*$）、および過去のフォーラム投稿を分析する。彼らは研究の方向性を提案し、提案を批判し、チーム（$T_1, \dots, T_K$）を組織化する。このプロセスは動的であり、あるチームが改善を生み出さなくなった場合、エージェントは新たな仮説に基づいてチームの再編成、統合、分割、または引退を誘発する新しい議論フェーズを開始する。
2. 並列実行：チームは並列に実験を実行する。各チームは 2 つの専門的な役割から構成される：
   • アナリストエージェント：探索知識を維持し、未テストのパラメータを監査し、経験的効果量に基づいて研究方向をランク付けし、実験をチームキューに提案する。彼らは提案の多様性を確保し、未探索の方向性を優先する。
   • 実験エージェント：キューから実験を主張し、チャンピオンにコード変更を適用し、モデルを訓練し、結果を記録する。

共有状態と調整

調整は、すべてのエージェントがアクセス可能な共有状態 $S$ を通じて行われる。これには以下が含まれる：

• チャンピオン（$p^*$）：完全なハイパーパラメータと再現手順を備えた現在の最良モデル。
• 実験ログ（$L$）：結果、指標の差分、および訓練の診断を含む、完了したすべての実験の記録。
• 共有フォーラム（$F$）：提案の議論、結果の発表、メカニズム分析の共有のための構造化された空間。
• チームローカル状態：失敗した方向を追跡し、冗長な探索を回避するための、チームごとの実験キュー（$Q_k$）および行き止まり登録簿（$D_k$）。

ノイズ感知検証

「チャンピオンの汚染」（確率的ノイズに基づいてモデルを推進すること）を防ぐため、システムはノイズ感知ゲートを採用する。経験的に測定されたノイズバンド内での改善は、チャンピオンに昇格させる前に、2 番目のランダムシードで確認される。これにより、堅牢な改善のみが探索経路を推進することが保証される。

主要な貢献

1. 自己組織化するエージェントチーム：エージェントが共有された実験状態を独立して解釈し、どの仮説を追求するかを決定する新しいフレームワーク。チームは外部からの割り当てではなく、相互作用を通じて動的に形成され、研究の方向性が自然に出現し進化することを可能にする。
2. 実行前の批判：エージェントは提案を共有フォーラムに投稿し、計算リソースがコミットされる前に同僚が弱いアイデアを批判・フィルタリングすることで、冗長な探索を削減する。
3. 持続的な改善：単一エージェントのベースラインが頭打ちになった後でも、疲弊した方向を引退させ、新しい仮説を中心に再編成することで、生産的な修正を特定し続けるように設計されている。
4. 包括的なアーティファクト生成：最終モデルに加えて、システムはモデルカードと研究発見レポートを生成し、仮説の進化、放棄された方向、および実験的探索プロセスを文書化する。

実験結果

著者は、整合された実験予算の下で 3 つのドメインにおいて AUTOSCIENTISTS を評価した：

1. 生物医学機械学習（BioML-Bench）

• 範囲：生物医学イメージング、創薬、タンパク質工学、シングルセルオミクスにわたる 24 のエンドツーエンドタスク。
• 性能：AUTOSCIENTISTS は 24 のタスク全体で平均リーダーボードパーセンタイル 74.4% を達成し、最も強力な先行エージェント（Autoresearch）を +8.33 パーセントポイント 上回った。
• ドメイン固有の詳細：最も顕著な gains は 創薬 で観察され、平均リーダーボードパーセンタイルは Autoresearch の 46.16% から 64.52% に改善した。タンパク質工学においては、AUTOSCIENTISTS はトップ性能（96.97%）と同等であったが、より良い平均ランクを達成した。

2. GPT 訓練最適化

• 範囲：検証ビット毎バイト（val_bpb）を指標として使用した GPT ナノチャットモデルの訓練の最適化。
• 効率：同じベースラインから開始した場合、AUTOSCIENTISTS は 34 回の実験 で目標 val_bpb の約 0.978 に到達したが、Autoresearch は 65 回の実験 を必要とした（1.9 倍の高速化）。
• 持続的な発見：AUTOSCIENTISTS によって発見されたチャンピオン（val_bpb = 0.9777）から開始した場合、システムは 93 回の実験で 7 件の承認された改善 を発見した。対照的に、単一エージェントのアプローチである Autoresearch は 100 回の実験で 0 件の改善 しか見つけず、局所最適点付近の方向を繰り返し攪拌していた。

3. タンパク質適性予測（ProteinGym）

• 範囲：タンパク質変異効果予測のための Kermut ガウス過程法の拡張。
• 性能：ACE2–スパイク結合アッセイにおいて、AUTOSCIENTISTS はスピアマン相関係数（$\rho$）を 0.747（Kermut）から 0.840（+12.5%）に改善した。
• 汎化性：発見された手法は凍結され、修正なしに完全な 217 アッセイ ProteinGym ベンチマークに適用され、公式の平均スピアマン $\rho$ を 0.657 から 0.700（+6.5%）に改善し、他のすべての教師ありベースラインを上回った。

除去実験（アブレーションスタディ）

著者はシステム構成要素の寄与を分離するために除去実験を行った：

• アナリストなし：アナリストエージェントを除去すると TDC-hERG での性能が大幅に低下し、誘導された提案生成の重要性を示した。
• エージェント間フィードバックなし：コメントと批判を無効にすると Human Plasma-Protein Binding での性能が低下し、集合的フィルタリングの価値を浮き彫りにした。
• 自己組織化なし：チーム構造を固定すると停滞への適応が妨げられ、GPT 訓練最適化で最大の低下を引き起こした。
• 独立したエージェント：共有状態と調整を除去すると、Cell-Cell Communication などにおいて最も深刻な性能低下が生じ、分離されたエージェントが作業を重複させ、互換性のない局所最適点に収束することを示した。

意義と主張

本論文は、AUTOSCIENTISTS が既存の AI エージェントの重要な限界、すなわち証拠が蓄積し生産的な方向が変化するにつれて実験的探索を維持できないという限界に対処すると主張している。中央計画者なしでエージェントチームが設計空間を探索し協働することを可能にすることで、固定された計算予算下での実験的探索効率を向上させる。

著者は、AUTOSCIENTISTS が長期間の実験を 集合的探索プロセス に変換すると強調している。主な利点は以下の通りである：

• 効率的なリソース利用：エージェントは実行前に提案を評価し、失敗の知識を共有して行き止まりを回避する。
• 適応性：システムは進捗が停滞した際にチームを再編成でき、個々のエージェントが頭打ちになった後も生産的な修正を特定し続けることを可能にする。
• 透明性：システムは失敗した方向やメカニズム分析を含む探索プロセスの完全な記録を生成し、再現性と科学的洞察を促進する。

この研究は、実験的反復がコストのかかる計算生物医学および科学的機械学習の設定において、自律的な科学発見への一歩として提示されている。著者は、システムがモデリングの選択の発見を加速するものの、出力は専門家のレビューと独立した検証なしに臨床的に実行可能なものとして扱われるべきではないと指摘している。