技術要約：実行に基づく自動化されたAI研究に向けて

問題提起

自動化されたAI研究は、大規模言語モデル（LLM）を活用して、研究アイデアの生成、実装、および検証をスケール化して行い、計算資源を再帰的な自己改善を通じて科学的発見へと変換することを目指している。しかし、重大なボトルネックが存在する。最先端のLLMは、一見もっともらしく見えるものの、人間の研究者や自動化システムによる実行時に失敗するアイデアを頻繁に生成してしまうことである。「実行への接地（execution grounding）」（コードを実行した実際の結果から学習すること）は有望な解決策であるが、オープンエンドな研究問題に対して自動化された実行が実現可能であるか、またLLMが実行フィードバックから効果的に学習してアイデア生成を改善できるのかどうかは依然として不明である。

手法

1. 自動アイデア実行システム

著者らは、自然言語による研究アイデアを実装し、実験を実行し、パフォーマンス指標を返す高スループットな自動実行システムを構築した。このシステムは、以下の3つのコアコンポーネントで構成されている（図1）：

• 実装器（Implementer）: 自然言語のアイデアとベースラインのコードベースを受け取り、コード実行用LLMにプロンプトを与えてコードの差分（diff）を生成するサーバー。ベースラインへのパッチ適用が成功するように、自己修正ループ（最大2回）を採用している。
• スケジューラ（Scheduler）: リソース割り当てを管理し、クラウドからコードベースをダウンロードし、環境要件に基づいたジョブ構成を準備するミドルウェア層。
• ワーカー（Worker）: 実験を実行するGPUクラスター。完了時（または失敗時）に、ログ、メトリクス、およびメタデータを分析のためにクラウドバケットにアップロードする。

2. 研究環境

GPU集約型の現実的な問題に対してシステムをテストするため、2つの環境を定義した：

• 事前学習（nanoGPT）: nanoGPTスピードランに基づく。目標は、124MのTransformerを用い、FineWebコーパスにおいて目標検証損失（3.28）に達するまでの実時間（wall-clock time）を最小化することである。システムは、検索およびRL（強化学習）のために代理報酬（損失の逆数）を使用し、トレーニング時間の予算を固定する。実際の時間はトップのソリューションに対してのみ報告される。
• 事後学習（GRPO）: 数学推論のためのGRPOアルゴリズムに基づく。目標は、固定された時間予算内で、1.5Bモデル（Qwen2.5-Math）のMATHデータセットに対する検証精度を最大化することである。

3. 学習アルゴリズム

本研究では、実行フィードバックから学習するための2つの手法を評価している：

• 実行ガイド付き進化検索（Execution-Guided Evolutionary Search）: 探索と活用を組み合わせた最適化手法。各エポックにおいて、システムはアイデアのバッチをサンプリングし、実行し、その結果を用いて次世代の生成をガイドする。「ポジティブな軌跡（ベースラインを上回るアイデア）」のプールを維持し、それらを基に変異体を生成（活用）する一方で、斬新なアイデアもサンプリング（探索）する。
• 強化学習（RL）: 自動実行器を報酬関数として用い、GRPOアルゴリズムを使用してイデーター（ideator）モデル（Qwen3-30B）を微調整する。報酬は、検証精度（事後学習の場合）または検証損失の逆数（事前学習の場合）である。

主な結果

1. 自動実行の実現可能性

自動実行器は、最先端LLMによって生成されたアイデアの大部分を正常に実装した。

• 実行率: 事前学習環境において、Claude-4.5-OpusとClaude-4.5-Sonnetは、それぞれ96%と90%の実行率を達成した。事後学習環境では、実行率はより低くなったが（GPT-5で52%、Claude-4.5-Sonnetで84%）、依然として有意な数値であった。
• ベースライン性能: 検索やRLを行わない状態でも、これらのモデルの「Best-of-N (N=50)」の性能は、元のベースラインを超えた（例：Claude-4.5-SonnetはGRPOにおいて48.0%のベースラインに対し60.4%の精度を達成）。

2. 実行ガイド付き進化検索の性能

進化検索は非常にサンプル効率が高く、わずか10回の検索エポックで優れた解を見出した：

• 事後学習: 検索により、GRPOタスクで**69.4%**の精度を達成する手法が見出された。これは、48.0%のベースラインおよびスタンフォード大学の大学院コースにおける最良の人間によるエキスパート解（68.8%）を大幅に上回った。
• 事前学習: 検索により、目標損失に達するまでのトレーニング時間を19.7分に短縮するレシピが発見された（ベースラインの35.9分と比較）。
• スケーリング傾向: Claude-4.5-Opusは、検索エポックが増えるにつれて高い上限値に達するという明確なスケーリング傾向を示した。対照的に、Claude-4.5-SonnetとGPT-5は早期に飽和する傾向があった。
• アイデアの多様性: モデルは、単なるハイパーパラメータのチューニングではなく、実質的なアルゴリズム的アイデア（例：アーキテクチャの変更、新しい学習ダイナミクス）を生成した。Claude-4.5-Sonnetはハイパーパラメータに焦点を当てたアイデアを多く生成したが、OpusとGPT-5はよりアルゴリズム的な革新に焦点を当てていた。

3. 強化学習（RL）の性能

実行報酬からのRLは、混合した結果を示した：

• 平均報酬: イデーターモデルの平均報酬は、学習エポックに伴い大幅に改善した（例：GRPOにおける平均精度は0.253から0.343に上昇）。
• 上限の失敗: 極めて重要なことに、最大報酬は改善しなかった。モデルは、初期の最良のパフォーマンスを超えるような画期的なアイデアを発見することに失敗した。
• モード崩壊（Mode Collapse）: RLは、モデルをいくつかの単純で実装しやすいアイデア（例：RMSNormをLayerNormに置き換える、あるいはExponential Moving Averageを適用するなど）に収束させた。これにより、アイデアの多様性が崩壊し、「思考の長さ（thinking length）」が減少した（モデルは、成功確率の高い単純な実行を最大化するために、複雑な推論トレースの生成を停止した）。

意義と主張

本論文は、オープンエンドなAI研究において、LLMの着想（ideation）を実行に接地させることの実現可能性とポテンシャルを実証したと主張している。

• 実行接地（Execution Grounding）の検証: 自動実行器が最先端LLMによる自然言語の研究アイデアの大部分を処理できること、および進化検索が実行フィードバックを効果的に活用して、人間のベースラインや標準的な検索手法を凌駕する解を見つけ出せることを確認した。
• 現在のRLの限界: 本研究は、オープンエンドな研究に標準的なRLを適用することの決定的な限界を浮き彫りにした。RLは平均的な性能を向上させる一方で、モード崩壊を引き起こし、モデルを安全で単純なアイデアへと収束させ、科学的発見の上限を押し上げることを妨げる。
• 今後の方向性: 著者らは、今後の研究において、RLにおける多様性の崩壊への対処、発見されたアイデアの汎用性の向上、および複雑なコード生成タスクを扱うためにより有能な実行エージェントの開発が必要であると示唆している。

結論として、自動実行フィードバックはAI研究を改善するための強力な信号であるが、現在の学習アルゴリズム（特に標準的なRL）は、多様性を維持し、潜在的なブレイクスルーとなる「ロングテール」のアイデアを探索するためには、新たな介入を必要としている。