技術的概要：GEAR（Genetic AutoResearch）

問題定義

AutoResearch などのシステムに代表される自律研究エージェントは、人間の監督なしに機械学習実験を提案、実行、コミットする能力を実証してきた。しかし、既存のアーキテクチャは単一 incumbent による山登り法に依存している。つまり、エージェントは単一のアクティブなアーティファクトを維持し、それを編集して結果を評価し、現在の最良のパフォーマンスを向上させた場合のみ変更を保持する。

この戦略には構造的な限界が存在する。現在の incumbent を即座に上回らない実験を破棄することで、システムは貴重な探索シグナルを早期に失う。これには以下が含まれる：

• 異なる次元（例：効率性対 raw パフォーマンス）において強力である可能性のある相補的な局所最適解。
• 他の発見と組み合わせることが可能な部分的に成功したアイデア。
• 多様な研究方向から得られた蓄積された洞察。

その結果、これらのエージェントはしばしば局所最適解に急速に収束し、十分な計算予算が残っていても長期的な視野ではさらなる進展を遂げられない。

手法：GEAR

これらの限界に対処するため、著者はGEAR（GEnetic AutoResearch）を導入する。これは、単一 incumbent による山登り法を研究状態における集団ベースのフロンティア探索に置き換える、差し替え可能な探索コントローラーである。GEAR は AutoResearch と同じ実験環境（固定された GPU 予算で検証ビット・パー・バイトを最小化するために GPT-2 風の言語モデルを学習させる）内で動作するが、探索ダイナミクスを根本的に変更する。

コアメカニズム

1. エリートフロンティア: 単一の incumbent の代わりに、GEAR は「エリート」ノードの限定された集団を維持する。各ノードは以下の情報を格納する：
   • 具体的なコード変更（コミット）。
   • 測定されたメトリクス（bpb、VRAM、パラメータ数）。
   • 親関係および突然変異/交叉の履歴。
   • 記述的メタデータ（試行された内容、役割、生産性統計）。
2. 役割: フロンティアは、多様性を維持するために 3 つの割り当てられた役割によって構造化される：
   • BEST: 最低の bpb を持つノード。
   • LEAN: 最低のメモリ使用量を持つノード。
   • DIVERSE: 他のすべてのエリートと実質的に異なる記述を持つノードであり、異なる調査ラインがアクティブに維持されることを保証する。
3. 探索演算子:
   • 突然変異: エージェントは単一の親のコードに変更を提案する（例：アーキテクチャ、オプティマイザ、ハイパーパラメータ）。
   • 交叉: エージェントは、二次的な親（$p_2$）から一貫性のあるアイデアを移植し、主要な親（$p_1$）のコードベースに合成することで子を作成する。$p_2$ は $p_1$ と最大限に相補的になるように選択される。
4. 親の選択と昇格:
   • 親は、生産性（子孫の歴史的成功）、局所的な新規性（記述のジャッカード距離）、およびグローバルなカバレッジ（役割/カテゴリの組み合わせの希少性）をバランスさせた複合スコアに基づいて選択される。
   • 昇格ルールは、新しいグローバルベスト、最も弱いエリートに対する改善、メモリ効率、および多様性の維持を優先する。

3 つの変種

論文では、最適な構造レベルを決定するために、遺伝的探索ポリシーの 3 つの実装を評価する：

1. GEAR-Prompt: LLM エージェントが自然言語の指示のみを通じて集団ダイナミクス、親の選択、および昇格ロジックを管理する。
2. GEAR-Fixed: 探索ポリシーが、親の選択、演算子のスケジューリング、および昇格ルールを明示的に処理する決定論的かつプログラム的なコントローラーに外部化される。
3. GEAR-Evolve: コントローラー自体が変更可能なアーティファクトとして扱われる。エージェントは各反復で実験を実行するか、探索ポリシーコード自体を変更するかを決定し、これにより探索戦略がモデルと共に進化することを可能にする。

主な貢献

1. GEAR フレームワーク: 単一 incumbent による山登り法を、限定されたエリート状態のフロンティアに置き換える差し替え可能な遺伝的探索ポリシー。基盤となる学習環境や評価ハーネスの変更は不要。
2. メカニズムの体系的な分解: 論文は、突然変異が多様な局所探索を可能にしつつ、交叉がブランチ間での相補的な発見を構成することを示している。これは、自然言語プロンプト、固定コントローラー、自己変更コントローラーの 3 つの形態で具体化されている。
3. 延長された視野の実証的証拠: 本研究は、集団ベースのフロンティア探索が自律的発見の視野を延長することを示す証拠を提供する。早期に有用な方向を枯渇させるベースラインとは異なり、GEAR 変種は探索予算全体を通じて改善を発見し続ける。

実験結果

著者は、同一の計算予算（100 回の実験、NVIDIA H100 上での 5 分間の学習実行）を用いた言語モデリングタスクにおいて、3 つの GEAR 変種すべてを AutoResearch ベースラインと比較評価した。

• パフォーマンス: 全ての GEAR 変種が AutoResearch ベースラインを上回った。
  • ベースライン: 実験 50 回後に最良の bpb 0.98232 に収束し、それ以降は改善ゼロ。
  • GEAR-Prompt: 0.98001 に到達。
  • GEAR-Fixed: 0.97914 に到達。
  • GEAR-Evolve: 最低の bpb 0.97658 を達成。
• 持続的な進展: ベースラインは実験の第 1 四半期で頭打ちになったのに対し、GEAR 変種はその後すべての四半期で改善を続けた。特に GEAR-Evolve は第 2 四半期に顕著な gains（9.95 mbpb の改善）を示し、着実な進展を維持した。
• 効率性と構成:
  • GEAR-Evolve は、バッチサイズを削減して VRAM を解放し、それによってモデルの深さをスケーリング可能にするという複合戦略を発見することで、他のモデル（60 GB 以上）に比べて大幅に軽量なモデル（33.5 GB VRAM）を生成した。
  • 構成的 gains: フロンティア構造により、エージェントは「失敗した」アイデア（例：深さの増加）を保存し、それが後に他の発見（例：バッチサイズの削減）と組み合わさった際に有効になることを可能にした。これにより、ベースラインが一貫して達成できなかった深さスケーリング（深さ $\ge$ 10）が成功した。
• 交叉の品質: 外部化されたコントローラーを持つ変種（Fixed および Evolve）は、はるかに高品質な交叉を生み出した。GEAR-Prompt はしばしば同じ親ペアを再利用するのに対し、コントローラーは相補性を強制し、プロンプトベースの変種の 14% に比べ、エリート昇格率が約 71-72% となった。
• ポリシーの進化: GEAR-Evolve は、退化した交叉提案を修正するためにコントローラーコードを 6 回変更し（例：直接の祖先間の交叉をブロックする、祖先追跡を改善する）、変更可能な探索ポリシーの価値を実証した。

意義と主張

論文は、自律研究エージェントに明示的な集団構造と変更可能な探索ポリシーを備えることが、持続的な進展の能力を有意に延長すると主張している。

著者は、単一 incumbent による山登り法から集団ベースのフロンティア探索への転換が、現在のエージェントを制限する早期収束に対処すると論じている。部分的に成功したアイデアを保存し、相補的なブランチを再訪問し、有用な変更を再結合することで、GEAR は「局所最適解の罠」を回避する。GEAR-Prompt から GEAR-Evolve への進展は、プロンプトされた指示から固定されたコントローラーへ、そして最終的に自己進化型コントローラーへと移行することが、多様性維持のようなオプションの行動を強制されたメカニズムへと変換し、より強力でサンプル効率の高い自律的発見をもたらすことを示唆している。