技術要約：AI研究選好モデル（AI Research Preference Models）

問題定義

AI研究エージェント（AIRA）は、機械学習の実験を自律的に提案、実装、評価する能力を示している。しかし、フロンティアなタスクにおける進展は、実行に伴う計算コストによって著しく阻害されている。エージェントは数分で候補となる解を生成できる一方で、それらを訓練およびテストによって評価するには、数時間のGPU時間を消費する場合がある。その結果、エージェントは割り当てられた計算予算が許容するよりもはるかに多くの候補を提案してしまうことが多い。主要なボトルネックはもはやアイデアの生成ではなく、固定された実行予算を多くの候補に対してどのように配分するかである。核心となる課題は、どの研究の方向性が、高価なフル実行を行うに値するほど有望であるか、そしてどれを破棄すべきかを判断することである。

手法

この配分問題に対処するため、著者らはAI研究選好モデル（RPM）を導入する。絶対的な性能指標を予測しようとする従来のアプローチ（著者らはこれらが信頼性に欠けると指摘している）とは異なり、RPMは問題を相対的なランキングタスクとして定式化する。目標は、$N$ 個の新たに生成された候補解のうち、次に実行すべき最も価値のあるものはどれかを、過去に実行された解の全コンテキストを活用して特定することである。

著者らは、タスク固有のファインチューニングを行わずに、凍結された事前学習済み言語モデル（具体的には Qwen3.6-27B）に基づいた2つの異なるRPMのバリアントを提案している。

1. 推論のみのRPM（Inference-only RPMs）:

   • メカニズム: これらのモデルは「LLM-as-a-Judge（判定器としてのLLM）」として機能し、候補となるプラン、コードの差分（diff）、および過去に実行された解の履歴（検証スコアを含む）を推論する。
   • プロセス: コードを一切実行することなく、軽量な推論を行って候補をランク付けする。
   • 統合: 探索ツリーにおける子ノードのデフォルトのランダム選択を、モデルによるランキングに基づくトーナメント形式の選択に置き換える。

2. エージェント型RPM（Agentic RPMs）:

   • メカニズム: 推論のみのモデルを拡張したもので、最終決定を下す前に小規模なパイロット実験を実行するために追加の計算資源を割り当てる。
   • プロセス: パイロット実験エージェントは、訓練データとツール（Python, Bash）へのアクセス権を持つサンドボックス環境（メインのAIRA環境のクローン）内で動作する。これは、迅速かつ簡略化された実験（例：シングルスプリットの交差検証、データのサブサンプリング、エポック数の削減）を実行し、経験的な証拠を収集するためのものである。
   • 最適化: エージェントが時間予算に対して過度に保守的になるのを防ぐため、システムは2つのメカニズムを採用している。(1) さらなる実験を促すためにプロンプト内で残りの時間予算を多めに伝えること、および (2) 調査結果をレビューし、最も情報量の多い次の実験を提案するための独立したフィードバックモデルを使用することである。
   • 決定: パイロット実験の知見を、候補となる解およびタスクの説明と組み合わせ、言語モデルに投入して最終的な選択を行う。

統合戦略:
RPMは、AIRA-dojoの進化型ツリー探索スカフォールドに統合される。具体的には、子ノード生成フェーズを拡張する。単一の候補を生成して即座に実行するのではなく、システムは $N$ 個（例：15個）の候補となる修正案を並列に生成する。その後、RPMがこのバッチの中から最も有望な単一の候補を選択してフル実行を行い、訓練コストが発生する前に有望でない経路を効果的にフィルタリングする。

主な貢献

• RPMの導入: 本論文は、AI研究エージェントにおける実験計算の配分問題を定式化し、専用の解決策として研究選好モデル（RPM）を導入した。
• デュアルモード・アーキテクチャの開発: 以下の2つのRPMバリアントを開発した：
  • 推論のみ: 凍結されたLLMが、追加の計算なしにコードや探索履歴を効果的に推論し、選択を改善できることを示した。
  • エージェント型: 安価で小規模なパイロット実験を実行することが、選択の質を大幅に向上させ、検証オラクル（validation oracle）の性能に近づくことを示した。
• ベンチマーク性能: AIRA-dojoへのRPMの統合により、AIRS-Bench（20の機械学習研究タスクのスイート）において、ガイドなしのベースラインに対して大幅な改善を実現した。
• 最先端の結果: 最良のRPM構成は、特定の2つのAIRS-Benchタスク（WinoGrandeおよびSVAMP）において、新たなSOTA（State-of-the-Art）を達成した。

結果

著者らは、24時間のH200 GPU予算を用い、各タスクにつき10個のシードを用いてAIRS-Benchで手法を評価した。

• 性能向上:
  • ベースライン（RPMなし）: 平均正規化スコアは 0.684。
  • 推論のみのRPM: スコアを 0.711 に向上させた。
  • エージェント型RPM: スコアをさらに 0.729 に向上させ、検証オラクルの天井値（0.748）との差を縮めた。
• 効率性:
  • 両方のRPM誘導型アプローチは、ベースラインの最終性能スコア（0.684）に、ガイドなしのエージェントが要した24時間と比較して、わずか15時間で到達した。
  • これは 1.5倍の高速化 であり、実行予算をベースラインの3分の2未満に削減したことを意味する。
• 統計的有意性: ブートストラップ分析により、両方のRPMバリアントがランダム選択ベースラインに対して統計的に有意な優位性を持つことが確認された（改善確率 > 0.59）。
• オフライン分析:
  • スケーリング: パフォーマンスは、コンテキストの増加（より多くの履歴ノード）、候補プール（提案）の拡大、および推論予算の増大に伴い、正の相関を示した。
  • エージェント戦略: パイロット実験の分析により、エージェントがタイトな時間予算（5〜30分）内に収まるように、タスクを適切に簡略化（例：シングルスプリット検証、データのサブサンプリング）しつつ、依然として情報量の多いシグナルを提供できていることが明らかになった。

意義と主張

本論文は、フロンティアなタスクにおけるAI研究エージェントを向上させるための主要なレバーは、単なる生成の改善ではなく、より良い選択であると主張している。候補の選択を明示的なテスト時計算（test-time compute）の利用として扱うことで、エージェントは単にアイデアを生成するだけでなく、「どの」解を実行するかを決定することにリソースを投資できる。

• 費用対効果: 本研究は、選好モデルを実行する計算コスト（推論または小規模なパイロット実験による）が、有望でない実験をフル実行するコストと比較して無視できるほど小さいことを示している。
• スカフォールド非依存性: AIRA-dojoで実証されているが、著者らはRPMのアプローチが、候補となる解と評価記録（推論のみの場合）またはサンドボックス（エージェント型の場合）のみを必要とする、スカフォールドに依存しない設計であることを主張している。
• 限界: 著者らは、現在のオフラインデータがオフポリシー（異なるLLMバックボーンやタスクから派生したもの）であること、および現在の統合が子ノードの選択に限定されており、親ノードの選択については今後の課題であることを謙虚に述べている。また、現在のLLMの推論レイテンシは、小さいながらもゼロではないことも認めている。

結論として、本論文は、AI研究エージェントは、高コストなフロンティア機械学習研究の風景をナビゲートするために、選好モデルを使用して「どの解を実行するかを、それらを設計するのと同様に慎重に選ぶ」ように進化すべきであると断じている。