技術要約：汎用エージェントはデータキュレーションを自動化できるか？

問題提起

現代のAI開発は、トレーニングデータのキュレーションに大きく依存しており、このプロセスは極めて重要であると同時に、多大な労力を要するものである。実務者は通常、ノイズの多いベンチマークのフィードバックに基づき、データポリシーを提案、実装、評価、修正するという反復的なループに従事している。先行研究では、個別のデータ操作（例：プルーニング、重複排除、書き換え）の自動化は実現されているが、「どの」手法を用いるべきか、どのように適応させるべきか、そしていつ修正すべきかという、より高次の意思決定プロセスは依然として手動のまま残されている。既存のベンチマークは、データを固定してトレーニングレシピを最適化するか（例：MLリサーチ・エージェント）、あるいはデータを分析のための静的な入力として扱う（例：データサイエンス・エージェント）ものであり、「反復的なデータポリシーの発見」を評価する上での空白を残している。

手法：CURATION-BENCH

この空白を埋めるため、著者らは、汎用コーディングエージェントがデータキュレーションのループを自動化できるかどうかを評価するために設計された、エージェント中心のベンチマークであるCURATION-BENCHを導入する。

ベンチマークの設計原則

1. データの隔離（Data Isolation）: モデルアーキテクチャ、トレーニングレシピ、および評価スイートは固定されている。エージェントの唯一の変数は、キュレートされたデータポリシーである。
2. ターミナルのリアリズム（Terminal Realism）: エージェントは標準的なターミナルワークスペース内で動作し、ファイル、スクリプトの記述、コマンドの実行、デバッグを行い、現実世界のエンジニアリングワークフローを模倣する。
3. 汚染制御（Contamination Control）: 自動監査により、提出されたデータセットが評価ベンチマークに対して完全一致または高いテキストスパンの重複がないかを確認し、データ漏洩を防止する。
4. 軌跡の可読性（Trajectory Legibility）: システムは完全なキュレーションの軌跡（スクリプト、マニフェスト、ログ、スコア）を記録し、最終的な結果だけでなく、探索プロセスの質も評価する。

タスクの定式化

タスクは、タプル $\tau = (M_0, D_{pool}, B, T, E, C)$ によって定義される。ここで、$M_0$ は初期モデル、$D_{pool}$ は候補プール、$B$ はデータ予算、$T$ は固定されたトレーニング手順、$E$ は評価スイート、$C$ は制約を表す。エージェントは、$D_{pool}$ からキュレートされたデータセット $D_\pi$ （$|D_\pi| \le B$）へとマッピングするポリシー $\pi$ を生成しなければならない。ポリシーは $S(\pi) = E(T(M_0, D_\pi))$ によってスコアリングされる。

実験設定

主要なインスタンス化は、マルチモーダル指示チューニングに焦点を当てている：

• データ: LLaVA-1.5-7Bモデルをファインチューニングするために、LLaVA-665Kデータセット（計665kサンプル）から10kサンプルを選択する。
• エージェント: OpenHandsハーネスを介して動作する汎用コーディングエージェント（Claude Code, Codex, Kimi, Qwen）。
• スキャフォールド（足場）: 本研究では、オープンプロンプトエージェント、ライト・スキャフォールド（戦略や論文に関するオプションのガイダンス）、およびヘビー・スキャフォールド（証拠に基づいた仮説や、既存手法の強制的な適応を要求する拘束プロトコル）を比較する。

主な貢献

1. 反復的データキュレーションのためのベンチマーク

CURATION-BENCHは、自律型エージェントにとっての最適化の中心的対象としてデータキュレーションを孤立させ、効果的な探索とローカルなチューニングを区別するために完全な探索軌跡を記録する、初のベンチマークである。

2. 実行と研究のギャップ（The Execution–Research Gap）

本研究は、エージェントが有能な**実行者（executors）ではあるが、限定的な研究者（researchers）**であるという、根強いギャップを特定している。

• 実行: オープンプロンプトのエージェントは、有効なデータセットを生成し、ランダムな選択よりも優れたトレーニング結果をもたらすことで、キュレーションループを確実に実行できる。
• 研究の限界: エージェントは、抽象的な研究のアイデアを実行可能なポリシーへと具体化する際、（ソースの比率、長さの閾値、乱数シードなどの）局所的なポリシー・ファミリーを「過剰に利用（over-exploit）」する傾向があり、異なるポリシー・ファミリーの探索には至らない。戦略ガイドや論文の参照へのアクセスがあっても、構造的な制約なしには、抽象的な研究アイデアを、実行可能なポリシーへと具現化することに失敗することが多い。

3. スキャフォールディングの役割

本論文は、スキャフォールディングが、エージェントの実行を真の研究探索へと転換するための重要なレバーであることを示している。

• ライト・スキャフォールド: 戦略や論文のリストを提供することで、エージェントが提示できる選択肢は広がるが、エージェントは低コストなローカル・ヒューリスティックに陥るため、実行されるポリシーに変化を与えることはほとんどない。
• ヘビー・スキャフォールド: 特定の先行手法を引用し、その適用可能性を説明し、現在の予算に適応させることを要求する拘束プロトコル（例：「Adapt Papers」）を課すことで、手法に基づいた探索へのシフトを強制する。このアプローチにより、エージェントはオープンプロンプトのエージェントが見逃してしまう、新規で高性能なポリシーを発見することが可能になる。

結果

オープンプロンプト・エージェントの性能

• ベースラインの達成: オープンプロンプト・エージェントは、10回のイテレーション以内に、強力な既発表のデータ選択ベースライン（例：ICONS, ARDS）に到達する。
• 効率性: 彼らは、元のデータプールのわずか1.5%（10k vs 665k）を使用するだけで、フルデータ・ファインチューニングの利得の約**59%**を回収する。
• 限界: 彼らの成功は、新しいポリシー・ファミリーの探索ではなく、ローカルなヒューリスティック・チューニングによって駆動されている。

ヘビー・スキャフォールディングの影響

• 画期的な性能: 「Adapt Papers」スキャフォールドの下で、エージェントはEL2Nスタイルのトップロス選択とアシスタント・ロス・ノイズ・フィルターを組み合わせたハイブリッド・ポリシーを自律的に構成した。
• 優位性: このスキャフォールドを用いたエージェントは、平均スコア34.9を達成し、オープンプロンプト・エージェントおよび強力な非エージェント・ベースライン（ICONS, ARDS）の両方を上回った。しかも、それらのベースラインが必要とするデータ予算の10分の1（10k vs 100k）のみを使用している。
• 軌跡の質: ヘビー・スキャフォールドは、「浅い（shallow）」操作を排除し（最良のケースで47%から0%へ減少）、「根拠に基づいた（grounded）」イテレーションを100%に増加させた。

コンピュート予算のスケーリング

エージェントのイテレーション予算を10から50に拡張すると、明確なプラトー（停滞）が現れることなく性能が向上し続ける。これは、有限のデータ環境においては、追加の計算資源を単にデータの増量に使うのではなく、データ・ポリシーの探索に効果的に投じることができることを示唆している。

重要性と主張

本論文は、現在の汎用エージェントはキュレーション・ループを実行することはできるが、スキャフォールドによる手法適応なしには、信頼性の高いデータ研究を行うことはできないと主張している。

• 自律的 vs 支援的: 自律的な実行（明確なローカル検証を伴うループの実行）と、エージェント支援型の研究（疎なフィードバックを伴う不連続なポリシー空間のナビゲーション）との間に区別を設けている。データキュレーションは後者のカテゴリーに属する。
• アーティファクトとしてのスキャフォールド: 著者らは、スキャフォールドは単なるプロンプトではなく、エージェントの推論能力を決定する実験デザインのオブジェクトであると主張している。将来の自律的データ研究の評価においては、最終スコアだけでなく、スキャフォールドの強度と軌跡の診断結果を報告しなければならない。
• データ効率的な計算: 本研究は、有限のデータ環境におけるモデル性能向上のための新しいパラダイムを示唆している。すなわち、データの再利用や合成的な拡張にのみ注力するのではなく、データ・ポリシーの探索（選択、適応、検証）に余剰な計算資源を投じるという考え方である。

著者らは、オープンエンドなプロンプティングは有用な「実行者」を生み出すが、信頼できるデータ研究には、抽象的な手法的知識と実行可能なデータ・ポリシーとの間の溝を埋めるための、スキャフォールドによる手法適応が必要であると結論付けている。