技術概要：DataMaster：機械学習のための自律的データエンジニアリングに向けて

1. 問題定式化

本論文は、モデルアーキテクチャ、トレーニングレシピ、計算リソースの改善がますます標準化されるという機械学習（ML）の状況の変化を取り扱っています。その結果、性能向上は、データ品質、選択、構成にますます依存するようになっています。しかし、現在の自律的 ML システムは依然として主にモデル中心であり、データを最適化の主要対象とするのではなく、固定された入力または補助的なアクション次元として扱っています。

著者らは、タスク条件付き自律的データエンジニアリングを新しい研究課題として定式化します。この設定において：

• 入力： 下流タスク $T$、固定された学習アルゴリズム $a_0$、初期の実行可能データ状態 $D_0$、およびリソース予算 $B$。
• 制約： 学習アルゴリズム $a_0$ は変更されません。
• 目的： 自律エージェントは、データ状態 $D$ に対してのみ操作を行うことで、下流性能 $E(T, a_0, D)$ を最大化しなければなりません。
• 課題： この問題はオープンワールド（有用なデータソースはウェブ上に散在し、品質やライセンスが不明）であり、長期的（データ決定の価値は、下流のトレーニングと評価後にのみ検証可能）です。エージェントは、繰り返しの失敗を避け、累積知識を活用しながら、データを発見し、クリーニングし、適応させ、統合する必要があります。

2. 手法：DataMaster フレームワーク

DataMaster は、データエンジニアリングのオープンエンドな探索空間をナビゲートするために設計された、メモリ拡張型データエージェントフレームワークです。これは、外部データ発見、実行可能なデータ洗練、および累積メモリを、下流トレーニングフィードバックループの下で統合します。このフレームワークは、3 つの中核コンポーネントで構成されます：

A. DataTree（構造化探索）

DataTree は、実行可能なデータ状態に対する探索を木構造 $T = (V, E)$ として組織化します。ここで、ノードはデータエンジニアリングステップを表し、エッジは文脈の継承を表します。これは、2 つの相補的なノードタイプを採用します：

• 赤ノード（データ探索）： これらのノードは、新しいデータセットを発見するためにオープンエンドな外部探索を実行します。タスク記述と失敗事例に基づいて検索クエリを生成し、関連性と使用可能性のためにソースをスクリーニングし、共有データプールに追加する一連の新しいデータセットエントリ $\Delta P_v$ を出力します。
• 黒ノード（データ活用）： これらのノードは、現在のトレーニングパイプラインを改善するためにデータプールを活用します。ソースを選択し、クリーニング/変換ルールを適用し、特徴を構築し、固定アルゴリズムへの入力を適応させます。これらの決定を実行可能な DataLoader として具体化し、下流トレーニングに提出して性能スコア $y_v$ を取得します。

B. 共有データプール

このコンポーネントは、赤ノードによって発見された候補外部データセットのグローバルリポジトリとして機能します。ソースポインタ、スキーマ要約、スクリーニングノートを含むマニフェストを格納します。黒ノードはこのプールから読み取り、データを選択および構成することで、あるブランチで行われた発見が他のブランチでも再利用可能であることを保証し、重複した探索努力を防ぎます。

C. グローバルメモリ

グローバルメモリは、探索プロセスのための永続的な記録層として機能します。ノードレベルの記録 $r_v$ を格納します。これには以下が含まれます：

• 結果： 下流スコアと診断情報。
• アーティファクト： 再利用可能な処理履歴とクリーニング手法。
• 知見： 有用なヒントと失敗モード。
  これにより、エージェントは親ノードおよび兄弟ノードからの文脈を取得でき、ブランチ間学習（失敗した変換の回避や成功したアダプターの再利用など）を可能にします。

D. 木成長とスケジューリング

限られた計算予算を管理するために、DataMaster は以下を採用します：

• 成長ポリシー： 動的なメカニズムであり、赤ノードの後に一連の黒ノードが続くことで、新たに発見されたデータの有用性をテストします。システムは、トレーニングフィードバックに基づいて、ブランチを深める（さらなる洗練）か、広げる（新しい発見）かを決定します。
• スケジューリングポリシー： 上部信頼区間（UCB）ルールに基づく貪欲なスケジューラーです。これは、ブランチの累積報酬と、未訪問の方向への探索の必要性とのバランスを取りながら、次に実行するノードを選択し、評価予算の効率的な配分を確保します。

3. 主要な貢献

1. 問題定式化： 本論文は、モデルコードではなくデータ状態が主要な最適化対象となる第一級の課題として、タスク条件付き自律的データエンジニアリングを定義します。
2. フレームワーク設計： 分岐探索のためのDataTree、共有外部ソースのためのデータプール、および反復間での累積再利用のためのグローバルメモリを統合する、新しいフレームワークDataMasterを導入します。
3. 実証的検証： 著者らは DataMaster を 2 つの相補的なベンチマークで評価し、構造化されたデータ側の反復が、古典的 ML エンジニアリングと LLM 事後トレーニングの両方において、強力な初期ソリューションを大幅に改善できることを実証しました。

4. 実験結果

著者らは、DataMaster をMLE-Bench Lite（22 の Kaggle コンペティション）とPostTrainBench（7 つの LLM 事後トレーニング機能）で評価しました。

• MLE-Bench Lite：

  • DataMaster は、初期スコアに対してメダル率を**32.27%**改善しました（35.91% から 68.18% へ）。
  • ゴールドメダル率は 45.45% に達し、最も強力なベースライン（DatasetResearch）をメダル率で 9.09 ポイント上回りました。
  • 除去実験により、グローバルメモリを除去すると性能が崩壊すること（ゴールドメダル率が 80% から 20% に低下）が確認され、累積メモリの必要性が浮き彫りになりました。

• PostTrainBench：

  • DataMaster は、平均スコアを（ベースモデルの）**8.47%から31.17%**に引き上げました。
  • Codex（18.46%）や DataFlex（19.09%）を含むすべてのベースラインを上回りました。
  • 特に、GPQAベンチマーク（大学院レベルの科学 QA）において、DataMaster は人間専門家による指示モデル（31.02% vs 30.35%）を上回りました。

• 堅牢性とスケーリング：

  • システムは、異なるバックボーン LLM（GLM-5、Claude-4.6、Qwen3.5）間で一貫した改善を示しましたが、GPT-5.4 はツールの使用が不十分だったため性能が低くなりました。
  • テスト時スケーリング実験では、探索予算を増やすと性能が継続的に向上することが示され、最終ノードは指示モデルの参照を上回りました。

5. 意義と主張

本論文は、自律的データエンジニアリングが、モデル中心の最適化とは異なり、かつそれを補完する、ML システムを改善するための実行可能かつ強力な手段であると主張しています。

• パラダイムシフト： この研究は、モデル開発が標準化されるにつれて、性能向上のための「残された主なレバー」はデータであると論じています。したがって、エージェントシステムは、モデルコードの最適化を超えて、データ状態の最適化へと移行する必要があります。
• 構造化探索： 本論文は、累積メモリを備えた構造化された木ベースの探索プロセスとしてデータエンジニアリングを扱うことが、孤立したデータ操作や単純なデータセット検索よりも優れていることを実証しています。
• 汎用性： 結果は、このアプローチが表形式 ML コンペティションから複雑な LLM 事後トレーニングまで、多様なドメインで効果的であり、特定の機能において専門家によってキュレーションされたデータパイプラインと同等かそれ以上の性能を発揮しうることを示唆しています。

著者らは、将来の自律的 ML システムは、発見、選択、変換、検証、再利用というデータの全ライフサイクルにより大きな重点を置くべきであると結論付けています。