技術要約: DSAgentBench

問題定義

現実世界のデータサイエンスは、データの加工、探索、モデリング、可視化、および検証にわたる、複雑で長期的なワークフローを伴います。これらのタスクには、機能するオペレーティングシステム（OS）内で、ノートブック、IDE、ターミナル、ブラウザ、データベースを含む多様なツールの協調的な使用が必要です。近年の大規模言語モデル（LLM）の進歩は、コード生成や孤立した分析タスクを実行する能力を示していますが、既存のベンチマークは、エージェントが現実的なコンピューティング環境内で、自律的にエンドツーエンドのデータサイエンス・ワークフローを実行できるかどうかを評価できていません。

現在のベンチマークは2つのカテゴリーに分類されます。一つは、システムとの相互作用を必要としない、コード生成のみを単独で評価するもの（例：DS-1000、DSEval）であり、もう一つは、ドメイン固有の分析的推論を評価することなく、一般的なコンピュータ制御を評価するもの（例：OSWorld、WebArena）です。その結果、エージェントがリアルなOS環境内で、ファイルシステムをナビゲートし、依存関係を管理し、エラーを解釈し、中間出力に基づいて分析を洗練させる能力をテストするための評価フレームワークが不足しています。

手法

ベンチマーク構築 (DSAgentBench)

著者らは、実際のオペレーティングシステム内での自律的なデータサイエンス・ワークフローを評価するために設計された初のベンチマークである DSAgentBench を導入します。このベンチマークは、データサイエンスのライフサイクル全体をカバーする 275の多様な人間作成タスク で構成されています。

• タスク定式化: タスクは、タプル $(C_i, I_i, V_i)$ として定義されます。ここで、$C_i$ は初期システム構成（データセット、ファイル構造、インストール済みライブラリ）、$I_i$ は自然言語による指示、そして $V_i$ は決定論的なPythonエバリュエーター（評価器）です。
• データソース: データセットは、Kaggle、OpenML、GitHub、SQLiteデータベース、およびWeb APIを含む、異種混合の現実世界のソースから抽出されています。データには、表形式（95.3%）、画像（3.6%）、テキスト（1.1%）のモダリティが含まれます。
• タスクカテゴリ: タスクは、データ取得、探索的データ解析（EDA）、特徴量エンジニアリング、モデリング、評価/デプロイメント、および可視化/レポート作成の6つの能力カテゴリに整理されています。
• 評価プロトコル: コードの実行をスコア化するベンチマークとは異なり、DSAgentBenchは、分析の正確性、視覚的出力の品質、およびモデルの性能を検証する 決定論的なエバリュエーター を採用しています。エージェントの最終出力がエバリュエーターの基準（スコア $\ge 0.95$）を満たす場合にのみ、タスクは成功とみなされます。
• 構築パイプライン: ベンチマークは、データソースの選定、人間によるエキスパートによる共同のタスク/エバリュエーター設計（LLMは精緻化にのみ使用）、および再現性と技術的な正確性を確保するための二重アノテーター検証という、3段階のプロセスを経て構築されました。

環境アーキテクチャ

DSAgentBenchは、現実的な実行環境を作成するために OSWorld フレームワークを拡張しています。

• OS: Pythonおよびデータサイエンス用ライブラリがプリインストールされたUbuntu。
• ツール: Visual Studio Code、Jupyter Notebook、Chrome、およびKaggle/OpenML APIへのアクセス。
• 観測空間: エージェントは、1920×1080のスクリーンショット、または、構造化されたUIメタデータ（ロール、境界ボックス、インタラクション状態）を提供するハイブリッドな スクリーンショット + アクセシビリティツリー（A11y） モダリティを受け取ります。
• アクション空間: エージェントは、GUIアクション（マウスのクリック、キーボード入力）およびメタアクション（WAIT、DONE、FAIL）を介して操作を行います。環境は、各アクションの後の状態遷移をキャプチャします。

評価対象モデル

著者らは、以下のものを含む 15のクローズドソースおよびオープンソースのエージェント を評価しました。

• クローズドソース: GPT-4o、GPT-5（およびmini）、O4-mini、Claude Sonnet 4/4.5/4.6、Gemini 2.5 Pro、およびOpenAIのComputer Agent。
• オープンソース: UI-TARS (2B/7B)、GUI-OWL-7B、OpenCUA-72B、およびハイブリッドモデル（JediとGPT-4oの組み合わせ）。

主な結果

全体的なパフォーマンス

実験により、現在のエージェント・システムと、実際のデータサイエンス・ワークフローの要求事項との間の、大幅な能力ギャップが明らかになりました。

• 最強のエージェント: Claude-4.6-Sonnet が、Screenshot + A11y Tree設定において 56.70% のタスク成功率を達成し、最高のパフォーマンスを示しました。
• その他のクローズドソースモデル: 他のモデルではパフォーマンスが著しく低下し、GPT-5は29.81%、その他（GPT-4o、Gemini-2.5-Pro）は20%前後にとどまりました。
• オープンソースモデル: すべてのオープンソースエージェントは 1%未満 の成功率であり、ツールのオーケストレーション、OSへのグラウンディング、および多段階の推論において頻繁に失敗しました。
• 人間によるベースライン: 人間のエキスパートは 85.09% の成功率を達成しており、最強のAIエージェントであっても依然として大きな隔たりがあることを浮き彫りにしました。

アブレーションとエラー分析

• タスクの複雑さ: パフォーマンスは難易度とともに単調に低下します。「困難（Hard）」なタスク（5ステップ以上）が最も困難な課題となっています。マルチステージのワークフロー（タスクの56.7%）は、状態の維持とエラーからの回復が必要であるため、シングルステージのタスクよりも大幅に困難です。
• ツールの使用: Jupyter Notebook内で実行されたタスクは、ターミナルや環境関連の失敗が少ないため、VS Codeでのタスクよりも高いパフォーマンスを示しました。
• 観測モダリティ: A11yツリー情報の追加は、モデルによって効果は異なるものの、一般的にパフォーマンスを向上させ、構造化されたUIメタデータがグラウンディングを助けることを示唆しています。
• 失敗モード:
  • オープンソースエージェント は、ほぼ例外なく（97〜98%）、グラウンディングエラー（指示とデスクトップの状態を一致させられないこと）によって失敗しました。
  • より強力なクローズドソースエージェント は、ターミナルのエラー、コード生成の欠陥、および推論の不足を含む、混合した失敗を示しました。
  • 時間的構造: オープンソースおよび弱いモデルは、多くの場合、早い段階（ターミナルを開けないなど）で失敗しましたが、より強力なモデルは、長時間の非効率な探索の後に、後半のステージで失敗する傾向がありました。
• 予算の感度: インタラクション予算を15から50ステップに増やしても、わずかな改善（24.54% $\to$ 25.81%）しか得られず、失敗の主な原因はステップ数の制限ではなく、プランニングと推論における根本的な問題であることを示しています。

重要性と主張

本論文は、DSAgentBench を、グラウンデッドで検証可能、かつ自律的なデータサイエンス・エージェントを開発するための基礎的なリソースとして位置付けています。その主な貢献は以下の通りです。

1. 初のリアルOSベンチマーク: データ取得から検証までのフルライフサイクルをカバーする、機能するオペレーティングシステム内での自律的なデータサイエンス・ワークフローを評価する初のベンチマークです。
2. 実行ベースの評価: 評価のパラダイムを「コードの正確性」から「分析の正確性」へと転換し、決定論的なスクリプトによって検証される有効なアーティファクト（可視化、モデル、レポート）を生成することを要求します。
3. ギャップの露呈: 結果は、現在のエージェント・システムにおける重大な限界を露呈しており、最強のモデルであっても、現実世界のデータサイエンスに必要なツールの調整、長期的な推論、およびOSへのグラウンディングに苦慮することを証明しています。
4. 将来の方向性: グラウンディング、プランニング、ツール・オーケストレーションといった具体的な失敗モードを特定することで、本ベンチマークは、現実世界のデータサイエンス・タスクを実行できるエージェントの構築を目指す将来の研究に向けた明確なロードマップを提供します。

著者らは、この分野のさらなる研究を促進するために、ベンチマークを https://github.com/vis-nlp/DSAgentBench で公開しています。