WebDS: An End-to-End Benchmark for Web-based Data Science

本論文は、静的なデータセットや単純な Web 操作に留まらず、多様なウェブサイトからの情報収集から分析・洞察までのエンドツーエンドのデータサイエンスタスクを評価する初のベンチマーク「WebDS」を提案し、現状の LLM エージェントと人間との間に大きな性能差があることを明らかにしています。

要約

ウェブで「データサイエンス」ができるか？

「WebDS」という新しいテストの解説

この論文は、**「人工知能（AI）が、実際にウェブを飛び回ってデータを集め、分析し、レポートを書くことができるのか？」**という問いに答えるための、新しいテスト（ベンチマーク）「WebDS」を紹介しています。

これまでの AI のテストは、まるで「おままごと」や「単純な迷路」のようなものでした。しかし、この新しいテストは、**「現実世界の探偵仕事」**そのものです。

---

1. これまでのテストは「おもちゃ」だった

これまでの AI のテスト（ベンチマーク）は、2 つのどちらかに偏っていました。

• ウェブ探索のテスト: 「レッドディに投稿する」「商品を買う」といった、単純な操作をさせるもの。まるで**「スーパーで商品を探してレジに行く」**ようなレベルです。
• データ分析のテスト: すでに整理された Excel ファイルやデータベースを与えられて、「この数字を足して」というもの。まるで**「すでに机に並べられたレゴブロックを、指示通りに組み立てる」**ようなレベルです。

しかし、現実のデータサイエンティスト（データ分析の専門家）の仕事は、もっと複雑です。
**「インターネットのあちこちに散らばっている、バラバラな資料（新聞、政府の統計、ニュースサイト）を自分で探し出し、それを集めて、Excel で整理し、グラフを作り、最後に『どうすればいいか』というレポートを書く」**という、一連の長い作業が必要です。

これまでのテストでは、この「現実の複雑さ」が測れていませんでした。

2. 新しいテスト「WebDS」：現実の「探偵ごっこ」

そこで登場したのが**「WebDS」**です。これは、AI に「現実のデータ分析」をさせるための、世界初の本格的なテストです。

• 29 種類の「現場」: 政府の統計サイト、ニュース、音楽のデータベース、スポーツの記録など、29 種類の異なるウェブサイトをテストに使います。
• 870 個の「事件」: 人間が実際に書いた、870 個の難しい課題があります。
  • 例: 「2022 年 10 月 19 日時点での、大学の学生数の人種別データを調べ、国の人口動態の傾向と照らし合わせて、大学の多様性への影響を分析し、戦略委員会のためのレポートを書いてください」

これは、**「図書館、新聞社、統計局、スポーツジムを何箇所も飛び回り、手書きのメモや写真、表から情報を集め、最後に完璧な報告書を作る」**という、非常にハードな探偵仕事です。

3. 結果：AI は「おぼつかない新人探偵」

このテストで、最新の AI（GPT-4o や BrowserUse など）を試したところ、結果は衝撃的でした。

• これまでのテスト: AI は 80% 以上の正解率を出していました（まるで「おままごと」が得意な子供）。
• WebDS のテスト: AI の正解率は15% 以下に急落しました。
  • 一番できた AI でも、22% 程度しか正解できませんでした。
  • 一方、人間は同じ条件で**90%**の正解率を達成しました。

「なぜ AI は失敗するのか？」
分析によると、AI は以下の「探偵としての欠点」を持っていることがわかりました。

1. 情報の「裏取り」が甘い: 正しいページに行き着いても、その中の重要な数字を読み間違えたり、見逃したりする（「ここにあるはずなのに、なぜか見えない」）。
2. 同じミスを繰り返す: 「検索ボタンを押したのに結果が出ない」というエラーが出ても、同じボタンを何十回も押し続ける（「ループにハマる」）。
3. 近道をして失敗する: 難しいデータ収集を避けて、適当な検索結果で「多分こうだろう」と推測して、間違った答えを出す（「証拠を無視した推測」）。

4. 何が違うのか？「魔法の杖」ではなく「道具の使い方」

これまでの AI は、頭脳（モデルの能力）を強くするだけで良くなりました。しかし、WebDS のような現実のタスクでは、**「頭が良ければいい」のではなく、「道具の使い方が上手いか」**が重要だとわかりました。

• 人間: 「あ、このサイトはエラーが出たな。じゃあ、別の方法で探そう」と柔軟に考え、ミスを修正できます。
• AI: 「エラーが出た」ことに気づかず、同じことを繰り返したり、適当な答えを出したりしてしまいます。

5. まとめ：AI 開発の新しい道しるべ

この「WebDS」というテストは、AI 開発者にとって**「現実の厳しさ」を教えてくれる鏡**です。

• 現状: AI は「おままごと」は得意ですが、「現実の探偵仕事」はまだまだ未熟です。
• 未来: このテストをクリアできるようにすることで、AI は単なる「チャットボット」から、実際にビジネスや研究で使える「データ分析のパートナー」に進化できるかもしれません。

つまり、**「AI が本当に役立つようになるためには、頭を大きくするだけでなく、現実の世界でどう動き、どう失敗を直すかを学ぶ必要がある」**という、重要なメッセージをこの論文は伝えています。

技術概要

WebDS: ウェブベースのデータサイエンスのためのエンドツーエンドベンチマーク

技術的サマリー（日本語）

本論文は、ICLR 2026 で発表された「WebDS（Web-based Data Science）」という新しいベンチマークについて報告するものです。これは、大規模言語モデル（LLM）を基盤としたエージェントが、現実世界の複雑なウェブ環境において、データ収集から分析、洞察の生成までを含むエンドツーエンドのデータサイエンスワークフローを遂行できるかを評価するための、初の包括的なベンチマークです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

既存のベンチマークには、以下の 2 つの主要なギャップが存在します。

• 既存のウェブエージェントベンチマークの限界: WebVoyager や WebArena などの既存のベンチマークは、単純なウェブブラウジングや特定のタスク（例：アイテムの購入、Reddit への投稿）に焦点を当てており、データの操作や複雑な分析能力を十分に評価していません。また、多くのタスクが単一のサイト内でのみ完結し、構造化されていないデータや多様なツールの使用を必要としません。
• 既存のデータサイエンスベンチマークの限界: 従来のデータサイエンスベンチマークは、静的で構造化されたデータセット（CSV やデータベース）に依存しており、実際のデータサイエンティストのワークフローである「ウェブを巡回してデータを見つけ、複数のソースから情報を統合し、分析する」というプロセスを評価していません。

WebDS が解決する課題:
現実のデータサイエンスタスクは、非構造化データ、マルチモーダルデータ、複数のウェブサイト間の移動、ツールの使用、そして長期的な推論を必要とします。現在の SOTA（State-of-the-Art）エージェントは、これらの複雑な要件を統合的に処理する能力が不足しており、それを定量的に評価する標準的な枠組みが存在しませんでした。

2. 手法とベンチマーク設計

2.1 データセットの構成

• 規模: 29 の多様なウェブサイトから構成され、合計870 個の人間作成タスクを含みます。
• ドメイン: 経済・市場、人口統計、音楽、観光・貿易、高等教育、科学研究、スポーツ、政府・公共政策、エネルギー・気候、健康、e コマースの10 の分野を網羅しています。
• タスクの性質:
  • QA タスク: 特定の質問に対する回答の生成（例：統計値の計算）。
  • アクションベースタスク: 分析後のアクション実行（例：Reddit への投稿、データのダウンロードと保存）。
  • 属性: 単一ホップ/マルチホップ、構造化/非構造化データ、ツール使用（Python, SQL など）、マルチサイト間移動など、多様な属性をラベル付けしています。
• 難易度: 易しい（単一サイト、単純検索）、中程度（単一サイトだが複雑）、難しい（マルチサイト、非構造化データ、ツール使用の組み合わせ）の 3 段階に分類されます。

2.2 評価プロトコル（2 つのトラック）

再現性と現実性の両立を図るため、2 つの評価トラックを提供しています。

1. WebDS-live: 実際のライブウェブサイト上でエージェントを評価。ページレイアウトの変化やデータ更新などの現実的な課題を反映しますが、再現性に課題があります。
2. WebDS-dockerized: 特定の時点でのウェブサイト状態を Docker コンテナに保存し、完全に再現可能な環境を提供。科学的な厳密性と長期にわたるベンチマーク比較を可能にします。

2.3 評価指標

従来のバイナリ（成功/失敗）評価に加え、以下の多角的な評価を導入しています。

• 自動評価: 事実確認タスクに対して、正解との一致を判定。
• LLM ジャッジによる主観評価: 全タスクの軌跡（Observation-Action の連鎖）を分析し、1〜5 点のスコアと失敗理由を付与。
• 人間ベースライン: データサイエンス経験を持つ人間が同条件でタスクを実行し、エージェントとの性能差を測定。

3. 主要な貢献

1. 包括的なタスクスイートの導入: 構造化・非構造化データ、マルチホップ推論、ツール使用、マルチサイト間移動をすべて含む、これまでにない規模と多様性を持つ 870 タスクのベンチマーク。
2. 現実的なエンドツーエンド評価: データの収集、分析、可視化、レポート生成までの完全なデータサイエンスパイプラインを評価する初のベンチマーク。
3. 再現性と詳細な分析: Docker 化された環境による完全な再現性と、タスク属性ごとの微細な失敗分析（Groundedness, Query Interpretation など）を可能にする評価フレームワーク。

4. 実験結果

4.1 エージェントの性能

既存の SOTA モデルは、WebDS において極めて低い性能を示しました。

• BrowserUse (GPT-4o): WebVoyager では 80% 以上の成功率を達成しましたが、WebDS では**12.9%**に激減しました。
• AgentOccam: WebArena では 45.7% でしたが、WebDS では**4.8%**でした。
• モデル容量の限界: GPT-4o と GPT-4o-mini、Qwen2.5-72B などのモデル間での性能差は小さく、単なるモデルのスケールアップだけでは解決しない課題であることを示唆しています。
• 人間とのギャップ: 人間のベースラインは90%の成功率を達成し、エージェントとの間に75% 以上の大きな性能差が存在することが確認されました。

4.2 失敗要因の分析

主要な失敗モードは以下の通りです（Table 6, 8.8 参照）：

1. Groundedness (40.2%): 正しい情報源にアクセスできても、その内容を正しく読み取れなかったり、ハルシネーションを起こしたりする（例：グラフの数値を読み間違える）。
2. Query Interpretation (28.8%): ユーザーの意図を誤解し、定量的な回答が必要な場面で定性的な説明をしたり、タスクの一部しか実行しなかったりする。
3. Effort Allocation (12.6%): 難易度の高いサブタスクで早期に諦め、信頼性の低い代替手段（例：Google 検索）に頼ってしまう。
4. Failed Repetition (6.4%): UI のフィードバックを無視し、失敗した操作を繰り返すループに陥る。

5. 意義と結論

WebDSは、現在の AI エージェントが「ウェブを閲覧する」ことと「データサイエンスを行う」ことの両方を統合的に遂行する能力において、まだ人間には遠く及んでいないことを浮き彫りにしました。

• 研究への示唆: 単にモデルの能力を向上させるだけでなく、情報のグラウンディング（根拠の確立）、長期的なタスク管理、UI 状態の理解とフィードバック処理、そしてツール使用の戦略的配分といった、制御と推論の統合が重要であることを示しています。
• 将来の展望: WebDS は、実用的で信頼性の高いウェブベースのデータサイエンスエージェントを開発するための堅牢なテストベッドを提供します。今後の研究は、より多様なアクションベースタスクや、OS レベルのタスクへの拡張が期待されます。

本論文は、LLM エージェントが現実世界の複雑なデータ分析タスクに真に適用可能になるための重要なマイルストーンであり、コミュニティに対して新たな挑戦と発展の方向性を提示しています。