Benchmarking AI Performance on End-to-End Data Science Projects

以下は、Evelyn Hughes と Rohan Alexander によって執筆された論文「Benchmarking AI Performance on End-to-End Data Science Projects」の技術的な詳細な要約です。

1. 研究の背景と課題 (Problem)

データサイエンスは、単なるコード記述や統計分析ではなく、問いの定式化、データ収集、前処理、分析、可視化、そしてコミュニケーションや倫理的判断を含む統合的なワークフローです。しかし、現在の AI モデルの評価ベンチマークの多くは、コード生成（HumanEval など）や特定の統計タスクに焦点を当てており、エンドツーエンド（最初から最後まで）のデータサイエンスプロジェクトを評価するものは不足しています。
現実世界のデータサイエンスでは、明示的な指示がない状況での判断力や、文脈に応じたコミュニケーション能力が不可欠ですが、既存のベンチマークはこれらの「判断」や「統合」の側面を十分に捉えきれていません。本研究は、生成 AI が実際のデータサイエンスワークフロー全体を完遂できるかどうかを体系的に評価することを目的としています。

2. 手法 (Methodology)

2.1 ベンチマークの構築

• データセット: トロント大学の学部生が作成した 40 件のデータサイエンスプロジェクトを収集・匿名化しました。
• タスク: 「Open Data Toronto」から任意のデータセットを選択し、Python スクリプトでデータをダウンロード・クリーニング・テストし、可視化を行い、最終的に再現可能なレポート（Quarto ドキュメント）を作成するタスクです。
• 評価基準（ルーブリック）: 2 人の専門家によって、以下の 6 つのカテゴリー、計 17 項目、合計 45 点で評価されました。
  • 再現性 (Reproducibility): コード品質、ドキュメント、テストスイートなど (9 点)
  • プレゼンテーション (Presentation): タイトル、アブストラクト、導入部など (10 点)
  • 分析 (Analysis): 測定方法の説明、データ選択の理由、考察など (10 点)
  • グラフ (Graphs): 可視化の質、キャプション (8 点)
  • 参照 (Referencing): 正しい引用、BibTeX 形式 (4 点)
  • 執筆 (Writing): 禁止語の回避、専門用語の適切な使用 (4 点)
• 基準: 学部生の上位層（A-/B+）の基準点は 80%（36 点）と設定されました。

2.2 自動評価パイプラインの構築

• LLM-as-a-Judge: 人間による評価をスケーラブルに行うため、LLM を裁判官（Judge）として利用する自動評価パイプラインを構築しました。
• 評価モデル: 基盤となる評価モデルには Anthropic の「Claude Sonnet 4.5」を使用し、GPT-5.2 による検証も行いました。
• 評価プロセス: 各プロジェクトを 17 項目ごとに個別に評価し、最終的なスコアを算出します。評価モデルには、各カテゴリの基準、スコアリングの選択肢、およびプロジェクトの該当部分（コード、PDF、BibTeX など）を入力します。
• 検証: 自動評価スコアと人間による評価スコアの相関を確認し、誤差を 10% 以内に収めるようプロンプトと設定を調整しました。

2.3 プロジェクト生成パイプライン

• 対象モデル: 7 つの主要な生成 AI モデル（Claude Opus 4.6, GPT-5.2, Gemini 3 Flash, Grok-4, Gemini 3 Pro, Llama 4, GPT-4o）を評価対象としました。
• 生成プロセス: 各モデルに対して、以下の 9 段階のステップでプロジェクト生成を指示しました（各ステップは別々の API 呼び出し）。
  1. 計画（データセット選択、研究課題の定義）
  2. ダウンロード（データ取得スクリプト作成）
  3. クリーニング（データ前処理スクリプト作成）
  4. テスト（データ整合性チェック用テストスイート作成）
  5. 要件定義（パッケージ管理ファイル作成）
  6. 参考文献（BibTeX ファイル作成）
  7. 図表（可視化コード作成）
  8. 論文執筆（Quarto ドキュメント作成）
  9. README（再現手順のドキュメント作成）

3. 主要な結果 (Key Results)

3.1 全体パフォーマンス

モデル間の性能差は顕著でした。

• Claude Opus 4.6: 平均 85%（38 点）で最高スコア。学部生の上位レベルに達しました。
• GPT-5.2: 82%（37 点）。
• Gemini 3 Flash: 78%（35 点）。
• Grok-4: 70%（31 点）。
• Gemini 3 Pro: 59%（27 点）。
• Llama 4: 51%（23 点）。
• GPT-4o（旧モデル）: 32%（15 点）と著しく低く、多くのカテゴリで 0 点でした。

3.2 タスクタイプによる性能差

• 構造化されたタスク（得意）: タイトル作成、テストスイートの作成、リポジトリ構造の整理など、テンプレートに沿ったタスクでは多くのモデルが良好なスコアを出しました。
• 判断を要するタスク（不得意）:
  • 測定（Measurement）: 現実世界の現象をデータエントリとしてどう定義するかという文脈理解や説明において、多くのモデルが低得点でした。
  • アブストラクト・導入・考察: 短くても多様な情報を凝縮する要約力や、深い洞察に基づく議論において、モデル間の差が広がりました。
  • 引用（Referencing）: 特定の Python パッケージの引用において、BibTeX 形式の破損や「matplotlib2023?」のようなプレースホルダー生成（ハルシネーション）が頻発しました。
  • クロスリファレンス: 技術的な仕様（Quarto 構文）の理解不足により、ゼロ点となるケースも見られました。

4. 主な貢献 (Key Contributions)

1. 初のエンドツーエンドデータサイエンスベンチマーク: 単なるコード生成ではなく、問いの定式化から最終的なレポート作成までの 40 件からなる包括的なベンチマークと評価ルーブリックを公開しました。
2. 自動評価パイプラインの確立: 人間による評価を補完・拡張する、再現性のある LLM ベースの自動評価システムを構築し、その妥当性を検証しました。
3. モデル能力の定量的比較: 最新モデルがルーチンワークでは人間（学部生）と同等のレベルに達しつつある一方で、判断力や文脈理解を要するタスクでは依然として限界があることを実証しました。

5. 意義と結論 (Significance)

• 実用性の限界: 最新の AI モデル（Claude Opus 4.6 など）は、定型化されたデータ分析タスクにおいて、熟練した学部生レベルのパフォーマンスを発揮できます。しかし、「判断」を要する部分（測定方法の定義、適切な引用、深い考察など）では依然として人間の検証が必要です。
• 完全自律のリスク: 現在の技術水準では、データサイエンスプロジェクトへの完全な自律的な AI 導入はリスクを伴います。特に、ハルシネーション（引用の誤りなど）や文脈の欠如は、ビジネス上の意思決定において重大な問題となり得ます。
• 今後の方向性: 特定のドメインに特化したベンチマークの必要性や、人間のガイドラインと AI を組み合わせたハイブリッドなワークフローの重要性が示唆されました。また、モデルの進化に伴い、判断タスクにおける性能向上が期待されますが、現時点では「AI は助手であり、最終的な責任は人間にある」という姿勢が不可欠です。

この研究は、AI が知識労働においてどの程度実用化可能かを示す重要なマイルストーンであり、特にデータサイエンス分野における AI の現状と課題を明確に浮き彫りにしています。