テクニカル・サマリー：DataSpace: 異種混合ワークスペースにおける検証可能なアナリティクスのためのデータエージェントのベンチマーク

1. 問題提起

データエージェントは、組織のデータに対する自然言語インターフェースとして台頭していますが、現実的な分析設定は複雑な課題を提示しています。すなわち、クエリに答えるために必要なエビデンスは、単一のクリーンなテーブル内に収まっていることは稀であるという点です。代わりに、情報はリレーショナルデータベース、構造化/半構造化ファイル（CSV、JSON）、長文ドキュメント（PDF、Markdown）、およびマルチメディア・アーティファクト（ビデオ）に分散しており、多くの場合、言語間の差異も伴います。

既存のベンチマークは、現実的なデータ分析における3つの重要な特性を統合できていません：

1. ワークスペースの範囲（Workspace Scope）: これらは、構造化クエリ（例：Spider）または非構造化検索（例：HotpotQA）を孤立させており、タスクローカルなワークスペース内で異種混合のモダリティにわたってエビデンスを発見し、統合するタスクを捉えることに失敗しています。
2. 出力契約（Output Contract）: 多くのベンチマークは、ファクトイド（事実に基づく単一回答）やオープンエンドなレポート、あるいは実行可能なパイプラインを受け入れます。しかし、現実世界のアナリティクスでは、直接消費可能な完全で型定義された表形式の結果が求められます。
3. 評価セマンティクス（Evaluation Semantics）: 現在の評価は、モデルベースのジャッジに依存しているか、あるいは等価な表現（例：列の順序の違い、ヘッダーの表記、数値の精度など）を決定論的に扱うことができていません。

本論文は、異種混合かつクロスランゲージなワークスペースにわたって、完全な表形式の出力契約を強制する統一されたベンチマークなしでは、データエージェントの信頼性の進歩を正確に測定することはできないと主張しています。

2. メソドロジー

2.1 DataSpace ベンチマーク

DataSpace は、410件のクロスランゲージ・タスクと、合計15.01 GBに及ぶ7,439個のアーティファクトで構成されるベンチマークです。

• モダリティ: ワークスペースには、CSV、JSON、SQLite、Markdown、PDF、ビデオが含まれます。
• 言語: タスクは、質問とワークスペースのアーティファクトが中国語と英語を混在させるクロスランゲージのシナリオを含みます。
• タスク定式化: エージェントは自然言語による質問とタスクローカルなワークスペースを受け取ります。エージェントは自律的にソースを発見し、エンティティ/スキーマを整列させ、多段階の計算（フィルタリング、結合、集計）を実行し、要求された完全な表形式の結果をCSVファイルとして返さなければなりません。
• ドメイン: 金融アナリティクス（ファンド、株式）、マクロ経済データ、およびヘルスケア・アナリティクス。

2.2 DataSpace-Builder: 構築フレームワーク

これらの複雑なタスクを確実に構築するために、著者らは、既存のText-to-SQLベンチマーク（EHRSQLおよびBULL）から異種混合のワークスペース・タスクへと変換する、実行に基づいたフレームワークであるDataSpace-Builderを提案しています。プロセスは以下の4つのステージで構成されます。

1. クロスランゲージ変換 (CLT): 質問、データベースの状態、および実行可能なSQLの共同移行を行います。識別子とコードを保持しながら、エンティティ名と値を翻訳することで、参照の一貫性を確保します。LLMジャッジが、翻訳された質問とSQLの間の意味的な整合性を検証します。
2. 制約を考慮したリレーショナル・サンプリング: ワークスペースの重複を避けるため、フレームワークはソースデータベースから行をサンプリングしますが、完全なスキーマは保持します。リレーショナルな整合性（例：結合パスの保持）を確保するために、セーフガードセット（主キー/外部キー、クエリ述語）を使用します。
3. モダリティ・ルーティングとアーティファクト・レンダリング:
   • ベース・ルーティング: スキーマの特性に基づいて、テーブルをレンダラー（CSV、JSON、SQLite、Markdown、PDF）に割り当てます。
   • ドキュメント・レンダリング: テーブルデータから長文ドキュメント（Markdown/PDF）を生成します。この際、特定のセルがテキストから復元可能であることを保証する「ファクトに基づいた（fact-grounded）」生成を行います。
   • ビデオ・レンダリング: 表形式データをデータ・インサイト・ビデオに変換します。これには、述語抽象化（フィルタ条件をビデオのナレーションに移動させる）と、回答・エビデンス・レンダリング（結果のセルをビデオの各シーンに分散させる）の2つの戦略が用いられます。
4. ヒューマン・レビューとタスク修復: 11名のドメイン専門家によるパネルが、ブラインドかつ独立したレビューを行います。彼らはタスクを解き、ゴールドスタンダードを検証し、評価設定を作成します。不一致が生じた場合は、質問、ワークスペース、またはゴールド回答に対してエビデンスに基づいた修復が行われます。

2.3 決定論的エバリュエーター

評価プロトコルはモデルフリーであり、ヘッダー不変です。

• 列の整列: エバリュエーターは、ヘッダーの文言や順序に関わらず、予測された列と参照列の間の一対一のマッピングを見つけ出します。
• 正規化: 値は、意味的型（テキスト、数値、日付、ブール値）および精度のルール（小数点以下、パーセンテージの慣習など）に基づいて正規化されます。
• 行の比較: 順序を必要とするタスクはシーケンスとして比較され、それ以外は順序なしのマルチセットとして比較されます。
• スコアリング: 予測された完全な表形式が、これらのセマンティクス下で参照と一致する場合のみ、タスクは正解とされます。

3. 主な貢献

1. 異種混合ワークスペースのベンチマーク: DataSpaceは、構造化ファイル、データベース、長文ドキュメント、およびビデオを単一の検証可能な表形式の出力へと合成することを要求する410のタスクを導入します。
2. 実行に基づいた構築フレームワーク: DataSpace-Builderは、実行可能なText-to-SQLリソースを複雑なマルチモーダル・タスクへと変換し、サンプリングのセーフガードと専門家のレビューを通じてデータの整合性を確保します。
3. セマンティクスを考慮したエバリュエーター: 列の再順序付けなどの等価な表現を許容しつつ、不完全または誤った出力を拒絶する決定論的なプロトコルを提供し、LLMジャッジへの依存を排除します。
4. 経験的ベースライン: 本論文は、6つの最先端マルチモーダルモデルと5つのエージェント・ハーネスにわたるパフォーマンス・ベースラインを確立し、現在のエージェント能力における特定のボトルネックを特定しています。

4. 実験結果

著者らは、6つのマルチモーダル・バックボーン（Grok 4.5, GPT-5.6 Sol, Kimi K3, MiMo-V2.5, Claude Sonnet 5, MiniMax M3）と5つのエージェント・ハーネス（独自のDataSpace-Agentを含む）を評価しました。

• 全体的なパフォーマンス: 最良の構成（Grok 4.5 と DataSpace-Agent の組み合わせ）は 66.34% の精度を達成しました。これは、76のタスクが6つのバックボーンすべてによって解かれなかった一方で、56のタスクはすべてのモデルによって解かれたことから、このベンチマークが**未飽和（unsaturated）**であることを示しています。
• ハーネスの影響: エージェント・ハーネスの選択はパフォーマンスに大きく影響します。MiMo-V2.5 バックボーンを固定した場合、精度は異なるハーネス間で 15.36 パーセントポイント 変動しました（30.98% から 46.34% まで）。
• 主な課題:
  • マルチモーダル統合: マルチモーダルなエビデンスを必要とするタスクは、シングルモーダルなタスクと比較して、すべてのバックボーンにおいて精度を 1.8～14.0 ポイント低下させました。
  • 結合（Joins）: 結合操作は、精度を 9.7～19.8 ポイント低下させました。
  • 効率性: GPT-5.6 Sol は、トップパフォーマーである Grok 4.5 よりもトークン数を 74.2% 少なく、アクション数を 50.3% 少なく抑えながら、トップに近い精度（64.63%）を達成しました。
• 失敗分析: Grok 4.5 の136件の失敗に対する監査の結果、エラーの 52.2% は、正しい内部結果が計算された後の回答の具体化（answer materialization）（例：列や行の追加または欠落）に起因していました。エビデンスの発見や抽出に起因するものは極めて少なく、「提出なし」となった13件のケースのうち、純粋な終了失敗は5件のみであり、ほとんどはそれ以前の持続的なエラーに起因していました。

5. 重要性と主張

本論文は、DataSpace が信頼性の高いデータエージェントを進展させるための厳格なテストベッドを確立すると主張しています。その主要な意義は、評価のパラダイムを、孤立したスキル（例：SQL生成やドキュメント検索）から、厳格で検証可能な出力契約を伴うエンドツーエンドのワークスペース解決へと移行させた点にあります。

著者らは、最先端のモデルは有望ではあるものの、クロスモダリティの統合と**結合（Joins）において大きなギャップが残っていると控えめに結論付けています。このベンチマークは、データを「見つける」能力だけでは不十分であることを浮き彫りにしています。エージェントは、要求された正確な出力構造を忠実に具体化（materialize）**できなければなりません。結果は、データエージェントの信頼性を向上させるためには、推論能力だけに焦点を当てるのではなく、異種混合のエビデンス発見から精密な表形式のシリアライゼーションに至るまでのフルパイプラインに対処する必要があることを示唆しています。

DataSpace は、KDD Cup 2026 「Complex Data AnalysisのためのData Agents」コンペティションの公式評価ベンチマークとして機能し、この領域における将来の研究のための標準化され再現可能な環境を提供します。