技術要約：CausalDS – データサイエンス・エージェントにおける因果推論のベンチマーク

1. 問題提起

大規模言語モデル（LLM）のデータサイエンスおよび因果推論に関する現在のベンチマークは、現実世界の因果分析の複雑さを捉えきれない断片化という問題を抱えている。既存の評価手法は、通常、特定の能力を孤立させている：

• データサイエンス・ベンチマーク（例：DS-1000、MLE-bench）は、コーディング、ツール利用、およびオープンエンドな分析を強調しているが、隠された原理的な因果生成構造を欠いている。
• 因果推論ベンチマーク（例：CLadder、CausalGraph2LLM）は、記号的なグラフ推論、介入、および反事実論理をテストしているが、多くの場合、純粋に記号的なレベルで動作するか、あるいは既存の文献から精選された例を使用している。

この分離により、モデルが真の構造に敏感な推論を行うのではなく、「償却された因果推論（既存のデータセットからパターンを暗記すること）」に依存してしまうというギャップが生じる。これは「因果的オウム（causal parrot）」と呼ばれる失敗モードである。さらに、現実的な因果データサイエンスには、エージェントが単に因果的な問いに答えるだけでなく、ドメイン記述を解釈し、観測データを検査し、識別可能性を判断し、量を推定し、不確実性を定量化し、そして問いが答え不可能であることを認識する（棄権）能力が求められる。既存のベンチマークでは、記号的推論、データサイエンスの実行、不確実性の定量化、認識論的な棄権、およびツール利用を、単一の合成的でありながら現実的なフレームワーク内で統合的に評価できていない。

2. メソドロジー：CausalDSフレームワーク

CausalDSは、合成的な因果データサイエンス・シーンをベンチマークの単位として生成することで、このギャップに対処する。各シーンは、隠された構造的因果モデル（SCM）、自然言語によるストーリー、表形式の観測データ、およびパール（Pearl）の3段階の階層にわたる一連のタスクで構成される。

2.1 シーン生成パイプライン

生成プロセスは、グラウンドトゥルース（正解）が既知であることを保証しつつ、物語としての整合性を維持するために、厳格なパイプラインに従う：

1. グラフサンプリング： 有向非巡回グラフ（DAG）を標準的なモチーフ（連鎖、フォーク、コンファウンダー、コライダーなど）からサンプリングし、「アンカーベースのグラフト（接ぎ木）」を通じて拡張できる。これにより、物語の流れを維持しながら複雑さを増すことができる。
2. SCMのインスタンス化： 各グラフは、経験的な生化学的/ブール論理ルールと合成的なレジームを混合したレジストリから引き出された、型付きメカニズム・プロファイルを用いた構造的因果モデル（SCM）を用いてインスタンス化される。
3. 観測レイヤー： 重要な設計上の選択として、概念的なSCMとエージェントに提供されるデータとを区別する。概念的な変数は、ノイズを含む測定値の束（プロキシ）に置き換えられることがある。このレイヤーは、因果的な識別可能性の状態を変えることなく、データ分析の難易度を高める。
4. 言語化： 抽象的なノードは、ドメインに関連する変数名（CauseNetからシードを得ることも可能）にマッピングされ、生成された自然言語のストーリーが、隠されたグラフを忠実に反映し、「偶発的なエッジ」を導入していないことを確認するために監査を受ける。
5. タスクの導出： 各シーンから、第1段階（関連・予測）、第2段階（介入・識別・推定）、第3段階（反事実）の全領域にわたるタスクが導出される。

2.2 評価ハーネス

エージェントは、サンドボックス環境（mini-swe-agentを使用）内で相互作用し、以下の操作を行う必要がある：

• 提供されたファイル（ストーリー、データスキーマ、観測データ）を読み取る。
• 分析を実行するためのコード（Python/bash）を実行する。
• 特定の形式で回答ファイルを作成する。
• 不完全な観測を扱い、対象が非識別的な場合には棄権することを決定する。

2.3 スコアリングと指標

評価は完全に決定論的であり、5つの異なる軸をスコア化する：

• 記号的因果推論： グラフの復元および識別ロジック。
• データサイエンスの実行： 推定値および予測の正確性。
• 不確実性の定量化： 信頼区間の較正（キャリブレーション）。
• 認識論的な棄権： 非識別的なクエリを正しく識別し、回答を拒否すること。
• ツール利用/効率性： トークン使用量およびツール呼び出し回数。

複合スコア（CausalDSScore）は、内容のエラーと、非識別的なタスクに対する棄権の失敗の両方にペナルティを課しながら、パフォーマンスを集計する。

3. 主な貢献

• SCMに基づいた合成シーン： 隠されたSCMを生成し、観測データを合成し、評価のためのプライベートなグラウンドトゥルースを計算する最初のベンチマークである。また、構成軸（変数タイプ、グラフ構造）を実世界のデータセットの経験的分布に紐付けることで、リアリズムを確保している。
• グラフに忠実な自由形式の言語化： 抽象的なグラフノードを一貫したドメイン変数にマッピングし、自然言語のストーリーを生成するパイプライン。これは、物語が基礎となる因果構造から逸脱しないよう監査されている。
• 分離された観測レイヤー： 因果的な識別可能性を変えることなく、データサイエンスの難易度（ノイズを含むプロキシ経由）を変化させるメカニズム。これにより、因果的な問いを変えることなく、推定スキルをテストできる。
• 広範なタスクスイート： 予測、関連、グラフ復元、識別、効果推定、バイアス診断、および反事実推論を含む、パールの階層の全3段階を網羅する包括的なタスク群。
• 棄権を考慮した決定論的評価： 非識別的な推定対象に対する棄眠（棄権）を第一級の成果として扱うスコアリングシステム。これにより、答えられない問いに対して回答を捏造（ハルシネーション）するモデルに報酬が与えられることを防ぐ。

4. 実験結果

著者らは、6つのモデル（3つの最先端のクローズドモデル：Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5、および3つのオープンウェイトモデル：Qwen 3.6 35B, Kimi K2.6, Gemma 4 26B）を、100シーンの現実的な構成の試験で評価した。

• パフォーマンスの解離： 5つの評価軸は、単一の能力へと収束することはない。モデル間では、内容の正確性、不確実性の定量化、棄眠の認識、およびツール利用の効率性において顕著な差が見られた。
• リーダーボード： Claude Opus 4.8 が最高の総合 CausalDSScore (0.278) を達成し、通過率、正規化誤差、および信号対雑音比（SNR）においてリードした。同モデルは、強力な棄眠性能を維持しつつ、バイナリタスクにおいて完全な内容の正確性（100%）を達成した唯一のモデルであった。
• 差別化要因としての棄眠： 非識別的なクエリを認識する能力は、大きな差別化要因となった。最先端モデル（特にGPT-5.5とClaude）は、オープンウェイトモデル（Gemma 4 26Bの18.8%と比較して）よりも有意に高い棄眠通過率（最大75%）を示した。
• 不確実性の定量化： すべてのモデルが過信傾向を示した。公称95% ATE区間の経験的被覆率は、20.0%から71.4%の間に崩壊しており、Claude Opus 4.8が最も優れた71.4%を示した。
• ツール利用と効率性： 最先端モデル（Claude, GPT-5.5）は、「ほぼワンショット」の戦略を用い、ツール呼び出し回数が少なく（タスクあたり2.1〜3.4回）、トークン使用量も少なかった。一方、オープンウェイトモデルは頻繁に反復を行い（タスクあたり11〜18回）、大幅に多くのトークンを消費した。
• 観測の困難度： 最も困難な観測バリアント（ノイズを含むプロキシ）の下では、パフォーマンスが低下した。特にオープンウェイトモデルにおいて顕著であり、GPT-5.5は連続的な推定の較正において最大の低下（平均正規化誤差が3.10まで上昇）を示したが、Claude Opus 4.8は制御された誤差を維持した。

5. 意義と主張

本論文は、記号的推論、定量的推定、およびエージェント的なツール利用を単一の現実的な設定に統合することで、CausalDSがベンチマークの必要な進化を提供すると主張している。主要な経験的知見は、因果データサイエンスの能力は分解されるということである。すなわち、モデルは個別の部分（構造の読み取り、推定値の生成）には精通していても、全体（推定の質や、そもそも回答が許容されるかどうか）については失敗する場合がある。

著者らは、有能な因果データサイエンス・エージェントは、これら5つの軸すべてを同時にクリアしなければならないと断言している。このベンチマークは、現在の最先端モデルがこの能力に近づいていることを露呈しており、Claude Opus 4.8が「バランスの取れた因果データサイエンス・エージェント」に最も近い存在として浮上している一方で、オープンウェイトモデルや小規模なモデルは、認識論的な軸（棄眠および不確実性）とツール利用の効率性において大きく苦戦していることを示している。この研究は、「いつ棄眠すべきかを知ること」が、ハルシネーションを起こしやすいエージェントと、堅牢なエージェントを区別する、別の高度なスキルであることを強調している。