技術概要：CausaLab

問題提起

因果推論における大規模言語モデル（LLM）の現在の評価は、モデルが既存の因果グラフ、データセット、または物語に基づいて質問に答える静的なベンチマークに依存することが多い。著者らは、これらのベンチマークが、真の因果推論と、モデルがメカニズムを発見するのではなく、記憶された因果事実や言語的合図を想起することで成功する「因果のオウム返し（causal parrot）」現象との区別を失敗していると主張する。さらに、既存のインタラクティブなベンチマークは、エージェントが結果を予測できるか、またはグラフ構造を回復できるかのみを焦点とし、エージェントの基礎となる構造方程式に関する内部仮説が正しいかどうかを検証していない。エージェントがゼロから因果メカニズムをインタラクティブに発見し、その内部モデルが新しい未視のインスタンスに転移することを検証できる環境が必要である。

手法：CausaLab 環境

本論文は、LLM エージェントを因果発見者として評価するために設計された、スケーラブルでインタラクティブな環境「CausaLab」を導入する。この環境は、以下の主要コンポーネントに基づいて構築されている。

1. 課題の定式化

CausaLab の各エピソードは、隠れた**構造因果モデル（SCM）**によって支配される転移課題である。SCM は以下の構成要素からなる：

• 物理的性質上の有向非巡回グラフ（DAG）。
• 変数が互いにどのように影響し合うかを定義する構造方程式（線形または二次）。
• 係数と外生ノイズ項。

エージェントは、同じ隠れた SCM によって支配されるが、異なる性質値を持つ 3 つの異なるエンティティに提示される：

1. 事前測定記録： 観測データのバッチ。
2. 操作クリスタル： エージェントが非周波数性質のサブセットに対して介入を実行できる制御可能なインスタンス。
3. 反応炉クリスタル： エージェントが直接介入することなく、観測された性質に基づいて共鳴周波数を予測しなければならない、保持された（held-out）インスタンス。

エージェントは、介入の有限な予算の下で動作する。エージェントは、因果グラフと構造方程式を推論し、反応炉クリスタルの周波数を予測しなければならない。

2. 相互作用ループ

エージェントは仮説 - 実験ループに従って関与する：

• 観測： エージェントは事前記録と、操作クリスタルに対する自身の介入の結果を観測する。
• 介入： エージェントは制御可能な性質（例：温度を特定の値に設定する）に介入することを選択する。環境は、do(X=v) 操作ではなく、構造方程式の基底項を変更しつつ親の寄与を保持するシフト型介入を適用する。
• 仮説生成： 各ステップにおいて、エージェントは**ドメイン固有言語（DSL）**記録を出力する。この記録には以下が含まれる：
  • メモリ： 永続的なメモ。
  • 思考： 証拠の解釈。
  • 過去のデータ： 蓄積された観測値。
  • 仮説： 現在の因果グラフ、周波数に関する構造方程式、および係数を含む構造化された主張。
  • 実験： 計画された次の介入。

3. 評価指標

CausaLab はタスクの成功とメカニズムの回復を分離する：

• タスク精度： エージェントが保持された反応炉クリスタルの周波数を正しく予測した割合。
• メカニズム忠実度： エージェントの DSL 仮説を構文解析し、グラウンドトゥルースの SCM と比較する。比較には以下を用いる：
  • グラフ指標：精度、再現率、F1 スコア、および構造ハミング距離（SHD）。
  • 定量的指標：係数 F1（構造方程式の重みの精度）。
  • 根の特定：外生変数を正しく特定すること。

主要な貢献

1. スケーラブルなインタラクティブベンチマーク： CausaLab は、静的な QA を超え、エピソードごとにグラウンドトゥルースの SCM がサンプリングされ、記憶を防止する、動的で予算制約のある発見設定へと移行する。
2. 予測と理解の分離： 軌道レベルの DSL 仮説をグラウンドトゥルースと比較してスコアリングすることで、このベンチマークは、高いタスク精度が必ずしも正しい因果理解を意味しないことを明らかにする。
3. 監査のためのドメイン固有言語（DSL）： パース可能な DSL の使用により、エージェントの進化中の仮説を詳細に検査でき、モデルをデータに対して検証する前に探索を停止する「早期のコミットメント」の検出を可能にする。
4. 相互作用戦略の体系的分析： このフレームワークは、純粋な観測、純粋な介入、および混合戦略の比較、ならびにオフライン対オンラインの介入選択を支援する。

実験結果

著者らは、3〜7 ノードのグラフにおいて、GPT-5-mini、GPT-5.2-high、および Qwen3.5（思考トレースあり・なし）を含むモデルを評価した。

• 予測とメカニズムのギャップ： タスク精度とメカニズム回復の間には持続的なギャップが存在する。例えば、6 ノードの純粋な観測設定において、GPT-5.2-high は92% のタスク精度を達成したが、全エッジの F1 スコアは0.471に留まった。エージェントはしばしば妥当な親を見つけるが、正しい定量的方程式を回復することに失敗する。
• 相互作用戦略：
  • 混合観測 - 介入： この regime が最良のバランスを提供した。6 ノードの混合設定において、GPT-5.2-high はタスク精度と全エッジ F1 の両方で**80%**を達成した。
  • 純粋な観測： 高い精度（92%）だが、グラフ回復は不良（F1 0.47）。
  • 純粋な介入： 両軸において性能が低く、介入が有効になる前に仮説空間を狭めるために観測データが必要であることを示唆する。
  • オフライン対オンライン： 「ゴールデン」（最適）な介入トレースを注入するとタスク精度は向上する（例：4 ノードグラフで 90%）が、グラフ回復は低下した。これは、介入を選択することが単に介入データを受け取ることとは異なることを示している。
• モデルのスケーリング：
  • GPT-5.2-high は、特にエンドポイント精度と周波数重み付き F1 において、より小さなモデルを上回った。
  • しかし、スケーリングはすべての問題を均一に解決したわけではない。7 ノードグラフでは性能が大幅に低下した（精度 64%、SHD 4.761）。
  • 「思考」トレースは一般的に Qwen モデルの構造回復を改善したが、最強の GPT モデルとのギャップを埋めることはできなかった。
• 失敗モード： 失敗の主要な原因は早期停止である。成功した実行でも失敗した実行でも、介入予算の半分が未使用のまま残ることが多かった。失敗した実行は、頻繁に収集したデータと矛盾する仮説で終了した。単一の明示的な検証ステップ（データとの仮説の一貫性を確認する）により、4 ノードの精度は 48% から 60% に向上した。

意義と主張

本論文は、CausaLab を、現在のエージェントが実世界の科学的展開の準備ができているという主張ではなく、インタラクティブな因果発見のための「制御されたストレステスト」として位置づけている。その意義は以下の点にある：

• 限界の露呈： 現在の LLM エージェントは、結果を正確に予測できる場合であっても、未知の環境を探求し、候補メカニズムをテストし、因果的な規則性に向けて仮説を修正することに苦労していることを示す。
• 評価の洗練： 因果推論の評価には、予測の成功を構造的および定量的な忠実度から分離する必要があると主張する。
• 将来のエージェントへの指針： この知見は、将来の AI 科学者には、誤ったモデルへの早期のコミットメントを避けるために、有益な介入を設計するためのより良い戦略と、自己検証のメカニズムが必要であることを示唆している。

著者らは明示的に、このベンチマークが限られた関数形式とシフト型介入を用いた合成の 3〜7 ノード SCM を使用しているため、結果を高リスクの実世界設定に過度に一般化すべきではないと述べている。