Evaluating Bivariate Causal Statements Based on Mutual Compatibility

技術要約：相互適合性に基づく二変量因果言明の評価

問題提起
医学や経済学などの多くの実世界領域において、実験を通じて因果的な真実（グラウンド・トゥルース）を確立することは、しばしば不可能であったり、極めて高価であったりする。その結果、因果推論は専門家の知識や、ますます増加している大規模言語モデル（LLM）の出力に大きく依存している。これらのソースは通常、完全な多変量因果グラフではなく、二変量因果言明（ペアごとの原因と結果の関係）を提供する。人間やLLMにとって、ペアごとの関係を評価することは容易であるが、これらの言明を一つの整合性のあるグローバルなモデルへと集約することは困難である。グラウンド・トゥルースがない状態で因果的主張を評価するための既存の手法は、データへの整合性や特定の発見アルゴリズムに依存することが多い。本論文は、グラウンド・トゥルースが存在しない場合に、二変量因果言明の集合の信頼性をどのように評価するかという根本的な問い、具体的にはそれらの「相互適合性」を評価する方法に取り組むものである。

手法
著者らは、提供される情報の性質（定量的か定性的か）に応じて、二変量因果言明を評価するための2つの異なるフレームワークを提案している。

1. 線形二変量因果言明の適合性
このアプローチは、線形係数（$\alpha_{ij}$）を介して全ペアの因果効果を定量化する言明を対象とする。

• 理論的基礎: 著者らは、非巡回的な線形二変量言明のリストに対しては、与えられた言明と二変量周辺分布が正確に一致する一意の多変量線形構造方程式モデル（SEM）が存在することを証明している。一意のモデルが常に存在するため、従来の「ハード」な適合性制約（非巡回性以外）は適用されない。
• 交絡の仮定（The Confounding Postulate）: 妥当性を評価するために、著者らは次のような仮定を導入している。「一般的な多変量因果モデルは、その二変量周辺モデルよりも多くの交絡を示してはならない」。直感的には、多変量モデルを周辺化すると観測される因果経路が減少するため、周辺モデルにおける未観測の交絡が増加するというものである。もし、誘導された多変量モデルが、周辺モデルよりも少ない交絡を用いてデータを説明する必要があるならば、それは特定の、起こりにくい因果経路の相殺（仮定への違反）を意味する。
• スコアリング機構:
  • 交絡の尺度: 観測された因果経路によって説明されない共分散の二乗残差に基づいた交絡スコアを定義する。二変量モデルの場合、これは $(\Sigma_{ij} - \alpha_{ij}\Sigma_{ii})^2$ である。多変量モデルの場合、これはすべての方向性のあるパスと完全に観測されたバックドア・パスを考慮した後の二乗残差である。
  • 適合性スコア: 二変量間の交絡と多変量の交絡の差の総和として定義される：
    $$\text{comp}(\Sigma, A) = \sum_{i<j} (C^{\text{biv}}_{ij} - C^{\text{mult}}_{ij})$$
  • 解釈: 負のスコアは交絡の仮定への違反を示し、言明を反証するための証拠となる。正のスコアは正当性を保証するものではないが、言明が妥当なモデルを誘導していることを示す。
• 理論的保証: 本論文では、不偏性とメカニズムの独立性を満たすランダムな因果モデルに対して、期待適合性スコアが正であることを証明している。また、経験的な推定値が多項式的なサンプル複雑度で真のスコアに収束することを示す有限サンプル集中不等式も提供している。

2. グラフ的二変量因果言明の不適合性
このアプローチは、因果効果の存在/不在および交絡を、非巡回的有向混合グラフ（ADMG）としてモデル化した定性的言明を対象とする。

• グラフ的適合性: 忠実性（faithfulness）の仮定の下では、二変量ADMGの集合は、それらが単一のグローバルなADMGの周辺化である場合にのみ適合する。これには以下の3つの条件が必要である：
  1. 結合グラフの有向部分が非巡回であること。
  2. 有向部分が推移的に閉じていること。
  3. 2つのノード間に交絡パスが存在する場合、それらの間に双方向エッジが存在すること。
• 不適合性スコア: 最も近い適合グラフを見つけることはNP困難（Acyclic Transitivity Editing問題に関連）であるため、著者らは、3つの条件を満たすために必要な最小のエッジ編集（追加・削除）を近似するヒューリスティック・アルゴリズムを提案している。スコアは、以下の条件を満たすために必要な編集の合計である：
  1. サイクルを断ち切る（フィードバック・アーク集合）。
  2. 推移的閉包を強制する。
  3. 交絡パスの閉包特性を強制する。
• 特性: このヒューリスティック・スコアは、真の不適合性の上界となる。スコアがゼロであれば、言明は完全に適合している。スコアが大きい場合は、重大な不整合を示している。

主な結果

• 合成実験:
  • 線形ケース: 適合性スコアは、正しい言明と誤った言明を正常に判別している。真の係数にノイズ（エラー）が加えられるにつれ、正のスコアを持つ言明の割合が減少する。スコアは隠れた変数に対して頑健であり、観測変数の数やモデルの密度が増えるにつれて改善する。
  • グラフ的ケース: 不適合性スコアは、合成グラフに注入されたエラーの数に対して単調に増加する。疎なグラフでは、真のエラー数を密に近似し、密なグラフでは信頼できる上界として機能する。
• LLMによる評価:
  • 著者らは、様々なLLM（Claude, GPT, Gemma, Qwenなど）が生成した社会経済指標（人口密度、識字率、所得など）に関する因果的主張にこれらの手法を適用した。
  • 線形の結果: 適合性スコアはモデル間で大きく異なり、容量の大きいモデルほど、一般に高い（より妥当な）スコアを得る傾向があった。多くのLLMは負のスコアを受け取り、生成された言明が内部的に矛盾していることが示された。
  • グラフ的結果: ほとんどのLLMの出力は、ゼロではない不適合性スコアをもたらした。興味深いことに、低スコアのモデルの中には、極めて密なグラフ（至る所に交絡があると主張する）を生成するものがあり、これらは適合条件を形式的に満たしてはいるものの、情報量に欠けていた。情報量の多いグラフ（エッジ密度が低いもの）に絞り込むと、不適合性スコアの低さとモデルの容量の高さとの間に相関が見られた。

意義と主張
本論文は、グラウンド・トゥルースが存在しない状況において、人間やAIから得られる因果情報の信頼性を評価するための基礎的な手法を提供すると主張している。

• 反証 vs 検証: 著者らは、これらの手法が主に「反証」のためのツールであることを強調している。負の適合性スコアまたは高い不適合性スコアは、一連の言明が誤っているか、あるいは矛盾しているという証拠となる。正のスコアは正当性を証明するものではないが、相互の妥当性に関する「サニティ・チェック（妥当性確認）」を通過したことを示す。
• 忠実性からの独立性（線形ケース）: 線形フレームワークの主要な貢献は、実務でしばしば破綻する「忠実性」の仮定に依存せずに言明を評価できる点にある。
• 実用的応用: 本研究は、これらの指標が異なるLLM間の因果推論の質を区別できることを示しており、事後学習のフィルタリング、検証パイプライン、またはAI生成の因果的主張の自動評価への有用性を示唆している。

著者らは、高いスコアが真実を保証するわけではないことを認めつつ、謙虚な姿勢を保っており、今後の課題として、不完全な言明のリストへの拡張や、少数の変数サブセットに対する言明の組み込みを挙げている。