Evaluating Bivariate Causal Statements Based on Mutual Compatibility

技术摘要：基于相互相容性的二元因果陈述评估

问题陈述
在医学和经济学等许多现实领域中，通过实验建立因果真值（ground truth）往往是不可行或成本极高的。因此，因果推断高度依赖于专家知识，或者越来越多地依赖于大语言模型（LLM）的输出。这些来源通常提供二元因果陈述（成对的因果关系），而非完整的多元因果图。虽然人类和 LLM 较容易评估成对的关系，但将这些陈述聚合为一个连贯的全局模型却具有挑战性。现有的在没有真值的情况下评估因果主张的方法，通常依赖于与数据的相一致性或特定的发现算法。本文旨在解决一个基本问题：在没有真值的情况下，如何评估一组二元因果陈述的可靠性，特别是通过评估它们的相互相容性（mutual compatibility）。

方法论
作者提出了两个不同的框架来评估二元因果陈述，具体取决于所提供信息的性质：定量（线性系数）或定性（图形的存在性/方向）。

1. 线性二元因果陈述的相容性
该方法针对通过线性系数 ($\alpha_{ij}$) 量化总成对因果效应的陈述。

• 理论基础： 作者证明，对于任何无环的线性二元陈述列表，都存在唯一的多元线性结构方程模型（SEM），其成对边缘分布与给定的陈述完全匹配。由于唯一的模型总是存在的，因此传统的“硬”相容性约束（除无环性之外）并不适用。
• 混杂假设（The Confounding Postulate）： 为了评估合理性，作者引入了一个假设：一个通用的多元因果模型不应比其二元边缘模型表现出更多的混杂。直觉是，边缘化一个多元模型会减少观察到的因果路径，从而增加边缘模型中的未观测混杂。如果诱导出的多元模型需要比边缘模型更少的混杂来解释数据，则意味着发生了特定的、不太可能的因果路径抵消（违反了该假设）。
• 评分机制：
  • 混杂度量： 他们定义了一个基于无法由观测到的因果路径解释的协方差平方残差的混杂得分。对于二元模型，这是 $(\Sigma_{ij} - \alpha_{ij}\Sigma_{ii})^2$。对于多元模型，这是在考虑所有有向路径和完全观测到的后门路径后的平方残差。
  • 相容性得分： 得分定义为所有成对的二元混杂与多元混杂之差的总和：
    $$\text{comp}(\Sigma, A) = \sum_{i<j} (C^{\text{biv}}_{ij} - C^{\text{mult}}_{ij})$$
  • 解释： 负分表示违反了混杂假设，可作为证伪这些陈述的证据。正分并不保证正确性，但表明这些陈述诱导出了一个合理的模型。
• 理论保证： 论文证明，对于满足无偏性和机制独立性的随机因果模型，期望相容性得分为正。此外，他们还提供了有限样本集中性界限，表明经验得分估计以多项式样本复杂度收敛于真实得分。

2. 图形二元因果陈述的不相容性
该方法针对表示因果效应存在/缺失以及混杂情况的定性陈述，并将其建模为无环有向混合图（ADMGs）。

• 图形相容性： 在忠实性（faithfulness）假设下，一组二元 ADMG 是相容的，当且仅当它们是单个全局 ADMG 的边缘化结果。这需要满足三个条件：
  1. 合并图中直连部分的无环性。
  2. 直连部分是传递闭合的。
  3. 如果两节点之间存在混杂路径，则两节点之间必须存在双向边。
• 不相容性得分： 由于寻找最接近的相容图是 NP-hard 问题（与无环传递编辑问题相关），作者提出了一个启发式算法来近似满足这三个条件所需的最小边编辑（添加/删除）次数。得分是满足以下条件的编辑总数：
  1. 打破环路（反馈弧集）。
  2. 强制执行传递闭合。
  3. 强制执行混杂路径闭合属性。
• 属性： 该启发式得分是真实不相容性的上界。如果得分为零，则陈述是完全相容的；如果得分较大，则表明存在显著的不一致性。

关键结果

• 合成实验：
  • 线性情况： 相容性得分成功区分了正确的陈述与错误的陈述。随着噪声（误差）被添加到真值系数中，具有正得分的陈述比例会下降。该得分对隐藏变量具有鲁棒性，并且随着观测变量的数量和模型密度增加而改善。
  • 图形情况： 不相容性得分随合成图中注入误差数量的增加而单调增加。对于稀疏图，它能紧密近似真实的误差计数；对于稠密图，它作为一个可靠的上界。
• LLM 评估：
  • 作者将这些方法应用于各种 LLM（如 Claude, GPT, Gemma, Qwen）生成的关于社会经济指标（人口密度、识字率、收入等）的因果主张。
  • 线性结果： 相容性得分在不同模型间差异显著，高容量的模型通常获得更高的（更合理的）得分。许多 LLM 得到了负分，表明它们生成的陈述在内部是不一致的。
  • 图形结果： 大多数 LLM 的输出导致了非零的不相容性得分。有趣的是，一些低分模型生成了极其稠密的图（声称到处都存在混杂），这虽然平凡地满足了相容性条件，但缺乏信息量。当针对具有信息量的图（较低的边密度）进行过滤时，较低的不相容性得分与较高的模型容量之间呈现出相关性。

意义与主张
本文声称提供了一种在缺乏真值的情况下，评估源自人类专家或人工智能的因果信息可靠性的基础方法。

• 证伪 vs. 验证： 作者强调，他们的方法主要是用于证伪的工具。负的相容性得分或高的不相密性得分提供了陈述是错误或不一致的证据。正分并不证明正确，但表明这些陈述通过了关于相互合理性的“合理性检查”。
• 对忠实性的独立性（线性情况）： 线性框架的一个核心贡献是能够在不依赖忠实性假设（该假设在实践中经常被违反）的情况下评估陈述。
• 实际应用： 这项工作展示了这些指标可以区分不同 LLM 的因果推理质量，表明其在后训练过滤、验证流水线或自动化评估 AI 生成的因果主张方面具有实用价值。

作者保持了谦逊的态度，指出高分并不保证真实性，且未来的工作可以扩展到不完整的陈述列表，或纳入针对变量小子集的陈述。