🤖 machine learning

GoT-CD: Graph-of-Thoughts Causal Discovery and the Fragility of Post-hoc Path-Specific Fairness Audits

本文介绍了 GoT-CD，这是一个思想图谱（Graph-of-Thoughts）框架，该框架在生成具有结构竞争力的因果图的同时，证明了即使是高保真度的发现方法也可能无法恢复对于准确的事后路径特定公平性审计所必需的特定路径，从而强调了通过下游公平性需求这一视角来评估因果发现的至关重要性。

原作者： Nitish Nagesh, Elahe Khatibi, Thomas Dean Hughes, Mahdi Bagheri, Pratik Gajane, Amir M. Rahmani

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nitish Nagesh, Elahe Khatibi, Thomas Dean Hughes, Mahdi Bagheri, Pratik Gajane, Amir M. Rahmani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名侦探，正试图仅凭一张模糊的黑白犯罪现场照片来破解谜案。你看不清嫌疑人的样子，但你必须弄清楚谁对谁做了什么。在数据科学的世界里，这被称为因果发现（causal discovery）。科学家们不是通过观察每一个动作的受控实验，而是观察“观测数据”——比如一堆医疗记录或交通日志——并试图绘制出一张显示哪些因素导致了其他因素的地图。例如，是摄入过多的糖导致了头痛，还是两者只是同时发生？

一旦你有了这张地图，你可能想检查它是否公平。这就是**路径特定公平性（path-specific fairness）**发挥作用的地方。想象一个拒绝应聘者的招聘算法。你想知道：它是由于候选人的技能（合法理由）而拒绝的，还是因为他们的性别或种族（不公平理由）而拒绝的？要回答这个问题，你需要追踪地图上从个人身份到最终决策的特定“路径”。如果地图错了，你的公平性检查就是徒劳的。你可能认为算法是公平的，而实际上它存在偏见；或者反之亦然。这就是这篇论文所探讨的科学难题：我们如何构建最好的地图，以及我们如何确保在进行公平性检查时，这张地图不会误导我们？

论文：GoT-CD 与“虚假洁净”陷阱

本文作者 Nitish Nagesh 及其团队正在解决一个听起来简单但实际上是个陷阱的问题。他们注意到，当科学家使用人工智能（特别是大语言模型，即 LLM）来绘制这些因果地图时，他们通常只检查地图在“结构上是否正确”。这就像是通过计算一个学生画的房子有多少扇窗户和门是否位置正确，来给这个学生的画打分。但如果这个学生画了一座完美的房子，却忘了画前门呢？如果你试图检查这座房子是否适合轮椅使用者，那么即使剩下的部分再完美，缺失的那扇门也是一场灾难。

该论文介绍了一种名为 GoT-CD（Graph-of-Thoughts Causal Discovery，思维图因果发现）的新方法。要理解它的工作原理，请想象一个由三名侦探组成的团队正在处理同一个案件，但他们不是在互相争论，而是同时将自己完整的犯罪理论写在纸上。

旧方法（成对比较或遍历法）： 以前的 AI 方法就像那些一次只能看两个线索的侦探（“A 是否导致 B？”），或者试图一步步构建故事，并立即对每一个猜测做出承诺。如果他们在早期犯了错，整个故事就会毁掉，且无法回头。
GoT-CD 方法： 这种方法会同时生成多张完整的地图。然后，一个严格的“裁判”（确定性评分函数）会对它们进行检查。最好地图中的最佳部分会被合并在一起，但有一个至关重要的规则：你不能创造出任何没有侦探提出的新连接。 这可以防止 AI 为了让逻辑听起来合理而编造虚假的因果关系。最后，团队会确保地图没有环路（你不能出现 A 导致 B，B 导致 C，C 又导致 A 的情况），从而将其变成一张干净的单向街路图，即有向无环图（DAG）。

团队使用包含阿尔茨海默病在内的五个数据集，针对传统的数学算法和其他 AI 方法测试了这种新方法。为了保持公平竞争，他们使用了固定数量的数据（100 个观测值）和特定的 AI 模型（gpt-4o-mini）。

重大发现：“虚假洁净”证书
最令人惊讶的发现不仅是 GoT-CD 绘制了更好的地图，而是当你使用这些地图来检查公平性时会发生什么。研究人员重点研究了一个阿尔茨海默病数据集，在该数据集中，他们确切知道存在一条不公平的路径：性别 → 脑容量 → MOCA 分数（一种认知测试）。他们知道性别会影响脑容量，进而影响测试分数。

这里有一个转折：

其中一种旧的 AI 方法（LLM-BFS）绘制了一张整体看起来相当不错的地图。它的结构得分（F1）为 0.649，表现尚可。
然而，当他们用这张地图检查那条不公平路径时，这条路径完全缺失了。 地图显示性别与测试分数之间没有任何联系。
因为路径缺失，公平性审计报告的结果为 0。它看起来像是一份“洁净”证书，宣称：“未检测到不公平现象！”
但这是一个谎言。真实的偏见非常巨大（值为 0.572）。AI 没有发现偏见，是因为它忘记了绘制承载偏见的道路。并不是系统公平，而是地图坏了。

相比之下，GoT-CD 绘制的地图不仅拥有最高的结构得分（0.757），而且成功找到了那条特定的不公平路径。它成功报告了效应的正确定向，表明偏见确实存在。

另一种方法（GES）虽然找到了路径，但添加了太多额外的虚假路径，使得不公平程度看起来比实际大了七倍（值为 4.034，而实际为 0.572）。

这对你意味着什么

论文表明，我们不能仅仅依靠地图上的“好分数”来判断一个系统是否公平。如果地图缺失了导致偏见结果的那条特定道路，公平性检查会自信地告诉你一切正常，即便情况并非如此。这就是作者所说的“虚假洁净证书”。

他们认为，如果你正在使用 AI 来构建用于医疗决策或招聘的这些地图，你不应该只看整体准确性。你需要专门检查：“地图是否找到了我们关心的那条路径？”

研究表明，GoT-CD 是一个强有力的竞争者，因为它采用“思考者团队”的方法来构建地图，确保既不会遗漏关键连接，也不会发明虚假连接。虽然这些结果是基于模拟和特定数据集（如阿尔茨海默病示例）得出的，但教训是明确的：在构建公平 AI 的竞赛中，一张漂亮的地图是不够的；你需要画出正确的道路，否则你可能会在无意中将一个有偏见的系统认证为公平。

技术摘要：GoT-CD 与事后路径特定公平性审计的脆弱性

1. 问题陈述

因果发现正越来越多地应用于临床场景，以支持机制推理和预测模型的公平性审计。然而，结构发现的准确性与下游公平性评估的可靠性之间存在着关键性的差距。路径特定反事实公平性估计量（path-specific counterfactual fairness estimands）是相对于给定的因果图定义的；它们完全依赖于从受保护属性（ $S$ ）到结果（ $Y$ ）的有向路径的存在及其结构。

目前的因果发现评估实践依赖于聚合结构指标（如精确率、召回率、F1、结构汉明距离），这些指标对所有边进行等权重处理。这些指标无法确定用于公平性审计的特定子结构（即 $S \to Y$ 路径）是否在发现过程中得以存续。因此，一个因果发现方法可能在结构 F1 分数上表现出竞争优势，却未能恢复关键的不公平路径。当此类路径缺失时，公平性审计会报告一个置信度极高的零效应（ $PSE|_{\cdot}| = 0$ ），这与真正公平的模型输出无法区分。这创造了一种“伪清洁”证书（false-clean certificate），其中结构的遗漏伪装成了公平性。

2. 方法论：GoT-CD

作者引入了 GoT-CD（Graph-of-Thoughts Causal Discovery，思维图因果发现），该方法将因果发现重新定义为一个全图推理问题，而非一系列局部查询。不同于成对方法（查询变量对）或遍历方法（按顺序扩展节点），GoT-CD 将推理单元视为一个完整的候选边集。

GoT-CD 流水线执行一次“图操作”（Graph of Operations）过程：

生成（Generate）： 使用 LLM 结合变量名称、描述和领域前言进行提示，并行生成 $k$ 个不同的候选图（边集）。
评分（Score）： 使用确定性的非 LLM 有效性函数对候选方案进行评分。该函数惩罚未声明的变量和自环，奖励结构良好的边，应用软密度先验，并为无环性（acyclicity）提供加分。
保留最佳 N 个（KeepBestN）： 保留前 $N$ 个候选方案（通常 $N=2$ ）。
聚合（Aggregate）： 被保留的候选方案通过**硬并集约束（hard union constraint）**进行合并。模型被指示仅输出至少出现在一个输入候选方案中的边。这防止了模型合成那些没有任何推理分支提出的“听起来合理”的边。
改进（Improve）： 对合并后的图进行精炼。模型仅在不与已接受的核心结构产生环的情况下引入新边。
贪婪投影（Greedy Projection）： 最后一个确定性步骤通过遍历边来强制执行无环性，仅保留那些不会与先前保留的边形成有向环的边。这确保了输出始终是一个有向无环图（DAG）。

该方法使用锁定协议，样本量 $n=100$ ，并采用 gpt-4o-mini 作为骨干模型。

3. 主要贡献

本文做出了三个主要贡献：

GoT-CD 算法： 一种因果发现方法，其推理单元是完整的候选边集，利用并行生成、确定性评分和硬并集约束来防止边发明，同时强制执行无环性。
全面基准测试： 将 GoT-CD 与四种经典基准方法（PC, GES, NOTEARS, DAGMA-linear）和三种 LLM 基准方法（Pairwise, LLM-BFS, GoT-CD-BFS）在五个基准数据集（Asia, Child, Alzheimer's, COVID-Respiratory, Sweden-Traffic）上进行了比较。
事后路径特定公平性审计： 应用于阿尔茨海默症（Alzheimer's）基准测试的评估框架（在该测试中，真实的非公平路径为 $Sex \to Brain Volume \to MOCA Score$ ），旨在不仅根据结构 F1，还根据是否逐字恢复了特定的 $S \to Y$ 路径来对方法进行评分。

4. 结果

在锁定的 $n=100$ 协议下：

结构性能： GoT-CD 在所有五个基准数据集上均生成了有效的 DAG。它在 Asia (0.750)、Alzheimer's (0.757) 和 COVID-Respiratory (0.688) 上实现了 LLM 方法中最佳的 DAG 有效 F1 分数，在四个数据集中优于 LLM-BFS。它与经典方法形成了有力竞争，但在线性高斯分布的 Sweden-Traffic 数据集上，连续松弛方法（NOTEARS, DAGMA）占据主导地位。
DAG 有效性： 不同于 PC（在所有数据集上均存在环）和 GES（在四个数据集上存在环），GoT-CD（以及 GoT-CD-BFS）能一致地返回 DAG，避免了在进行公平性分析前需要使用启发式破环处理。
公平性保真度（Alzheimer's 基准）：
- GoT-CD： 恢复了真实的非公平路径，且效应符号正确（ $TE_{lin} = -0.580$ vs. 基准值 $-0.572$），并在结构 F1 上领先。
- LLM-BFS： 尽管具有竞争力的结构 F1 (0.649)，但它未能恢复任何 $S \to Y$ 路径。因此，它报告 $PSE|_{\cdot}| = 0$ ，产生了一个伪清洁的公平性证书。
- GES： 恢复了非公平路径，但由于存在八条额外的伪造路径，导致总路径质量膨胀了超过七倍（ $PSE|_{\cdot}| = 4.034$ ）。
- 其他方法： PC、NOTEARS、DAGMA-linear 和 GoT-CD-BFS 均未能恢复 $S \to Y$ 路径，报告效应为零。

5. 意义与主张

本文认为，结构保真度并不意味着公平性保真度。一个方法可以具有结构准确性（高 F1），却无法恢复进行公平性审计所需的特定边，从而导致自信但错误的“公平”结论。

作者主张，将因果发现链接到路径特定公平性的流水线必须：

报告路径恢复情况： 在报告公平性估计的同时，流水线必须明确报告是否恢复了关键的 $S \to Y$ 子结构。
重新评估发现指标： 用于公平性流水线的发现方法应基于下游分析所依赖的边进行评估，而非仅仅基于聚合结构一致性。
利用全局推理： 结果表明，全局推理（GoT）在保持公平相关结构方面优于局部遍历（BFS）或成对查询，因为它避免了成对方法的“边泛滥”问题以及遍历方法的“不可逆错误传播”问题。

论文总结道，虽然 LLM 先验在知识丰富、结构紧凑的图（如 Alzheimer's）上非常有效，但它们是对统计方法的补充而非替代（统计方法在处理线性高斯数据方面表现出色），未来的工作应探索得分引导的变体以及公平性感知的发现目标。