🤖 machine learning

RECAST: Model Reconstruction via Counterfactual-Aware Wasserstein Geometry under Limited Data

本文提出了 RECAST，一种通过利用反事实解释在 Wasserstein 重心优化框架内，在数据有限且访问受限的情况下，实现高保真度和高查询效率的黑盒机器学习模型重构方法，以实现稳健的公平性审计。

原作者： Xuan Zhao, Lena Krieger, Zhuo Cao, Arya Bangun, Hanno Scharr, Ira Assent

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuan Zhao, Lena Krieger, Zhuo Cao, Arya Bangun, Hanno Scharr, Ira Assent

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 RECAST 论文的中文翻译，保留了原有的语言风格、比喻和结构：

大局观：“黑盒”问题

想象一下，一家银行使用一个神秘的高科技计算机系统（一个“黑盒”）来决定谁能获得贷款。你提交了申请，计算机说“拒绝”。你问：“为什么？”计算机给了你一个反事实解释（Counterfactual Explanation, CF）：“如果你的收入高出 5,000 美元，你就会被批准。”

这个解释对你很有帮助，但对于想要检查银行计算机是否公平或存在偏见的第三方审计员（如政府监管机构）来说，这也是一个线索。审计员想要构建一个代理模型（surrogate model）——一个模仿银行决策的“复刻版”系统，以便他们在不需要索要银行的秘密代码或无限访问其数据库的情况下进行研究。

问题所在：“过度自信”的复刻者

论文指出，人们通常尝试使用反事实解释来构建这些复刻者时，存在一个重大缺陷。

类比：
想象你正在尝试学习地图上“安全区”（类别 0）与“危险区”（类别 1）之间的边界在哪里。

你有一份处于安全状态的人员名单（类别 0）。
你还有一些“如果……会怎样”的情景列表：“如果这个处于安全区的人稍微多赚一点钱，他们就会进入危险区。”

错误之处：
旧的方法将这些“如果……会怎样”的情景视为在危险区中真实存在的人。

结果： 复刻模型会感到困惑。它会想：“哦，这些‘如果……会怎样’的人肯定是在危险区里！”因此，它会将边界线画得太靠外，从而压缩了安全区的空间。
后果： 复刻者变得过度自信。仅仅因为靠近这些“如果……会怎样”的情景，它就开始将安全的人标记为危险。此外，当数据量较少时，它还容易出现过拟合（死记硬背噪声）的现象。

解决方案：RECAST（“聪明的绘图师”）

作者提出了一种名为 RECAST 的新方法。RECAST 不再将“如果……会怎样”的情景视为硬性的事实，而是将其视为软性的提示，帮助塑造地图的形状，而不是强行将边界固定在某个特定点。

以下是 RECAST 的工作原理，分为三个简单的步骤：

1. “云团” vs. “点”

旧方法： 试图将“如果……会怎样”的情景钉在地图上的单个点上。
RECAST 方法： 他们意识到一个“如果……会怎样”的情景是模糊的。它不是一个单一的点，而是一个可能性的云团。RECAST 使用一种称为 Wasserstein 几何（可以理解为一种“针对数据云团的距离计算器”）的数学工具，来理解“安全”群体和“危险”群体作为一个整体的形状，而不仅仅是单个的点。

2. “重心”（完美的平均值）

RECAST 为安全组创建了一个原型（完美的平均代表），也为危险组创建了一个原型。

它将真实的“安全”人员和“如果……会怎样”的情景融合在一起，以找到云团的中心。
至关重要的是，它不会让“如果……会怎样”的情景把中心拉得太远。它将这些情景视为确定性较低的信息。
类比： 想象你在寻找人群的中心。那里有 100 个真实的人站着，还有 10 个人举着牌子说“如果我们移动一下，我们可能会在这里”。RECAST 给真实的人赋予全权重，而给举牌的人赋予一半的权重。这能保持人群中心的准确性，即使那些举牌的人有些分散。

3. 不确定性的“透镜”

由于审计员拥有的数据有限（例如，他们可能只从银行那里得到了 100 个“如果……会怎样”的回答），RECAST 承认：“我们并不 100% 确定边界究竟在哪里。”

RECAST 不会画一条锐利的线，而是画出一个边界可能存在的透镜状区域。
它构建的模型无论实际边界落在该透镜内的哪个位置，都能表现良好。这使得模型具有鲁棒性（稳定性），即使在数据带有噪声或不完整的情况下也是如此。

为什么这很重要（实验结果）

论文在真实世界的数据（如贷款申请和犯罪风险评分）上测试了 RECAST，并发现：

更少数据下的更高准确度： 当审计员只有少量查询（有限数据）时，RECAST 构建的复刻模型比以往的方法要好得多。它不会被“如果……会怎样”的情景所迷惑。
公平性审计： 由于 RECAST 理解数据云团的“形状”，它可以判断银行对待不同群体（例如，男性 vs. 女性）是否不公平。它可以观察到一个群体的“云团”是否被推向了危险区，即使它不知道确切的秘密公式。
稳定性： 即使数据有点混乱或有噪声，RECAST 也不会崩溃。因为它依赖于群体的整体形状，而非单个点，所以它保持了稳定。

总结

RECAST 是一种在只有少量线索（反事实解释）的情况下，逆向工程黑盒 AI 系统的新方法。它不再盲目地将这些线索视为硬性事实，而是将其视为软性的、模糊的提示。通过使用这种数学上的“云团形状”方法，它构建了一个准确、公平且在数据匮乏时不会产生困惑的复刻模型。

技术摘要：RECAST

问题陈述

本文探讨了在数据获取严重受限且查询预算受限的情况下，进行模型重构（创建旨在模仿黑盒分类器的代理模型）的挑战。这种场景在审计机器学习即服务（MLaaS）平台时非常常见，即第三方无法在重构过程中与目标模型进行交互式查询，而必须依赖于一个固定的、离线的数据集。

具体而言，作者关注的是仅能获得**单侧反事实解释（CFs）**的情景。在许多现实应用中（例如贷款拒绝），用户收到的解释是关于如何将负面结果转变为正面结果，但反之则不然。现有的基于 CF 的重构方法在这一机制下面临三个关键局型限制：

决策边界偏移： 将 CF 视为目标类别的硬标签样本会导致代理模型在边界附近的区域过度自信，从而错误地移动决策曲面（如图 1 所示）。
过拟合： 当训练数据稀缺且查询预算紧缩时，基于神经网络的方法难以应对过拟合问题。
不可识别性： 在单侧 CF 获取和有限查询的情况下，真实的决策边界在统计学上是不可识别的；多个不同的分类器可以产生完全相同的输入-输出行为。因此，试图恢复唯一的几何边界是一个病态问题。

方法论：RECAST

作者提出了 RECAST（通过反事实感知 Wasserstein 优化进行重构），这是一种以行为为中心的方法，旨在重构类级分布而非显式的决策边界。

1. CF 一致性不确定性集

RECAST 并不假设 CF 精确位于决策边界上，而是将其视为软性的跨类别约束。它为每个类别 $c \in \{0, 1\}$ 定义了一个 CF 一致的可行集 $\mathcal{C}_c$ 。该集合是两个 Wasserstein 球的交集：

一个以经验类条件分布 $P_c$ 为中心。
一个以单侧反事实分布 $P_{cf}$ 为中心。

这在 Wasserstein 空间中创建了一个“透镜状”的模糊集，既编码了采样不确定性，也编码了由反事实所施加的几何约束。

2. 鲁棒 Wasserstein 重心

为了在该不确定性集中找到每个类别的稳定代表，RECAST 计算了 Wasserstein 重心。定理 3.2 阐明，在可行集上最小化最坏情况下的分布重构风险，等价于寻找一个原型 $Q_c^*$ ，使其最小化平方 Wasserstein 距离的加权和：
$Q_c^* = \arg\min_{\mu} \left( (1-\lambda_c)W_2^2(\mu, P_c) + \lambda_c W_2^2(\mu, P_{cf}) \right)$
此处， $Q_c^*$ 是原始类别数据与反事实数据的 2-Wasserstein 重心。混合权重 $\lambda_c$ 是根据分布（ $P_c$ 、 $P_{cf}$ 以及相反类 $P_{1-c}$ ）的相对几何关系正则推导出的，这确保了该方法不需要对不确定性半径进行显式调优。

3. 重心原型分类器

最终的代理模型 $\hat{m}$ 通过比较输入 $x$ 到学习到的类别原型之间的 Wasserstein 距离来进行分类：
$\hat{m}(x) := \arg\min_{c \in \{0, 1\}} W_2(\delta_x, Q_c^*)$
其中 $\delta_x$ 是 $x$ 处的狄拉克测度。该分类器是 CF 可识别的，这意味着其决策行为对于不确定集内底层分布的具体实现具有不变性。

4. 公平性诊断

该框架将**阈值不变人口统计学平价（TIDP）和阈值不变均等化赔率（TIEO）**适配到 Wasserstein 几何中。通过比较不同敏感群体在基于 Wasserstein 分数上的分布，该方法提供了一种系统性的公平性差异诊断，这种差异在所有决策阈值下都是持续存在的，且独立于特定的截断值。

核心贡献

RECAST 框架： 一种用于基于反事实感知 Wasserstein 重心原型的行为模型重构的新颖解决方案，专门针对离线、单侧 CF 获取场景设计。
理论基础： 证明了在 CF 一致的不确定性下最小化鲁棒风险界限会导致 Wasserstein 重心，从而即使在边界不可识别的情况下，也能提供稳定的类分布几何表示。
公平性审计工具： 一种基于几何的诊断工具，能够相对于重构的决策几何量化分布差异。
实证验证： 在四个真实世界数据集（Adult, COMPAS, HELOC, California Housing）上的广泛实验表明，RECAST 在保真度和查询效率方面优于基准方法（SAMPLES, CCA, TRA），特别是在低查询量和存在噪声的条件下。

实验结果

保真度： 在各种目标模型（MLP, 逻辑回归, 决策树）和数据集下，RECAST 在保真度（与目标模型的预测一致性）方面始终优于基准方法。在低查询量场景（例如 100 个样本）下，它表现出明显的优势，而其他方法在此类场景下容易出现过拟合或边界偏移。
鲁棒性： 该方法在加性噪声和分布偏移（例如从加州数据到密歇根州数据的跨域评估）下表现出卓越的稳定性。虽然基准方法在决策阈值附近性能显著下降，但 RECAST 的性能下降较为平缓。
CF 生成器： 无论使用何种反事实生成方法（MCCF, DiCE, ROAR 等），RECAST 都能保持高保真度，而基准方法对 CF 的特定属性和“过冲（overshooting）”行为高度敏感。
公平性： 所提出的诊断工具显示，即使在受到扰动的情况下，RECAST 也比竞争方法更忠实地保留了目标模型的公平性特征。

意义与主张

本文将 RECAST 定位为在高风险领域（金融、刑事司法、医疗保健）中审计不透明决策系统的实用工具，在这些领域中，数据访问受限且查询预算有限。

关注行为： 作者强调，在单侧 CF 获取的情况下，恢复唯一的真实决策边界是不可能的。因此，RECAST 专注于行为等价性，即重构在统计上可识别的输入-输出关系。
监管相关性： 该工作支持了《欧盟人工智能法案》及类似法规的目标，即在无需访问模型内部参数或训练数据的情况下，实现对模型行为、透明度和公平性的独立调查。
局限性： 作者坦诚地指出，目前的方法仅限于二分类，并依赖于被动观察的假设（即不存在与平台的策略性对抗交互）。他们还承认，虽然计算 Wasserstein 距离具有计算强度，但在该方法设计的低数据量场景下仍然是可处理的。

总之，RECAST 提供了一种数学严谨且经过实证验证的方法，用于在仅能获得有限的单侧反事实反馈时重构黑盒模型，它优先考虑稳定性与行为保真度，而非完成恢复边界这一不可能的任务。