💻 computer science

Toward Individual Fairness Without Centralized Data: Selective Counterfactual Consistency for Vertical Federated Learning

本文提出了一种以服务器为中心的垂直联邦学习框架 SCC-VFL，该框架通过结合差分隐私特征角色发现、掩码反事实生成以及一致性损失，在保持预测精度和隐私性的同时显著降低决策翻转率，从而在个体层面强制实施反事实公平性。

原作者： Dawood Wasif, Chandan K. Reddy, Terrence J. Moore, Jin-Hee Cho

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Dawood Wasif, Chandan K. Reddy, Terrence J. Moore, Jin-Hee Cho

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在申请贷款。你的财务生活就像一个拼图，但拼图的碎片散落在不同的建筑物里。A 银行拥有你的账户历史，你的雇主掌握着你的工资单，而征信机构则保存着你的债务记录。由于隐私法规，它们都不愿将各自的私密文件交给一个中央主管。因此，它们使用了一种称为**垂直联邦学习（VFL）**的系统。这就像一群在各自厨房里工作的厨师，每个人都拥有不同的食材。他们只将自己菜肴的一小部分“烹饪样本”发送给主厨（服务器），由主厨混合品尝最终的味道，却永远看不到其他厨房里的生食材。

问题是：最终的决策公平吗？

如果你 25 岁，你能获得贷款吗？如果你 26 岁，你能获得吗？如果答案仅仅因为你的年龄（一种受保护的特征）而改变，那就是不公平的。但在这里情况更加棘手，因为拼图的“年龄”碎片可能在其中一个厨房里，而“工作稳定性”碎片在另一个厨房里。系统可能会无意中利用你的年龄来推测你的工作稳定性，进而以此为由拒绝你的贷款，即使年龄本不应产生影响。

本文的作者提出了SCC-VFL，一种解决此问题的新方法。他们称之为选择性反事实一致性。以下是其工作原理，使用简单的类比：

1. “假如”测试（反事实）

想象你是一名时间旅行者。你回到过去，改变关于自己的一件事：你的年龄。你问：“如果我是 26 岁而不是 25 岁，但我生活中的其他一切完全保持不变，我还能获得贷款吗？”

公平：如果答案是“是的，我仍然获得贷款”，那么系统是稳定的。
不公平：如果答案是“不，我被拒绝了”，那么系统是不稳定的，并且可能存在偏见。

目标是确保即使你改变年龄，答案也保持不变。

2. “盲目”修复的问题

以前试图修复此问题的方法，就像试图通过模糊整张照片来编辑它。它们试图从数据中抹去所有年龄的痕迹。但这过于严苛。有时，年龄在法律上或逻辑上确实很重要（例如，21 岁的人不能租车，但 25 岁的人可以）。我们需要明智地决定改变什么。

3. SCC-VFL 解决方案：“智能编辑器”

作者构建了一个系统，它像一个拥有三种特定工具的智能编辑器：

工具 A：“隐私面具”（识别角色）

在编辑之前，系统需要知道哪些特征属于哪一类。

非后代（“固定”锚点）：这些是不会仅仅因为你的年龄改变而改变的事物。例如，你的贷款金额或你居住在该房屋的时间长度。在“假如”场景中，这些必须保持完全不变。
中介变量（“允许”的变动者）：这些是可以随年龄自然变化的事物。例如，你的工作任期或信用记录对于 26 岁的人来说可能与 25 岁的人看起来不同。系统被允许更新这些内容以匹配新年龄。
代理变量（“禁止”的泄露）：这些是狡猾的特征，它们在你未明说的情况下秘密地向系统透露你的年龄（例如，特定的邮政编码或人口统计代码）。系统必须阻止这些特征影响决策。

他们如何在未见原始数据的情况下找到这些？ 他们使用隐私草图。想象服务器请求持有年龄数据的一方发送年龄列表的“模糊”版本（就像一张雾蒙蒙的照片），该版本保护个人隐私但显示总体模式。利用这张雾蒙蒙的照片，系统可以确定哪些特征是“锚点”、“变动者”或“泄露”，而无需看到真实的姓名或年龄。

工具 B：“掩码生成器”（安全编辑）

一旦角色分配完毕，系统就会创建你申请的“假如”版本。

它锁定锚点（非后代），使它们纹丝不动。
它更新变动者（中介变量），使其看起来符合新年龄（例如，稍长的工作任期）。
它保护泄露（代理变量），防止它们不小心向决策者透露旧年龄。

这就像一位裁缝，被允许调整西装的袖子（中介变量）以适应新尺寸，但被严格禁止更改面料图案（锚点）或添加揭示原主人的隐藏标签（代理变量）。

工具 C：“稳定性检查”（服务器端执行）

最后，服务器查看原始决策和“假如”决策。

如果决策仅仅因为允许的变化而发生翻转（例如，从“批准”变为“拒绝”），系统将受到惩罚。
它迫使模型学习一种稳定的决策方式。它教导模型：“如果唯一发生变化的事物是我们允许变化的事物，那么结果应该保持不变。”

结果：更公平、更安全的系统

作者在三个现实场景中测试了该方法：信贷（贷款）、医疗保健（心脏病风险）和刑事司法（累犯风险）。

结果：他们的系统（SCC-VFL）在保持决策稳定性方面表现更好。在某些情况下，与其他方法相比，它减少了**98%**的“决策翻转”（即一个人仅仅因为受保护特征而得到不同答案的情况）。
无权衡：通常，使系统更公平会降低其准确性（就像为了安全而拦截每个人的保安）。但 SCC-VFL 在使决策更公平的同时保持了高准确性。
隐私：它也让黑客更难通过查看系统共享的数据来猜测你的私人特征（如年龄或种族）。

总结

将SCC-VFL想象成一群秘密厨师团队的公平过滤器。它确保当它们结合各自的秘密食材做出决策时，最终的味道不会仅仅因为一种秘密食材（如你的年龄）略有不同而随意改变。它通过以下方式实现这一点：

模糊敏感信息以保护隐私。
将特征分类为“固定”、“允许改变”和“禁止”。
现实地编辑“允许”的部分。
如果最终决策不公平地发生变化，则惩罚系统。

结果是一个尊重隐私、保持数据分布式存储，并确保你的贷款或医疗决策取决于你的实际资格，而不是基于针对你的年龄、种族或性别的隐藏偏见的系统。

技术摘要：垂直联邦学习中的选择性反事实一致性 (SCC-VFL)

1. 问题陈述

本文解决了在垂直联邦学习 (VFL) 环境中确保个体公平性的挑战。在该环境中，数据特征分布在多个机构（参与方）之间，而敏感属性（如种族、年龄、性别）可能由单个参与方或安全区（enclave）私有持有。

在 VFL 中，各参与方持有重叠实体的不相交特征子集。虽然联邦学习允许在不集中原始数据的情况下进行协作模型训练，但这使得公平性执行变得复杂。现有的公平性方法通常依赖于群体级指标（如人口统计 parity、相等化几率），或者假设拥有对特征和因果图的完全访问权限，而这些在 VFL 中是不可用的。此外，VFL 中朴素的反事实干预是不稳定的，原因如下：

部分可见性：没有任何单个参与方观察到所有特征，使得难以确定哪些特征是允许的中介变量，哪些是敏感属性的不允许代理变量。
隐私约束：敏感属性通常是私有的，这阻止了在训练期间进行直接干预。
泄露：共享的表示或更新可能会无意中泄露敏感信息，或允许代理变量传递敏感影响。

作者专注于个体级反事实稳定性：确保在假设对受保护属性进行干预时，个体的预测保持不变，前提是保持非后代特征固定，且仅允许策略允许的中介变量变化。

2. 方法论：SCC-VFL

作者提出了SCC-VFL（垂直联邦学习的选择性反事实一致性），这是一个以服务器为中心的框架，通过三个集成组件将个体公平性具体化：

A. 无图、差分隐私 (DP) 掩码发现

由于在多参与方设置中因果图很少可用，SCC-VFL 使用一种无图、DP 程序将每个参与方的特征划分为三个集合：

非后代 ( $N$ )：在敏感属性干预下应保持固定的特征。
中介变量 ( $M$ )：允许更改的特征（策略允许的路径）。
代理变量 ( $P$ )：作为敏感影响的不允许路径的中介变量子集，必须被抑制。

机制：

可信持有者（或安全区）通过对列联表进行截断并添加高斯噪声，生成敏感属性 $s$ 的DP 草图 ( $z_s$ )。该草图满足 $(\epsilon, \delta)$ -DP，但不应用于完整的训练流程。
参与方使用 $z_s$ 作为辅助协变量，测试其本地特征是否在统计上对 $s$ 有响应。
系统为每个特征计算两个指标：
- 风险增益 ( $\Delta_j$ )：当包含 $z_s$ 时，预测该特征的改进程度。
- 希尔伯特 - 施密特独立性准则 (HSIC)：在条件化其他本地特征后，对 $z_s$ 的残差依赖性。
HSIC 低的特征被分配给 $N$ ；HSIC 高的特征是 $M$ 的候选者。在 $M$ 中，风险增益高（对 $s$ 敏感性强但任务相关性低）的特征被标记为代理变量 $P$ 。

B. 掩码反事实生成

每个参与方训练一个本地条件生成器（cVAE）以生成反事实输入。

身份保留：非后代 ( $N$ ) 被精确复制 ( $x^{cf}_N = x_N$ )。
中介编辑：中介变量 ( $M$ ) 被编辑以位于条件分布 $p(x_M | x_N, c, z_{s'})$ 的支撑集上，其中 $z_{s'}$ 是目标敏感嵌入。
泄露抑制：代理变量 ( $P$ ) 保持不变，但受到对抗性损失的作用。对抗者试图从反事实代理特征中恢复 $z_s$ ；生成器通过最小化这一成功率来抑制残留的敏感信号。

C. 服务器端选择性反事实一致性 (SCC) 损失

服务器聚合来自原始输入和掩码反事实输入的表示，形成融合表示 $z$ 和 $z^{cf}$ 。

一致性惩罚：服务器最小化损失项 $\mathcal{L}_{SCC}$ ，该惩罚项针对预测 $f_\theta(z)$ 和 $f_\theta(z^{cf})$ 之间的差异。
目标：这确保了当仅编辑策略允许的中介变量时，模型的决策不会任意翻转。总目标结合了任务效用、SCC 一致性和有效性约束（身份、支撑集、泄露）。

3. 主要贡献

问题形式化：定义了针对 VFL 的选择性反事实一致性 (SCC)，旨在实现策略指定干预下的单实例稳定性，而非群体 parity。
DP 掩码发现：引入了一种无图、差分隐私机制，用于识别候选非后代、中介变量和代理变量，无需预定义的因果图或原始敏感数据访问权限。
带泄露控制的掩码生成：设计了参与方本地生成器，仅编辑中介变量，同时强制非后代保持身份，并通过对抗训练抑制代理泄露。
服务器端执行：在服务器端实施了一致性损失，以惩罚不允许的预测变化，并在不同领域中得到验证。

4. 实验结果

作者在三个真实世界数据集上评估了 SCC-VFL：German Credit（银行业）、UCI Heart Disease（医疗保健）和COMPAS Cox（刑事司法），并在 IID 和非 IID（分布偏移）划分下进行了测试。

公平性指标：与强基线（如 Adv-NoMask、Uniform-CF、Policy-blind Mask）相比，SCC-VFL 显著降低了翻转率 (FR)（干预下改变预测的样本比例），最高达98%。它还实现了最低的选择性一致性差距 (SCG)。
- 示例：在 German Credit（非 IID）上，SCC-VFL 将 FR 降低至 0.12%，而基线为 6.24–8.22%。
效用：该方法保持或提高了预测准确率和 LogLoss，展示了有利的效用 - 公平性权衡。
隐私和鲁棒性：
- 属性推断攻击 (AIA)：与基线相比，SCC-VFL 将攻击成功率降低了 4–5 个百分点。
- Subspace-PGD 攻击：在针对中介坐标的定向扰动下，SCC-VFL 显示出最低的成功率（例如，在 $\epsilon=0.20$ 时为 9.3%，而 Adv-NoMask 为 21.7%），表明沿敏感方向的决策边界被平坦化。
消融研究：移除任何组件（掩码发现、生成器或一致性损失）都会降低性能，证实了完整流程对于稳定性和泄露控制的必要性。

5. 意义与主张

本文主张 SCC-VFL 为数据孤岛化且敏感属性私有的 VFL 部署提供了一个实际可审计的公平性目标。

个体问责：与可能掩盖个体不一致性的群体级指标不同，SCC-VFL 确保特定个体在受保护属性的反事实变化下获得稳定的决策，符合反歧视的法律要求（例如，贷款中的年龄歧视）。
策略对齐：该框架执行关于哪些因果路径是允许的声明性策略。它并不声称发现真实的因果关系，而是将治理定义的规范 ( $N/M/P$ ) 操作化为学习算法。
对偏移的鲁棒性：该方法在非 IID 设置和分布偏移下仍然有效，而基线方法往往遭受稳定性下降。
隐私范围：作者明确指出，正式的 DP 保证仅适用于用于掩码发现的草图，而不适用于完整的训练流程（表示、梯度或模型参数）。实验中观察到的隐私益处是特定威胁模型下泄露的经验性减少，而非正式的端到端 DP 保证。

该工作将个体级反事实稳定性定位为群体公平性的可行补充，为利益相关者提供了一种机制，以审计、质疑和验证分布式学习环境中的算法决策是否并非由受保护属性任意驱动。