🤖 machine learning

Training Fair Tabular Foundation Models

本文介绍了 FairTFM，这是一种可扩展的训练策略，它通过合成公平性任务和梯度反转层将公平性约束直接引入表格基础模型（Tabular Foundation Models），从而在无需访问敏感属性的情况下实现公平的上下文预测，同时保持具有竞争力的准确率。

原作者： Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Patrik Kenfack, Jesse C. Cresswell, Anthony L. Caterini, Samira Ebrahimi Kahou, Ulrich Aïvodji

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在利用超级智能、预训练 AI 助手来破解谜题的侦探。这个助手读过数百万份案件卷宗，并学会了如何识别数据中的模式，就像一位经验丰富的侦探，只需看一眼线索就能瞬间猜出罪犯。这就是**表格基础模型（Tabular Foundation Models）的世界。把它们想象成“通用侦探”，它们可以跳入任何新的案件中——无论是预测贷款审批、诊断疾病，还是决定谁能获得奖学金——而无需从头开始重新训练。它们使用一种叫做上下文学习（In-Context Learning）**的技巧，这就像是在给侦探一个笔记本，里面记录了当前案件的一些典型案例，然后对它说：“这是我们通常解决此类问题的方式；现在请你解决这一个。”

但问题在于，即使是最聪明的侦探也可能有隐藏的偏见。如果侦探是从那些对某些群体不公平对待的历史案卷中学习到的，那么他们可能会在无意中也对来自这些群体的同类人进行不公平的对待。这就是**算法公平性（algorithmic fairness）**的问题。在现实世界中，有严格的规则（如反歧视法）规定，决策不应取决于性别、种族或年龄等敏感特征。科学家们提出的核心问题是：我们能否在这些“通用侦探”接触到真实案件之前，就教会它们变得公平，从而避免以后再进行修补？

这篇论文介绍了一种名为 FairTFM 的新方法，试图在训练阶段就将公平性直接植入侦探的大脑中。研究人员不仅教模型如何实现准确，还教它去忽略那些不该起作用的“敏感”线索。他们发现，通过一种巧妙的训练技巧，我们可以创造出一个只需看一眼就能做出更公平预测的模型，而无需为每一项新任务进行重新训练。虽然模型有时必须在完美准确性上做出微小的权衡，但结果表明，它可以显著降低不公平性——有时甚至超过 70%——同时在主要任务上依然表现出色。

问题所在：“通用侦探”的盲点

表格数据就是组织在行和列中的信息，就像一张巨大的电子表格。几十年来，利用这些电子表格进行预测的最佳方式是使用基于树的模型（可以将其想象为一系列“是/否”问题的流程图）。但最近，一种被称为**表格基础模型（TFM）**的新型 AI 出现了。它们是数据世界的“超级侦探”。它们在海量数据集合上进行训练，因此能够通过在预测时刻仅提供少量示例来快速适应新任务。

问题在于，这些超级侦探是从过去学习的，而过去往往充满了不公平。如果一家银行的历史数据显示，女性被拒绝贷款的频率高于男性，且这种现象并无正当理由，那么标准的 TFM 可能会习得这种模式，并继续拒绝向女性发放贷款，即便这样做是非法的且错误的。

通常，为了解决这个问题，数据科学家会尝试在训练前“清洗”数据，或者在模型训练完成后对其进行微调。但对于 TFM 来说，这非常困难。因为这些模型的设计初衷是“冻结”的（这意味着我们不会为每个新任务修改其内部权重），我们无法轻易地为每家银行或每家医院重新训练它们。我们需要一种方法，在部署之前就让它们变得公平，以便它们在被要求解决新问题时能立即做到公平。

解决方案：训练侦探去忽略“错误”的线索

该论文的作者 Patrik Kenfack 及其团队提出了一种训练这些模型的新方法，称为 FairTFM。他们的想法简单而强大：在训练阶段，他们教模型玩一场游戏，要求模型在预测结果的同时，不得使用敏感信息。

这里我们用一个有趣的类比来解释：

想象你正在训练一名侦探去破解一起关于谁偷了饼干的谜题。你有一份线索清单：时间、鞋印类型以及嫌疑人的喜好颜色。但你还有一个“敏感”线索：嫌疑人的性别。你希望侦探根据鞋印和时间来破案，而不是根据性别。

在过去，你可能会尝试直接隐藏性别线索。但侦探很聪明；他们可能会根据其他线索（比如鞋印）推测出性别，并利用这一点获得不公平的优势。

FairTFM 使用了一个由两部分组成的训练游戏：

主游戏： 侦探试图猜出是谁偷了饼干（主要预测）。
反作弊游戏： 与此同时，侦探被迫仅根据用于破案的线索来猜出嫌疑人的性别。

这里有一个神奇的技巧：研究人员使用了一个名为**梯度反转层（Gradient Reversal Layer）**的特殊工具。把它想象成侦探大脑中的一个“倒车档”。当侦探试图猜测性别时，这个工具会翻转反馈。如果侦探猜对了性别，工具会说：“不对，这很糟糕！你太依赖性别了！”并推动侦探去忘记这种关联。

通过在成千上万个不同的虚构“饼干窃案”场景中反复进行这种练习（其中敏感线索会在性别、年龄、种族之间随机变化），侦探学会了仅使用相关的线索来破案。他们学会了构建一个在性别线索面前“隐形”的世界认知地图。

结果：不失水准的公平

该团队在 132 个不同的任务上测试了他们的新“公平侦探”（FairTFM），这些任务涵盖了从预测收入到检查某人是否会再次被捕等领域。他们将其与以下对象进行了对比：

标准侦探： 常规的、超准确的 TFM（如 TabPFN 和 TabICL），它们并不关心公平性。
老派侦探： 传统的模型，如随机森林和逻辑回归。
“公平”竞争对手： 另一个名为 FairPFN 的模型，它试图实现公平，但使用了另一种更复杂的公平定义。

结果令人振奋。标准的、超准确的 TFM 确实是最准确的，但它们也是最不公平的。它们在对待不同群体时会出现严重的偏差。

然而，FairTFM 找到了一个平衡点。通过调节一个控制模型追求公平程度强度的“旋钮”（称为 $\lambda$ ），研究人员可以调出完美的平衡。

权衡： 为了获得更公平的预测，模型必须牺牲一点原始准确性。研究发现，在准确性轻微下降（2% 到 11% 之间）的情况下，该模型比标准模型变得更公平了 32% 到 75%。
“单次运行”的胜利： 最棒的部分是，FairTFM 通过一次前向传播即可完成任务。你不需要为每家银行或医院重新训练它。你只需给出数据，它就能立即产生一个公平的预测。

与另一个“公平”模型（FairPFN）相比，FairTFM 脱颖而出。FairPFN 虽然公平，但准确性要低得多。FairTFM 成功实现了既公平又准确，在几乎所有指标上都击败了 FairPFN。

这对未来意味着什么

论文指出，我们不必在“聪明的 AI”和“公平的 AI”之间做选择。通过在模型的“童年时期”（预训练阶段）训练它忽略敏感属性，我们可以创造出一种在进入现实世界时就已准备好保持公平的工具。

当然，作者也谨慎地指出，这并不是解决所有歧视问题的“魔杖”。模型仍需在真实世界的数据上进行测试，且“公平”的定义本身也非常复杂。但这项工作展示了一条清晰的路径：我们可以构建出不仅功能强大，而且原则明确的基础模型，从而使它们在金融、医疗和司法等高风险决策领域更加安全且值得信赖。

简而言之，作者已经证明，通过正确的训练，我们可以教会我们的 AI 侦探在破案时，不让偏见干扰判断。这对每个人来说都是一场胜利。

技术摘要：训练公平的表格基础模型

问题陈述

表格基础模型（TFMs），如 TabPFN 和 TabDPT，已成为表格预测任务中最先进的方法，它们利用上下文学习（ICL）来适应新任务，而无需进行特定于任务的训练或超参数调优。然而，随着这些模型越来越多地部署在医疗保健和金融等高风险领域，其公平性属性在很大程度上仍未得到充分探索。现有的公平性感知训练技术通常在预处理、训练期间或后处理阶段进行干预，这与 ICL 范式不兼容。在 ICL 中，预测必须通过一个冻结的模型在单次前向传播中生成，这排除了应用特定于任务的公平性约束或重新训练的可能性。此外，现有的 TFM 公平性方法（如 FairPFN）侧重于因果公平性概念（反事实公平性），而非在表格基准测试中常用的统计群体公平性指标（人口统计学平价、等化赔率、机会均等）。这造成了一个差距：目前还没有一种可扩展的方法，能够在不依赖推理时敏感属性、也不需要特定于任务的优化的情况下，直接通过 ICL 确保 TFM 生成公平的预测。

方法论

作者提出了 FairTFM，这是一个将公平性约束直接纳入表格基础模型预训练阶段的框架。该方法由两个主要部分组成：

1. 合成公平性任务生成

为了实现可扩展的公平性感知预训练，而不依赖于每个数据集中的标记敏感属性，作者引入了一种自监督任务采样策略。

过程： 从采样的数据集中，随机指定一个输入特征作为敏感属性 ( $s$ ) 并将其从特征集中移除。
离散化： 如果选定的特征是连续型的，则使用“粘性断裂”（stick-breaking）离散化方案将其转换为分类变量。这涉及通过 Beta 分布采样比例，并通过狄利克雷过程构建混合权重，从而创建数据依赖的非均匀分箱。
任务构建： 将数据集分为上下文（训练）集和查询（推理）集。敏感属性在查询集中被遮蔽，并在预训练和推理过程中均被替换为一个可学习的参数，以确保模型在推理时不会依赖于对 $s$ 的直接访问。

2. 公平性感知架构与训练

该模型扩展了 nanoTabPFN Transformer 架构，采用了双头预测机制和对抗学习。

架构： Transformer 处理三元组 $(x_i, y_i, s_i)$ $(x_{i}, y_{i}, s_{i})$ ，其中 $s_i$ $s_{i}$ 是经过标记化的敏感属性。它利用共享的主干网络和两个多层感知机（MLP）头：
1. 标签预测头： 预测目标标签 $\hat{y}_{qy}$ 。
2. 敏感属性头： 预测敏感属性 $\hat{s}_{qy}$ 。
梯度反转层 (GRL)： 在敏感属性头之前放置了一个 GRL。虽然该头旨在最小化对 $s$ 的预测误差，但 GRL 在将梯度信号反向传播到共享的 Transformer 编码器之前，会将其乘以 $-1 $。这种对抗性目标迫使编码器学习对敏感属性具有不变性的表示，从而有效地抑制有关$ s$ 的信息，同时保留任务相关的信号。
训练目标： 模型使用联合交叉熵损失进行优化：
$L = CE(\hat{y}_{qy}, y_{qy}) + \lambda \cdot CE(\hat{s}_{qy}, s_{qy})$
超参数 $\lambda$ 控制预测准确性与公平性之间的权衡。较高的 $\lambda$ 会增加对编码敏感信息的惩罚，推动模型向更公平的帕累托前沿移动。

核心贡献

可扩展的公平性任务合成： 一种利用粘性断裂群体构建法从通用数据先验生成多样化公平性任务的策略，无需预先标记的敏感属性。
FairTFM 架构： 一种利用对抗学习（通过 GRL）的 Transformer 架构，能够实现单次前向传播下的公平预测。它能够处理在不同任务间发生变化且在推理时被遮蔽的敏感属性。
全面的实证评估： 在 132 个公平性任务（120 个源自 ACS PUMS，12 个源自其他基准）上进行了广泛测试，证明 FairTFM 在保持竞争性准确性的同时，提高了统计群体公平性指标。

实验结果

作者将 FairTFM 与标准机器学习基线（LR, RF, XGBoost, KNN）、最新的 TFM（TabPFNv2.5, TabICLv2）以及因果公平性基线 FairPFN 进行了对比评估。

公平性-准确性权衡： 在 120 个基于 ACS 的任务中，FairTFM 变体相对于最强的 TFM 基线（TabPFNv2.5）一致提升了公平性指标（人口统计学平价、等化赔率、机会均等），其准确性成本仅为 2–11%。
与经典方法的比较： FairTFM 在各项指标上均表现出竞争性或优越的性能，甚至超过了经典基线。具体而言，在 $\lambda=0.7$ 时，FairTFM 在所有指标上都优于逻辑回归（Logistic Regression），提供了更高的准确性和更好的公平性。
与 FairPFN 的比较： 虽然 FairPFN（因果公平性）实现了比无约束模型更低的非公平性，但它承受了显著的预测代价（最低的 AUCROC）。FairTFM 提供了帕累托支配（Pareto-dominated）FairPFN 的运行点，即同时提供了更高的准确性和更好的公平性。
泛化能力： 该模型在 12 个非 ACS 基准（如 Adult, COMPAS, German Credit）上表现出良好的泛化能力，表明从合成预训练中学习到的公平性可以跨数据来源进行迁移。
表示分析： 探测实验证实，FairTFM 嵌入选择性地移除了敏感信息（将敏感属性预测的 AUC 降低至接近随机猜测），同时保留了标签的可预测性。
效率： 与需要针对每个新任务和约束进行重新训练的经典公平性感知方法（如指数梯度法）不同，FairTFM 通过单次前向传播即可实现这些结果，无需特定于任务的优化。

意义与主张

本文声称提出了第一个在预训练阶段考虑统计群体公平性概念（人口统计学平价、机会均等、等化赔率）的表格基础模型预训练框架。

这项工作的意义在于它能够将公平性直接集成到基础模型的预训练阶段，从而实现单次前向传播下的公平预测，而无需事后修正、特定于任务的重新训练，或在推理时访问敏感属性。作者认为，这种方法弥合了上下文学习的高效性与高风险决策中伦理要求之间的鸿沟。他们将 FairTFM 定位为并非要取代所有场景下的专门公平性方法，而是一个可扩展的基础框架，能够为异构任务提供具有竞争力的帕累托高效解决方案，为未来研究更好的公平性-任务先验以及基础模型中的自适应公平行为铺平了道路。

作者也谦虚地承认了局限性，指出其预训练依赖于合成先验，可能无法捕捉到现实世界敏感属性的所有语义结构，并且在涉及将年龄作为敏感属性的更严格设置中，FairTFM 并不在所有单一指标或任务配置上都优于专门的公平性基线。