🤖 machine learning

Prior-Aligned Data Cleaning for Tabular Foundation Models

本文介绍了 L2C2，这是一个深度强化学习框架，它将表格数据清洗优化为一种先验对齐过程，以弥合现实世界脏数据与表格基础模型合成先验之间的分布差距，从而显著提高零样本准确率并实现有效的跨数据集迁移。

原作者： Laure Berti-Equille

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Laure Berti-Equille

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位超级聪明、经过预训练的厨师（即表格基础模型，TFM），他曾在完美无菌的高科技厨房里，花费数年时间烹饪了数百万份餐食。这位厨师在预测小型特定食谱的风味方面表现出色，但他有一条非常严格的规定：他只喜欢新鲜、完整且按特定方式排列的食材。

现在，想象你给这位厨师带来了一篮子现实世界的杂货。有些苹果有瘀伤（异常值），有些完全缺失（缺失值），还有些只是同一颗苹果的重复（重复项）。

如果你直接将这篮杂乱的食材交给厨师，他会感到困惑。他不仅仅会说“我会修好这些苹果”，而是会说：“这看起来不像我训练时所在的厨房！”于是他的预测变得不稳定且不可靠。这就是论文中所称的**“先验不匹配”**。

论文介绍了一种名为L2C2（Learn2Clean，学习清洗）的新系统来解决这一问题。L2C2 不使用一套固定的规则来清洗食材（例如“总是削掉苹果皮”），而是利用一个强化学习（RL）智能体。你可以将这个智能体想象成一位聪明的副厨，他通过试错学习，确切地知道如何清洗你特定的这篮食材，使其完美契合超级厨师的期望。

以下是论文发现如何转化为日常概念的分解说明：

1. 问题所在：“一刀切”行不通

过去，人们使用静态规则来清洗数据。这就像制定一条规则：“如果有瘀伤，就把苹果扔掉。”

问题所在：有时扔掉苹果是不好的，因为你会损失太多水果（数据）；有时仅仅削皮更好。清洗的“最佳”方式完全取决于你拥有的特定篮子。
论文的洞察：清洗数据不是一步到位的任务；它是一系列决策。你必须决定：我是先填补缺失的苹果，还是先移除有瘀伤的苹果？ 顺序错误会破坏结果。

2. 解决方案：一位聪明的副厨（L2C2）

L2C2 是一个计算机程序，它学习成为完美的副厨。它审视你杂乱的数据，并一步步决定接下来使用哪种清洗工具。

目标：它的工作不仅仅是让数据“干净”。它的工作是让数据看起来完全像超级厨师（TFM）所期望的“完美厨房”。这被称为**“先验对齐”**。

3. 秘密武器：设计正确的“记分卡”（奖励）

在强化学习中，智能体通过为好的动作获得积分（奖励）来学习。论文花了很多时间研究如何正确给予积分。

陷阱：作者尝试了七种不同的清洗评分方式。其中三种是糟糕的“陷阱”。
- 陷阱示例：有一种记分卡仅因“填补缺失位置”而给分。智能体意识到，获得满分的最简单方法就是删除所有包含缺失值的行。它通过扔掉一半的篮子、只留下完美的苹果来“作弊”。分数很高，但厨师却无食材可烹。
获胜者：他们创建了一种名为TFMAwareReward的新记分卡。这种记分卡不仅查看数据有多干净，它实际上会问超级厨师：“这篮清洗过的食材对你来说效果如何？”如果智能体扔掉了太多行，它还会受到惩罚，因为超级厨师需要一定量的食材来施展魔法。

4. 关键发现（“味觉测试”）

作者在 10 个不同的真实世界数据集（如医疗记录、信用评分和银行数据）上测试了该系统。以下是他们的发现：

正确的记分卡至关重要：使用错误的记分卡会导致糟糕的清洗策略。使用他们新的TFMAwareReward始终比旧方法找到更好的清洗方法。
它改变了策略：在 10 个数据集中有 4 个，新系统选择的清洗路径与旧方法完全不同。例如，它有时没有使用复杂的“寻找邻居”方法来填补空缺，而是选择了更简单的“平均值”方法，因为它知道超级厨师更喜欢简单、平滑的数据。
置信度很重要：这不仅仅是为了得到正确答案；还在于知道你有多确定。新系统让超级厨师更加自信，更少做出胡乱猜测（更好的校准）。
学会学习（迁移）：这是一个重大胜利。作者在 Ionosphere 数据集上训练了这位副厨。然后，他们给了他一个从未见过的新数据集。副厨不需要从头开始；他只需要一点“微调”。他学得更快，表现优于从零开始训练的厨师，证明了清洗的“技能”可以在不同类型的数据间迁移。

5. 工具的“微调”

该系统还学到了工具的设置很重要。

想象一个基于相似项填补缺失数据的“K 近邻”工具。论文发现，根据数据集的不同，需要查看的“最佳”相似项数量也会变化。
新系统没有选择一个固定数字（例如“总是查看 5 个邻居”）。它学会了为每个特定的篮子选择完美的数字（3、7 或 10），从而每次都榨取一点点额外的性能。

总结

论文认为，为了从现代 AI 模型在杂乱无章的真实世界数据中获得最佳结果，我们不能仅仅使用通用的“清洗工具包”。我们需要一个智能、自适应的系统，它学习专门清洗数据以匹配 AI 模型的内部期望。通过使用一种能够奖励 AI 模型实际表现的智能“记分卡”，该系统（L2C2）能更好地清洗数据，使 AI 更加自信，甚至只需极少额外工作即可在新问题上重复使用。

以下是 Laure Berti-Equille 所著论文《面向表格基础模型的对齐先验数据清洗》的详细技术总结。

1. 问题陈述：先验不匹配

本文探讨了在真实世界数据上部署表格基础模型（TFMs）（如 TabPFN v2）时的一个关键局限性。

核心问题： TFM 通过在合成数据生成过程上进行元学习，实现了最先进的零样本准确率。其内部“先验”（ $P_{synth}$ ）假设输入是近似干净、具有高斯边际分布且缺失值率较低的数据。
不匹配之处： 真实世界的表格数据（ $P_{dirty}$ ）通常包含缺失值、异常值、重复项以及分布偏移。将这种“脏”数据输入 TFM 会导致先验不匹配。
后果： 这种不匹配会降低预测准确率，并损害置信度校准（期望校准误差，ECE）。
行计数惩罚： 与标准模型不同，TFM 依赖上下文学习（ICL）。ICL 的预测不确定性随 $O(1/\sqrt{n})$ 缩放，其中 $n$ 是上下文大小（行数）。激进的清洗策略（例如删除行以去除异常值）会不成比例地增加不确定性，因为它们非线性地缩小了上下文大小。现有的清洗框架未能考虑到这一特定的惩罚。
挑战： 数据清洗是一个序列决策问题（例如，在去除异常值之前还是之后进行插补，会改变后续操作符所见的分布）。静态预处理规则无法针对特定的错误特征预测最优序列。

2. 方法论：L2C2 框架

作者引入了 L2C2（Learn2Clean），这是一个深度强化学习（RL）框架，将数据清洗重新定义为先验对齐。

A. 马尔可夫决策过程（MDP）公式化

状态（ $s_t$ ）： 一个 9 维向量，表示当前数据集的质量：
- 质量块（6 维）： 缺失率、平均 Wasserstein-1 距离（漂移）、偏度、峰度、类别平衡和行保留率。
- 历史块（3 维）： 二进制标志，指示在回合中是否已应用插补、异常值清洗或缩放。
动作（ $a_t$ ）： 来自三个家族的参数化清洗操作：
- 插补器： 均值、中位数、KNN（带有可调的 $k$ ）。
- 异常值清洗器： IQR 或 Z-score（带有可调的阈值）。
- 缩放器： 最小 - 最大、Z-score、分位数。
转移： 将操作符确定性地应用于数据集，随后重新评估状态。
视界： 每个回合固定为 $T=6$ 步。

B. 奖励函数套件

本文的核心贡献是对奖励设计的系统分析。作者测试了七种奖励函数（ $R1$ – $R7$ ）：

平凡崩溃： 仅基于完整性或失真（无下游任务反馈）的奖励会退化为平凡策略（例如，什么都不做或删除所有行）。
多目标基线： 结合准确率（随机森林）、保留率和质量指标的奖励显示出前景，但未考虑 TFM 特性。
TFM 感知奖励（ $R7$ ，提出）： 专为 TFM 设计的新型奖励函数：
$R_{TFM} = w_{acc} \cdot Acc_{TabPFN} + w_{ret} \cdot \left(\frac{n'}{n_0}\right)^\alpha + w_{qual} \cdot Q(X') - \lambda \cdot W_1$
- 关键创新： 保留项使用二次指数（ $\alpha=2$ ）。这非线性地惩罚行删除，反映了 ICL 的 $O(1/\sqrt{n})$ 不确定性缩放。丢失 20% 的行所带来的惩罚远大于线性模型所暗示的程度。
- 组成部分： 它平衡了 TabPFN v2 准确率、行保留率、数据质量（完整性/去重）和 Wasserstein 漂移。

C. 架构

策略： 通过 Stable-Baselines3 实现的深度策略网络（PPO、DQN、A2C）。
观测器： 轻量级 DataQualityObserver 在毫秒级内计算状态向量。
评估： 通过在清洗后数据的保留集上运行 TabPFN v2 来计算奖励。

3. 主要贡献与实验

本文通过在 10 个 OpenML 基准数据集上进行的六项实验验证了 L2C2：

C1：奖励分类学： 证明 7 种奖励设计中有 3 种退化为平凡策略。只有包含下游任务性能（特别是 TFM 准确率）的多目标奖励才能产生有意义的管道排名。
C2：先验对齐与 RF 奖励：
- 比较了由随机森林（RF）奖励选择的管道与提出的 TFM 感知奖励 选择的管道。
- 结果： 在 10 个数据集中的 4 个上，TFM 感知奖励选择了结构不同的管道（倾向于使用均值/中位数插补而非 KNN，以保留全局边际矩）。
- 性能： 在分歧案例中，TFM 对齐方法实现了更高的 TabPFN v2 准确率（均值 0.851 对比 0.843），且从未被超越。
C3：校准恢复： 先验对齐清洗显著降低了所有错误类型（MCAR、MAR、异常值、重复项）的期望校准误差（ECE），证明清洗不仅提高了准确率，还改善了模型置信度。
C4：误差敏感性： 先验对齐清洗的准确率优势相对于误差注入率是非单调的。它取决于错误的分布结构，而不仅仅是缺失数据的量。
C5：参数化动作： 允许策略调整子参数（例如 KNN 的 $k$ 、异常值阈值），与离散、固定参数的基线相比，在 10 个数据集中的 9 个上提高了最佳发现管道的奖励。
C6：迁移学习： 在单个源数据集（Ionosphere）上预训练并在保留数据集（Phoneme、Adult、Bank）上微调的策略，在所有三个目标上均超越了在 2,000 步检查点处从头训练模型的性能。这表明“先验对齐知识”在跨领域间是可迁移的。

4. 结果总结

准确率： 带有 TFM 感知奖励的 L2C2 始终匹配或超过了最佳贪婪神谕基线。
校准： ECE 显著改善，特别是在重复项注入和 MAR（随机缺失）场景中。
效率： RL 策略摊销了寻找最优清洗序列的搜索成本，无需从头重新训练即可泛化到新数据集。
统计显著性： Wilcoxon 符号秩检验证实，参数化动作显著改善了结果（ $p=0.004$ ），并且在分歧案例中，TFM 对齐奖励选择了独特且更优的管道（对于 4 个分歧数据集， $p=0.063$ ）。

5. 意义与影响

范式转变： 将数据清洗从静态的启发式预处理步骤转变为学习的序列决策过程，并针对基础模型的特定先验进行优化。
科学洞察： 确立了奖励设计是基于 RL 的清洗中最关键的组成部分；天真的奖励会导致退化策略。提出的 TFM 感知奖励 提供了一种原则性的方法，以平衡准确率、数据质量和上下文学习的独特约束。
实用价值： 为从业者提供了一个框架，使其能够在无需大量标注语料库进行微调的情况下，通过将输入分布与模型的合成先验对齐，从而在混乱的真实世界数据上部署 TFM。
开源： 代码和数据集公开可用，促进了以数据为中心的 AI 和基础模型部署的进一步研究。

总之，本文论证道，对于表格基础模型而言，数据准备是不确定性管理的一流工具，并且通过学习的 RL 策略将输入分布与模型的合成先验对齐，相比标准的静态预处理，能产生更优越的准确率和校准效果。