📊 statistics

GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

该论文提出了 GEAR，一种模块化的两阶段蒸馏框架，通过结合合成查询扩展与真实数据重锚定，将资源密集型表格基础模型转换为适用于商用 CPU 的轻量级、高性能预测器，从而在准确性和效率方面较监督基准实现了显著提升。

原作者： Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Yu Su, Peng Zhang, Ying Yan, Yifan Sun

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Qi Qin, Jiajie Zhu, Dali Chen, Yuzhao Zhang, Jia-Xing Han, Yu Su, Peng Zhang, Ying Yan, Yifan Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数据科学领域，信息通常以电子表格的形式呈现：行与列中的数字和类别，描述着从贷款申请到患者健康记录的一切。几十年来，在这些表格中寻找模式最可靠的方法是针对特定数据训练专门的计算机程序。这些程序通过实例学习，不断调整其内部设置，直到它们能够根据之前看到的模式来预测新一行的结果。然而，新一代的模型已经出现，其工作方式截然不同。这些“基础模型”并不学习固定的规则集，而是像一位全能专家一样，只需阅读提供的上下文，就能瞬间观察一张有标签的表格并预测接下来的情况。虽然这种方法极其强大且准确，但也付出了沉重的代价。为了进行预测，模型必须将整个原始表格保存在其内存中，并且每次都要对其进行处理，这既缓慢又昂贵，对于日常设备来说往往是无法实现的。

研究人员长期以来一直寻求一种既能保留这些强大专家的智能，又能摆脱其沉重负担的方法。目标是教给一个小型、快速且简单的计算机程序以模仿专家的行为，使其能够在不需要原始表格或庞大模型的情况下独立进行预测。一组科学家现在推出了一种名为 GEAR 的方法来解决这个问题。他们的方法并不试图强迫小程序一次性学会所有知识，而是将过程分为两个截然不同的步骤。首先，他们生成数千个看起来像真实数据的合成新数据点，并利用它们来教小程序如何思考专家。然后，他们将程序带回真实数据中进行微调，以确保其理解始终立足于现实。这个两步走的过程使得小程序能够在实际使用时无需再次见到专家，便能掌握专家的奥秘。

研究人员面临的核心挑战是，用于训练的真实数据往往非常有限。如果小程序只从它拥有的少量行数据中学习，它可能会错过专家所掌握的更广泛的模式。为了解决这个问题，团队的第一步涉及创建大量模仿现实世界结构的虚假新数据。他们将这些合成行输入给强大的专家模型，观察其预测结果，然后教小程序去模仿这些预测。这扩展了小程序的经验，使其能够在一个比仅靠真实数据更广泛的场景中进行练习。然而，仅仅依赖虚假数据是有风险的；小程序可能会在虚假数据上过度模仿专家，从而在面对混乱的实际记录时失败。

为了解决这个问题，研究人员增加了第二步，称之为“真实锚定”（real anchoring）。一旦小程序从合成数据中学习完毕，他们就会将其带回到真实的原始表格中。在这里，他们并不让程序简单地记忆答案。相反，他们使用了一种巧妙的技术，让程序从专家从未见过的模型数据中学习预测。这防止了程序依赖于它本应学习而非死记硬背的答案。通过将真实答案与专家的指导相结合，小程序可以纠正它在学习合成数据时产生的错误。其结果是一个既拥有合成训练带来的广泛经验，又具备现实世界精确度的模型。

团队在广泛的任务上测试了这种方法，从类似于“是或否”的二元选择到具有许多可能结果的复杂分类任务。他们发现，通过这种两步法训练的小程序比仅在真实数据上训练的小程序表现要好得多。在二元任务中，这种新方法比标准训练提高了近两个百分点，而在更复杂的任务中，仍获得了超过一个百分点的提升。即使研究人员使用了不同类型的小程序（包括工业界常用的决策树），这些改进依然成立。这些小模型不仅更准确，而且效率极高。在速度方面，新方法进行的预测比原始大型模型快了 57 到 2,866 倍。它还将预测所需的计算机内存减少了近三倍，使得这些强大的工具可以在标准计算机处理器上运行，而无需昂贵的专用硬件。

研究人员还探讨了究竟需要多少合成数据。他们发现，增加虚假数据确实在初期有所帮助，但仅限于一定限度内。一旦小程序看到了足够的合成示例，再增加数据并不会提高性能，如果虚假数据与真实世界不完全匹配，甚至会产生负面影响。这证实了第二步——回归真实数据——是至关重要的。如果没有这一步，小程序将困在合成数据的世界里，无法处理现实世界的细微差别。研究表明，仅仅延长训练时间或使用不同的预训练模型并不能产生同样的结果。将通过合成数据扩展训练范围与通过真实数据进行落地验证相结合，才是成功的关键。

这项工作证明，将大规模、依赖上下文的模型智能转化为轻量级、独立的工具，而不损失其大部分能力是可行的。该方法不要求小程序在预测时刻能够访问原始专家或训练数据。这为在对速度和隐私要求极高的环境下部署这些先进模型打开了大门，例如在移动设备或无法共享数据的安全环境中。研究人员展示了通过仔细平衡生成数据的使用与现实世界的验证，我们可以创造出既聪明又实用的模型。研究结果表明，未来强大的数据分析可能不在于构建更大的模型，而在于教导较小的模型如何像巨人一样思考——利用想象力与现实的结合。

技术摘要：用于表格基础模型蒸馏的 GEAR

1. 问题陈述

表格基础模型（TFMs），如 TabPFN、TabICL 和 TabDPT，通过上下文学习（ICL）展示了强大的少样本性能。然而，它们的部署受到显著的延迟和内存成本的阻碍。与标准的监督学习模型不同，TFMs 需要在推理时拥有整个已标记的上下文表。这种依赖上下文的推理方式随上下文规模和查询工作负载的增加而扩展性变差，往往导致显存溢出（OOM）故障和高推理延迟，使其不适用于大规模、实时的通用硬件应用。

虽然近期的研究尝试通过优化上下文选择或使用混合专家模型（MoE）来缓解这一问题，但它们仍然依赖于大型教师模型和推理时的上下文。知识蒸馏（KD）提供了一条将教师的任务自适应行为压缩到轻量级、无上下文学生模型（例如 MLP 或树模型）中的路径。然而，标准的 KD 在这种设定下面临两个主要挑战：

查询覆盖度（Query Coverage）： 现实世界的表格仅提供有限数量的查询位置，这在小样本场景下尤为受限。
自我标签泄露（Self-Labeling Leakage）： 如果教师对自身作为上下文的一部分的行进行预测，目标标签会泄露到蒸馏目标中，从而使学生模型产生偏差。

2. 方法论：GEAR

作者提出了 GEAR（生成式扩展与真实锚定，Generative Expansion and Real Anchoring），这是一个模块化的两阶段框架，旨在将冻结的 TFMs 蒸馏为高效的预测器，同时解决覆盖度和泄露问题。

第一阶段：生成式扩展 (Generative Expansion)

目标： 将教师的查询覆盖范围扩展到观测到的真实数据之外。
机制： 一个生成器（例如 GAN、扩散模型或能量模型）产生合成协变量。这些合成行仅被视为冻结教师的查询位置；其生成的标签会被丢弃。
训练： 学生模型通过纯教师模仿进行训练，使用 TFM 在这些合成协变量上生成的软目标（soft targets）。此阶段旨在从教师在更广泛特征空间中的行为中获取广泛的知识。

第二阶段：真实锚定 (Real Anchoring)

目标： 使学生模型重新对齐到目标领域分布，并纠正由合成数据引入的任何偏差。
机制： 第一阶段的学生模型被初始化，并在真实的标记数据集上进行进一步训练。
防止泄露： 为了避免自我标签泄露，该框架采用了**袋外（Out-of-Fold, OOF）**教师预测。将真实数据划分为 $K_{cf}$ 个折叠（folds）；对于每个折叠，教师以剩余的数据（排除当前折叠）为条件来生成软目标。
损失函数： 优化一个混合目标，结合硬标签真值与 OOF 软教师目标：
$\mathcal{L}_\lambda(p, y, q) = (1-\lambda)\ell(p, y) + \lambda\ell_T(p, q)$
其中 $\ell$ 是标准的监督损失， $\ell_T$ 是软标签损失。

理论保证
论文推导了一个风险证书（risk certificate），刻画了生成的查询量（ $M$ ）与生成器保真度（ $Q_X$ 与真实分布 $P_X$ ）之间的权衡。分析表明，虽然增加查询量可以减少有限样本误差（以 $M^{-1/2}$ 的速度衰减），但无法克服由分布失配引起的“保真度底线（fidelity floor）”。因此，当合成分布与真实分布不完全匹配时，第二阶段在理论上是必要的，用于消除学生的偏差。

3. 核心贡献

框架设计： 引入了 GEAR，这是一个将生成式查询扩展与真实数据锚定解耦的两阶段协议，支持多种生成器家族、TFM 教师和学生架构（MLP、LightGBM、XGBoost）。
经验性能： 在 TALENT 和 TabArena 基准测试上的广泛实验表明，GEAR 的表现显著优于监督基线和仅基于真实数据的蒸馏方法。
理论洞察： 推导了一个风险证书，解释了合成扩展的收益递减现象以及真实数据锚定在减轻分布偏移方面的关键作用。

4. 实验结果

实验使用 TabICL、TabPFN 和 TabDPT 作为教师，使用 TabPFGen、Copula、CTGAN 和 TabDiff 作为生成器。

性能提升（MLP 学生模型）：
- 二分类任务： GEAR MLP 比监督 MLP 高出 1.81–2.00 AUC 点，并超过仅基于真实数据的蒸馏方法 1.76–2.19 点。
- 多分类任务： GEAR MLP 比监督 MLP 高出 1.19–1.35 AUC 点，并超过仅基于真实数据的蒸馏方法 2.09–2.40 点。
- 树模型： 在二分类任务上，两阶段 LightGBM 和 XGBoost 模型也显示出相对于监督训练的增益，并优于 CatBoost（最强的非 TFM 基线）的平均 AUC。
效率：
- 推理时间： 与直接进行 TFM 推理相比，GEAR 将中位数推理时间缩短了 57–2,866 倍。
- 内存： 峰值预测内存降低了 1.9–3.3 倍。
- 准确度 vs 成本： GEAR 学生模型在保持高于匹配的监督基线 AUC 的同时，运行成本仅为极小部分。
消融实验：
- 生成器影响： 高保真生成器（如 TabPFGen、TabDiff）带来了更大的增益。低保真生成器（如 Copula）表现出收益递减，这与理论上的保真度底线一致。
- 两阶段 vs 混合： 将阶段分离（GEAR）比混合优化（同时在真实和合成数据上训练）提供了更高的稳定性和更高的中位数增益。
- 机制： 增益被证实源于合成数据提供的具有信息量的查询位置，而非仅仅来自更长的训练周期或通用的热启动。

5. 意义

论文声称 GEAR 为表格基础模型的部署瓶颈提供了切实可行的解决方案。通过成功地将大型、依赖上下文的 TFMs 的上下文学习能力蒸馏到轻量级、无上下文的模型中，GEAR 使得在普通 CPU 上实现毫秒级延迟并利用基础模型性能成为可能。这项工作强调，虽然合成数据可以扩展教师的有效覆盖范围，但专门的真实数据锚定阶段对于纠正分布偏移和防止自我标签泄露至关重要，这为在金融和医疗等高风险领域部署 TFMs 提供了一条稳健的路径。