🤖 machine learning

End-to-End Compression for Tabular Foundation Models

本文介绍了 TACO，这是一种端到端的表格压缩模型，与最先进的基于 Transformer 的表格基础模型相比，它在保持或提高大规模数据集预测性能的同时，显著降低了推理时间和内存占用。

原作者： Guri Zabërgja, Rafiq Kamel, Arlind Kadra, Christian M. M. Frey, Josif Grabocka

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Guri Zabërgja, Rafiq Kamel, Arlind Kadra, Christian M. M. Frey, Josif Grabocka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对论文《端到端压缩用于表格基础模型》（TACO）的解释，采用了简单的语言和富有创意的类比。

问题所在：“万物图书馆”

想象你有一位才华横溢的图书管理员（表格基础模型），他几乎可以预测关于客户、机器或病人的任何信息。为了做到这一点，这位管理员不仅是靠直觉猜测，他们会在对新的人进行预测之前，阅读每一个走进门的人的完整历史记录（训练数据集）。

在过去，这位图书管理员动作很慢，因为他们必须把图书馆里的每一本书都一本一本地读完。最近，出现了一种新型的图书管理员，他们读书速度极快，但有一个致命缺陷：他们会被图书馆的大小所压垮。

如果图书馆只有 100 本书，这位管理员没问题。但如果图书馆有 100,000 本书，这位管理员的大脑（计算机内存）就会爆炸。他们无法在做出预测时，同时将所有的书都装进脑海里。这就是论文中提到的“二次方复杂度”问题：随着数据的增长，处理所需的时间和内存也会呈爆炸式增长，使得在巨大的现实世界数据集上使用这些智能模型变得不可能。

解决方案：TACO（“智能摘要员”）

论文作者创造了一个名为 TACO 的新工具。你可以把 TACO 想象成一个坐在庞大图书馆与图书管理员之间的高效摘要员。

它是如何工作的，分为三个简单的步骤：

压缩（摘要员）： 在图书管理员看到数据之前，TACO 将那座拥有 10 万本书的庞大图书馆浓缩成一本仅有 100 页的“精华集锦”小册子。它并没有丢弃重要的故事，而是学习了数据的模式和本质，并将它们以一种紧凑的格式记录下来。
预测（图书管理员）： 然后，图书管理员阅读这本只有 100 页的小册子，而不是阅读整座图书馆。因为小册子非常小，图书管理员几乎可以瞬间做出预测。
结果： 图书管理员仍然掌握了几乎所有需要知道的信息，但他们付出的精力却大大减少了。

TACO 实现了什么（神奇数字）

论文将该系统与现有的最佳模型（如 TabPFN）进行了对比测试，并发现了惊人的结果：

速度： TACO 在做出预测时速度提升了高达 94 倍。如果旧模型需要思考 10 秒钟，TACO 只需要不到一秒。
内存： TACO 使用的内存减少了高达 97%。想象一下，尝试搬运一个沉重的行李箱（旧模型）与携带一个信封（TACO）的区别。旧模型经常因为行李箱太重而导致计算机崩溃；而 TACO 可以轻松装进兜里。
准确度： 尽管将数据缩减到了原始大小的仅 1%，TACO 并没有损失太多准确度。它的表现与那些试图阅读整个图书馆的模型一样出色。

他们是如何做到的（秘诀）

论文解释说，TACO 不仅仅是一个简单的过滤器，它是一个联合训练的团队。

想象一个压缩器（摘要员）和一个预测器（图书管理员）在健身房里共同训练。
他们一起练习：压缩器学习如何进行数据摘要，以便让预测器能更好地理解；预测器则学习如何有效地阅读这些摘要。
如果他们分开训练，压缩器可能会总结出一些预测器无法理解的内容。但因为他们是端到端地共同训练，所以他们说着同一种语言。

“分块”技巧（应对无法处理的大规模数据）

论文还解决了一个问题：对于那些大到任何计算机内存都无法承载的数据集（例如 150 万行）。

类比： 想象你要为一部 1,000 页的小说做摘要，但你的笔记本只能记 10 页。
策略： TACO 将小说拆分成小章节（块）。它先总结第一章，然后是第二章，接着是第三章。最后，它将这些小摘要缝合在一起，形成一个最终的“总摘要”。
这使得他们能够对拥有 150 万行的数据集进行预测，而其他模型在面对这种规模时会因内存限制立即崩溃。

核心结论

论文声称，TACO 让我们能够在不需要超级计算机的情况下，将超智能的“基础模型”应用于大规模的现实世界数据集。它将一个缓慢、耗费内存的过程转变为一个快速、轻量化的过程，同时保持了预测的准确性。它有效地解决了阻碍这些 AI 模型应用于最大规模数据问题的“规模化难题”。

技术摘要：面向表格基础模型的端到端压缩技术

问题陈述

表格基础模型（TFMs），特别是采用解码器（decoder-only）Transformer 架构并利用上下文学习（ICL）的模型，近期对梯度提升决策树（GBDT）的主导地位提出了挑战。然而，这些模型面临着一个根本性的扩展瓶颈：其推理复杂度随训练实例数量 $N$ 呈二次方（ $O(N^2)$ ）或线性（带 KV 缓存时为 $O(N)$ ）增长。这种对条件上下文规模的二次依赖关系造成了极高的内存和计算开销，限制了 TFM 仅能处理中小规模数据集。因此，在面对信息丰富的海量数据集时，性能往往会下降，且模型难以处理需要超大规模上下文窗口的现实场景。

方法论：TACO

为了解决这一瓶颈，作者提出了 TACO（表格压缩），这是一种端到端的模块化架构，旨在将训练数据集压缩到潜空间后再进行预测。该框架由两个联合训练的组件组成：

压缩器 ( $g$ )： 一个基于 Transformer 的模块，负责将原始训练数据集 $D_{train}$ （包含 $N$ 行）映射为一个紧凑的、低秩的表示 $D_{mini-train}$ ，其中包含 $K$ 行，且 $K \ll N$ 。压缩器旨在学习一种凝聚的嵌入，以捕捉表格数据的原型模式。它利用一个从数据子集初始化的“虚拟（dummy）”表，并通过迭代优化来代表整个数据集。
预测器 ( $f$ )： 一个标准的表格 Transformer（基于 TabPFNv2 架构），执行上下文预测。预测器不再关注完整的 $N$ 行数据集，而是以压缩后的上下文 $D_{mini-train}$ 和测试批次特征作为条件进行预测。

训练策略：
压缩器和预测器通过端到端的方式进行联合元学习（meta-learning）。其目标是最小化在一组数据集先验上的预测损失，从而激励压缩器生成能够最大化预测器性能的表示。训练流程包括：

合成预训练： 使用结构因果模型（SCMs）生成多样化的合成数据集。
课程学习： 在训练过程中逐步增加序列长度（从 1k 到 60k 行）。
真实数据适配： 使用自监督任务（自助采样行/特征）在真实表格数据集上进行微调。
多速率训练： 模型同时针对多种压缩率（ $r \in \{1, 2, 4, 8, 16\}\%$ ）进行训练，使其能够在不同的资源约束下运行。

可扩展机制：
对于超过单次前向传播内存容量（例如 >100 万行）的数据集，TACO 采用了**分块与拼接（chunking-and-stitching）**策略。数据集被划分为不相交的块，每个块独立进行压缩，生成的摘要随后被拼接在一起，形成预测器的全局上下文。

核心贡献

新颖架构： 引入了 TACO，这是首个用于压缩表格基础模型训练上下文的端到端方法，实现了预测质量与原始条件上下文规模的解耦。
效率增益： 实证表明，与最先进的仅预测器（predictor-only）Transformer（即 POT）相比，TACO 在 1% 的压缩率下，实现了高达 94 倍的推理加速和 98% 的内存节省，同时保持了高性能。
可扩展性： 通过验证了一种处理超过 100 万行数据集（如约 150 万行的 MetroPT-3 数据集）的策略，将其压缩至数千行潜行，而这对于受限于内存限制的标准 TFM 而言是无法实现的。
联合优化： 证明了压缩器与预测器的联合训练优于冻结预测器的方法，因为这允许预测器根据压缩后的输入来调整其表示空间。

实验结果

作者在 TabArena 基准测试以及其他大规模数据集（TabFSBench, TableShift, MetroPT-3）上对 TACO 进行了评估：

性能与速度对比： 在 1% 的压缩率下，TACO 比未压缩的 POT 基准实现了 94 倍的加速，并减少了 97.6% 的内存消耗。与全上下文基准相比，其性能下降在统计学上可以忽略不计（ROC-AUC 差异接近于零）。
内存效率： 在使用 KV 缓存的场景下，当数据集超过 32,000 行时，POT 经常遇到显存溢出（OOM）错误，而 TACO 仍能正常运行。在 KV 缓存设置下，TACO 将显存占用降低了高达 92%。
基准对比： 在所有压缩率下，TACO 的表现均显著优于随机采样和 k-最近邻（kNN）子采样等简单压缩基准。
大规模处理能力： 在 MetroPT-3 数据集（约 150 万行）上，TACO 将训练集压缩至约 1,200 行，并取得了优于基准模型和 XGBoost 的精确度和 AUPRC，而 POT 和 TabPFNv2 则无法运行。
鲁棒性： 在 TableShift 基准测试中，TACO 在 15 个标准 TFM 因内存限制而失败的数据集中，成功处理了其中的 12 个，并在分布偏移下保持了竞争力的准确性。

意义与主张

论文声称 TACO 从根本上重构了表格上下文内推理，即学习在严格的推理时间预算下仍具有预测能力的数据表示。作者断言，他们的方法实现了一种原则性的准确率-延迟权衡，使得上下文表格预测器能够扩展到此前无法触及的大规模真实世界数据集。

这项工作强调，如果上下文被智能压缩，注意力机制的二次复杂度并非不可逾越的障碍。通过将有效上下文规模缩小 $N/K$ 倍，TACO 使内存和计算成本的扩展变为线性，从而使高性能基础模型在涉及海量表格数据的工业应用中变得可行。作者总结道，虽然 TACO 推进了可扩展性，但未来的工作仍需解决缺失值的多样化先验、分布偏移以及向回归和时间序列任务的扩展问题。