技术摘要：迈向 TabPFN 的文本编码器预训练

问题陈述

以 TabPFN 为代表的表格基础模型在处理包含数值型和类别型数据的数据集时，展现出了强大的预测能力。然而，它们缺乏对高基数（high-cardinality）文本特征的原生支持。目前的标准流程通过使用语言模型（LM）对文本进行嵌入，并在输入 TabPFN 之前，利用主成分分析（PCA）将产生的高维向量压缩为少量标量特征来解决这一问题。

这种方法引入了两个关键限制：

1. 信息瓶颈： PCA 步骤丢弃了绝大部分嵌入维度，在数据到达表格模型之前就剥夺了其语义丰富性。
2. 不可微性： 这种压缩过程使得整个流水线无法实现完全可微，从而消除了根据 TabPFN 预测信号对语言模型进行微调的可能性。

避免使用 PCA 的其他端到端方法（例如 ConTextTab、TabSTAR）通常需要对真实世界的数据集合（如 T4）进行大规模预训练，而这些数据往往是质量较低的网络抓取数据。这些方法与在大量合成数据上进行预训练的模型相比，可能会降低其在纯数值和类别任务上的表现，并且可能会将模型锁定在特定的语言模型或文本化（verbalization）策略上。

方法论

作者提出了 TabPFN 文本适配器（TabPFN Text Adapter），这是一种受大语言模型中多模态对齐技术（如 LLaVA、TableGPT）启发、轻量级的后训练对齐策略。其核心目标是将语言模型的文本嵌入直接投影到 TabPFN 的内部嵌入空间中，而不更新基础模型或句子编码器的权重。

架构与流水线

1. 特征分离： 将文本列从数值列和类别列中分离出来。TabPFN 使用其标准的编码器处理后者，以保留其稳健的性能。
2. 文本文本化（Verbalization）： 对于自由文本列，每个单元格通过在前缀添加列名来进行文本化（例如：列名: 文本内容）。这种上下文关联有助于语言模型区分具有不同含义的相同文本值。
3. 嵌入生成： 使用句子转换器（具体为 all-MiniLM-L6-v2）对文本化后的文本进行编码，生成高维嵌入。
4. 适配器投影： 一个轻量级适配器将这些嵌入映射为 TabPFN 192 维嵌入空间中的一段短序列（1 到 10 个 token）。
   • 结构： 该适配器镜像了 TabPFN 的特征编码器：对于分类任务使用线性层，对于回归任务使用两层 MLP。
   • Token 数量： 消融实验表明，分类任务使用 5 个 token（平衡性能与计算量），而回归任务使用 1 个 token（获得最优结果）。
5. 融合： 将适配后的文本 token 与标准的表格嵌入拼接在一起，并输入到 TabPFN 的 Transformer 块中。

训练程序

• 冻结： 句子转换器和 TabPFN 架构均保持冻结状态。仅更新适配器权重。
• 初始化： 适配器从原始 TabPFN 编码器权重开始初始化，以提供一个与 TabPFN 预期嵌入分布高度一致的强有力起点。
• 数据： 预训练利用了 STRABLE 基准测试的一个子集，专门选择包含有意义的自由文本列（通过拥有 >20 个唯一值与类别文本进行区分）的数据集。
• 置换不变性： 为了鼓励适配器学习对嵌入维度顺序具有不变性的映射，在训练过程中，会在进入适配器之前对 LM 嵌入维度应用随机置换。在推理集成时，会为每个集成成员使用不同的置换，并对预测结果进行平均。

核心贡献

1. 消除 PCA 瓶颈： 适配器通过将文本直接投影到模型的 token 空间，消除了与 PCA 压缩相关的信息损失。
2. 保留数值优势： 通过保持 TabPFN 核心权重冻结且仅训练轻量级适配器，该方法保留了模型在数值和类别信号上的卓越表现，而这种表现通常会在端到端文本-表格流水线中受到损害。
3. 高效性： 与端到端预训练相比，该方法在计算上更高效，并且通过优化每种任务类型的投影 token 数量，避免了过度 token 数带来的二次方复杂度惩罚。
4. 模态对齐： 它成功地将视觉指令微调（LLaVA）和表格到 LLM 系统（TableGPT）中的对齐原则转移到了表格预测领域。

结果

该方法在包含自由长文本列的 13 个数据集（6 个分类，7 个回归）的 TextTabBench 基准测试上进行了评估。

• 回归： TabPFN 文本适配器优于所有基线模型，包括 ConTextTab 和 PCA-30 基线。它在实现这一点的同时，使用的 token 数量显著少于 PCA-30 方法，由于注意力机制的二次方复杂度，这提供了计算优势。
• 分类： 适配器取得了非常接近 PCA-30 基线的表现（84.5% 对比 86.4% 的归一化 ROC-AUC），但并未超越它。它明显落后于 ConTextTab（97.65%），这表明对于分类任务，ConTextTab 在富文本真实世界数据上的特定预训练仍具有优势，或者 token 压缩策略在该任务类型上需要进一步改进。

消融实验洞察：

• Token 数量： 不同任务的最优 token 数量不同（分类为 10 个，回归为 1 个），这可能是由于 TabPFN 特征编码器的架构差异（线性 vs. MLP）以及预训练先验导致的。
• 融合深度： 早期融合（在第一个 Transformer 层之前）始终优于后期融合，这表明 TabPFN 受益于从一开始就将文本 token 与数值特征一起进行处理。
• 初始化： 从 TabPFN 权重初始化适配器为回归任务带来了明显的收益，尽管在分类任务中的效果较为温和。

意义与局限性

本文将 TabPFN 文本适配器定位为优化 TabPFN 完整文本编码器流水线的关键第一步。它提供了一种比端到端预训练更简单、更廉价且更灵活的替代方案，成功地使最先进的表格基础模型能够在不牺牲其数值处理能力的情况下利用文本特征。

局限性：
作者承认，当前的适配器在所有任务中应用相同的预训练线性层或 MLP，而特定嵌入维度的重要性可能会随任务而变化。他们假设，将高维 LM 嵌入映射到单个 TabPFN token 会引入显著的信息损失。未来的工作建议开发一种能够基于整个文本列甚至其他表格列（包括目标值）进行条件的适配器，从而动态地确定如何降低维度，进而更有效地利用 TabPFN 的统计推理能力。