🤖 machine learning

LUCoS: Latent Unsupervised Context Selection for Tabular Foundation Models

本文提出 LUCoS，一种用于低标签表格学习的无监督方法，该方法通过利用无监督嵌入的潜在几何结构而非不可靠的原始特征空间来选择标记实例，从而在 67 个数据集上通过确保有效的覆盖范围和表示质量实现了最先进的性能。

原作者： Oroel Ipas, Guillermo Gomez-Trenado, Rocío Romero-Zaliz, Isaac Triguero

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Oroel Ipas, Guillermo Gomez-Trenado, Rocío Romero-Zaliz, Isaac Triguero

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《LUCoS：面向表格基础模型的潜在无监督上下文选择》的通俗解读，辅以生动的类比。

核心难题：“空白画布”困境

想象你是一位才华横溢的厨师（即 AI 模型），但手头只有极少量的食材（标注数据）可供使用。而你拥有一个巨大的储藏室，里面堆满了未标记的生蔬菜和香料（即未标注数据）。

在表格基础模型（如 TabPFN）的世界里，厨师并非通过烹饪上千顿饭并调整食谱来学习。相反，厨师通过上下文学习（ICL）来学习。这意味着厨师只需查看一小份“品尝菜单”（即上下文集，包含少量示例），就能立即根据这些示例推断出如何烹饪其余的菜肴。

关键难点在于：厨师对放在那份“品尝菜单”上的示例极其敏感。

如果你给厨师 5 个随机示例，他们可能会猜测食谱是“辣味”。
如果你给厨师 5 个精心挑选的示例，他们可能会猜测是“甜咸口”。
这两组示例的数量相同，但一组能带来美味佳肴，另一组则会导致灾难。

这篇论文提出的问题是：当我们尚不知道答案（标签）这被称为“冷启动”问题。

旧方法：在黑暗中猜测

通常，当人们试图在不了解答案的情况下挑选这些示例时，他们会直接查看原始数据。

类比：想象试图在一个灯光熄灭、水果混杂（苹果挨着石头，香蕉挨着汤罐）的黑暗房间里，从板条箱中挑选出最好的 5 种水果。
问题：表格数据杂乱无章。它包含数字、类别、缺失值以及奇怪的量纲。在这种原始状态下测量两行数据之间的“距离”，就像试图用一把专为汤设计的尺子去测量石头和香蕉之间的距离一样。这毫无意义。
结果：论文发现，如果你只是随机挑选水果，或者基于这种混乱的视图试图挑选“不同”的水果，效果往往不如完全随机挑选。

解决方案：LUCoS（“魔法翻译器”）

作者提出了一种名为 LUCoS（潜在无监督上下文选择）的新方法。

步骤 1：魔法翻译器（嵌入）
LUCoS 不使用杂乱无章的原始数据，而是利用一种特殊的“翻译器”（一种名为 TabClustPFN 的无监督 AI 模型）。

类比：这个翻译器将所有杂乱的蔬菜和水果重新整理，放入一个完美有序的高科技仓库中。在这个新仓库里，相似的物品自然聚集在一起。苹果靠近苹果，香蕉靠近香蕉，而石头则远离汤罐。
为何有效：这个“潜在空间”（即新仓库）构建了一种几何结构，使得“距离”真正具有意义。在这个新空间中彼此靠近的物品，实际上在任务相关的方面是相似的。

步骤 2：智能挑选器（K-Medoids）
一旦数据进入这个有序的仓库，LUCoS 便利用简单的几何规则来挑选示例。

类比：假设你需要挑选 5 名代表展示给厨师。在有序的仓库中，你只需挑选各自群体中最“居中”的 5 种水果。你挑选苹果堆正中间的那个苹果，香蕉堆中间的那根香蕉，以此类推。
规则：这被称为 K-Medoids。它确保你能覆盖整个仓库，而不会挑选出重复项。

步骤 3：标注
你将仓库中挑选出的这 5 种特定水果映射回现实世界，并请专家为其标注（例如，“这是一个苹果”）。现在，你拥有了你的“品尝菜单”。

步骤 4：预测
你将这份完美的品尝菜单提供给 TabPFN 厨师。厨师查看这些高质量示例，并以惊人的准确度预测其余数据。

实验结果

作者在 67 个不同的数据集（如医疗记录、财务数据等）上测试了该方法，每个类别的标签数量极少（从每个类别 1 个示例到 32 个示例不等）。

“神谕”测试：他们首先证明，如果你能神奇地知道答案并挑选绝对最好的 5 个示例，模型的性能将大幅提升。这证明了存在巨大的“差距”需要填补。
LUCoS 与随机挑选对比：LUCoS 在未看到任何标签的情况下，填补了该差距的很大一部分。
“救援”效应：
- 在极低预算下（1-2 个示例）：挑选任何结构化示例（即覆盖性）这一简单行为就起到了帮助作用。
- 在中等预算下（4-16 个示例）：这是 LUCoS 大放异彩的地方。旧方法（从混乱的原始数据中挑选）实际上开始失效，表现甚至差于随机猜测。然而，LUCoS 保持良好表现，因为它利用了“有序仓库”（即潜在空间）。
- 结论：论文发现，空间的几何结构比挑选器的复杂性更重要。在智能空间中使用简单的挑选器（LUCoS），胜过在愚蠢空间中使用复杂的挑选器。

一句话总结

LUCoS 通过先将杂乱的数据翻译成干净、有序的“心智地图”，使相似事物自然聚集，从而解决了为 AI 挑选最佳训练示例的问题；这使得即使在没有可用标签的情况下，也能利用简单的几何规则为 AI 挑选出完美的学习示例。

技术摘要：LUCoS（潜在无监督上下文选择）

问题陈述

在低标签表格学习中，选择哪些实例进行标注是一个关键挑战。最近的表格基础模型（TFMs），如 TabPFN，依赖于上下文学习（ICL），其预测性能对作为“上下文集”被选中的特定标注实例高度敏感。虽然监督 oracle 实验表明，在相同的标注预算下，精心选择的上下文集可以显著优于随机选择，但在冷启动设置（即在没有任何标签可用的情况下选择实例）中，这一问题在 TFM 文献中仍未得到充分解决。

当前的无监督实例选择方法通常在原始表格特征空间中运行。然而，由于特征类型异构、尺度混合、稀疏性以及非线性交互的存在，表格数据缺乏自然的度量标准。因此，原始空间中的几何距离往往无法可靠地反映预测相似性，导致选择方法的表现不一致，甚至随着标注预算的增加，其表现不如随机采样。

方法论：LUCoS

作者提出了LUCoS（潜在无监督上下文选择），这是一个无需访问标签即可执行实例选择的四阶段流程。其核心假设是：用无监督 TFM 诱导的有意义潜在几何结构替代原始特征空间中不可靠的几何结构，可以使简单的几何选择方法识别出具有信息量的上下文集。

该框架包含两个主要组件：

表示映射（ $\phi$ ）： 使用无监督先验拟合网络（PFN）的编码器，将未标记的训练实例嵌入到高维潜在空间中。具体而言，作者利用了来自TabClustPFN的PIN 编码器，该编码器生成与聚类分配无关的 512 维嵌入。这一步构建了一个任务相关的表示空间，其中欧几里得距离能更好地反映预测相似性。
几何选择器（ $\sigma$ ）： 在此潜在空间中，使用基于欧几里得距离的K-Medoids聚类选择代表性实例。中位数数量（ $K$ $K$ ）固定为标注预算。选择 K-Medoids 的原因如下：
- 它选择真实的训练实例（中位数）而非合成质心，满足所选样本可被标注的要求。
- 它最小化显式的覆盖目标，确保所选子集覆盖数据分布。
- 它是确定性的（取决于初始化），且不需要类别先验。

流程：

通过无监督 PFN 编码器将未标记的训练数据嵌入到潜在空间。
应用 K-Medoids 在潜在空间中选择 $K$ 个代表性中位数。
将选中的索引映射回原始特征空间，并向 oracle（专家）查询标签。
将生成的标注子集用作监督 TFM（TabPFN-2.5）的上下文集，以预测未见过的测试数据。

主要贡献

对敏感性的实证验证： 作者证明了 TFM 在低标签 regime 下的性能对所选的具体上下文实例高度敏感。监督 oracle 分析（使用稳态模因算法）揭示了随机选择与优化选择之间存在巨大的性能差距（在最小预算下， $\Delta$ AUC 高达 $\approx 0.19$ ），表明存在显著的改进空间。
LUCoS 框架： 提出了一种原则性的、无标签的流程，将表示学习与选择解耦。通过在无监督 PFN 的潜在空间中执行选择，LUCoS 使得简单的几何方法（K-Medoids）能够识别出高性能子集。
全面基准测试： 在67 个 OpenML-CC18 数据集上进行了评估，涵盖六个低标签预算（ $1C$ 到 $32C$ ，其中 $C$ 为类别数）。LUCoS 在所有预算下的平均 AUC、准确率和 F1 分数均位列第一。
机制分解： 论文将 LUCoS 的收益分解为选择器和表示两个组件：
- 在最小预算（ $1C$ ）下，收益主要由选择器效应（通过 K-Medoids 强制覆盖）驱动，潜在空间除原始特征外贡献甚微。
- 从中段预算（ $4C$ ）开始，表示效应变得占主导地位。在此 regime 下，在原始特征空间中选择会导致性能下降（通常低于随机选择），而潜在空间则“挽救”了性能。这种“挽救”效应在大多数数据集中被观察到（78% 的情况）。

结果

性能： LUCoS 始终优于基线方法，包括随机采样、原始空间 K-Medoids、RDSS 和 ZCore。它在所有六个标注预算中均排名第一。
与 Oracle 的比较： 尽管没有任何标签信息，LUCoS 仍恢复了随机选择与监督 oracle 之间差距的约13–20%。
鲁棒性： 结果在留一数据集分析、渐进式数据集移除以及不同评估指标（AUC、ACC、F1）下均保持稳定。
替代方法的失败模式： 原始空间 K-Medoids 和其他无监督方法（RDSS、ZCore）无法可靠地击败随机选择，特别是在预算增长时，这证实了表示空间的几何结构是关键瓶颈。

意义与主张

该论文认为，可靠的表格数据无监督上下文选择较少依赖于选择算法的复杂性，而更多依赖于在有意义的表示几何结构中定义代表性。

作者主张：

少样本表格学习中的改进“空间”是巨大的，但不能通过简单地将为视觉或语言设计的基于距离的选择方法应用于原始表格特征来获取。
通过无监督 PFN 诱导潜在几何结构是冷启动设置下有效实例选择的必要前提。
改进表格数据的表示学习与设计复杂的选择启发式方法同样关键。

该工作将无监督上下文选择定位为连接丰富未标记数据与 TFM 强大、上下文敏感预测的桥梁。作者承认了局限性，包括仅限于类别数 $\le 10$ 的分类任务、K-Medoids 在极大规模池上的计算成本，以及当前与 TabClustPFN 作为表示源的耦合。他们建议未来的工作应探索回归任务、可扩展的近似方法，以及其他嵌入模型或选择策略是否能进一步提升性能。