💻 computer science

Contextual Token Rotation Ensembles for Tabular Learning

本文介绍了上下文标记旋转集成（Contextual Token Rotation Ensembles, CTRE），这是一种新颖的表格学习框架，通过将基于 Transformer 的上下文标记表示与数据自适应、交互感知的特征旋转相结合，增强了集成的多样性与鲁棒性，在处理高维及不平衡数据集时表现优于经典方法。

原作者： Shenghan Gao, Spiridon Penev, Libo Li

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shenghan Gao, Spiridon Penev, Libo Li

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数据科学领域，有些问题可以通过观察图像或聆听声音来解决，但许多在金融、医学和工程领域最关键的决策却依赖于数字表格。这些被称为“表格数据”的表格，包含了不同类型的各种信息：有些列包含连续的测量值，如温度或收入；而另一些列则持有类别信息，如颜色或职业头衔。计算机面临的挑战在于，这些不同类型的数据并不自然地契合在一起。除非教会计算机去理解它们之间的隐藏联系，否则它很难理解特定的数值如何与特定的类别相关联。几十年来，研究人员一直试图构建更好的读取这些表格的方法，通常是通过将许多简单的预测模型组合成一个更智能的团队。这种被称为“集成学习”（ensemble learning）的方法，通过确保团队中的每个成员都以略微不同的方式观察数据，从而使他们的个体错误能够相互抵消。然而，一种用于创建这种多样性的长期存在的方法，依赖于一种略显随机且缺乏章法的策略：将数据的列随机切分成若干组并进行打乱。虽然这创造了多样性，但它往往忽略了某些列在本质上是相互关联的，而另一些列则是完全无关的。

来自新南威尔士大学的一个研究小组开发了一种名为“上下文标记旋转集成”（Contextual Token Rotation Ensembles，简称 CTRE）的新方法，它用一种更智能、具备上下文感知能力的流程取代了这种随机打乱。CTRE 不再将数据的每一列视为孤立的事实，而是首先学习这些列是如何相互交流的。想象一下，在一个挤满了人、每个人都在同时说话的房间里；传统的方法可能会随机挑选一群人来倾听，希望能捕捉到一段有用的对话。而新方法则会先倾听整个房间，以了解谁实际上正在与谁交谈，然后根据这些真实的对话来形成分组。研究人员通过使用一种被称为“Transformer”的人工智能技术实现了这一点，这种技术因其理解语言的能力而闻名。他们调整了这项技术，将其应用于将数据表的列视为句子中的单词。通过训练系统根据周围的列来预测缺失的数据片段，计算机学会了一张关于哪些特征相互依赖的地图。

一旦学习到了这张关系图，系统就会利用它来构建其预测模型团队。在旧有的随机方法中，两个深度关联的列可能会被分隔到不同的组中，而两个无关的列可能会被强行凑在一起。在新的 CTRE 方法中，系统利用学习到的地图来引导分组过程。它会让具有强关联性的列更有可能被放在同一个组内，但仍会保留一定的随机性以确保团队保持多样性。在这些更智能的组内，系统会执行一种数学变换，在过滤掉噪声的同时突出最重要的模式。至关重要的是，研究人员增加了一个步骤，以确保在一个组中学习到的信息不会意外地泄露到另一个组中。他们针对每个组分别独立地重新处理数据，因此最终的预测仅取决于分配给该组的具体变量，从而保留了每个团队成员的独特视角。

这种新方法的测试结果涵盖了从医疗记录到房价以及工业传感器读数等各种现实世界的数据集。在处理拥有数百个不同特征且混合了多种不同类型数据的复杂高维问题时，新方法表现优于现有的最佳技术。例如，在一个涉及具有 384 个不同特征的 CT 扫描切片的数据库中，新方法比之前的顶尖模型显著降低了预测误差。它在处理严重不平衡的数据（例如，只有极小部分条目代表罕见故障或特定疾病的数据集）方面也展现出了卓越的能力。在这些困难的情况下，旧模型往往会完全忽略这些稀有事件，但新方法成功识别了与它们相关的微妙模式。然而，研究人员发现，这种先进的方法并非万能良药。在特征较少或数据非常均匀的简单数据集上，学习列之间关系的额外复杂性有时会引入比价值更多的噪声，此时简单的模型表现得同样好甚至更好。

这项研究表明，表格学习的未来在于尊重数据的底层结构，而不是将其视为随机的数字集合。通过教会计算机在尝试做出预测之前理解特征是如何相互作用的，研究人员创造了一个工具，对于现实世界中那些混乱、复杂且异构的数据而言，该工具特别强大。这项工作并不声称解决了所有的数学问题，但它证明了当数据丰富且复杂时，一种能够倾听变量间联系的方法可以构建出一个更加准确且可靠的预测团队。这种从随机分组向引导式、上下文感知分组的转变，代表了机器如何学习驱动我们现代决策过程的结构化表格方面迈出的重要一步。

技术摘要：用于表格学习的上下文标记旋转集成 (Contextual Token Rotation Ensembles)

1. 问题陈述

表格学习需要能够捕捉异构特征间复杂依赖关系，同时对噪声和冗余保持鲁棒性的模型。经典的集成方法，特别是旋转森林 (Rotation Forest)，通过将特征随机划分为若干组并对每组应用主成分分析 (PCA) 来产生多样性。然而，这种方法存在两个关键局限性：

忽视依赖结构： 随机划分可能会将携带同一潜在交互或特征组的互补信息的特征分离，或者将无关的噪声特征聚集在一起。
线性局限性： 直接对原始变量应用 PCA 仅能利用线性协方差结构，无法捕捉高阶或非线性交互。

虽然基于 Transformer 的方法（如 TabTransformer、FT-Transformer）在通过自注意力机制学习特征交互方面表现出色，但它们通常将 Transformer 作为最终的预测器。本文认为，Transformer 的优势在于学习特征交互的结构，这一优势可以通过重新设计集成方法的特征空间变换来更好地利用，而不是将其仅仅作为预测器。

2. 方法论：上下文标记旋转集成 (CTRE)

CTRE 将自监督上下文表示学习与选择性旋转森林风格的变换相结合。该框架分为四个阶段运行：

第一阶段：特征标记化与上下文化

标记化 (Tokenization)： 数值型和类别型特征被映射到一个共同的连续标记空间。数值型特征进行标准化和线性投影；类别型特征进行独热编码并嵌入。添加列嵌入以保留特征身份。
上下文化 (Contextualization)： Transformer 编码器处理标记序列。与标准的预测器不同，该编码器不会将标记池化为单个样本表示。相反，它为每个原始特征生成一个上下文标记，其中特征 $j$ 的表示通过自注意力机制依赖于整个特征集。
预训练： 标记器和编码器使用掩码特征重建（从其余特征中预测被掩码的特征）和可选的一致性正则化进行预训练。在此阶段不包含目标变量。生成的注意力矩阵捕捉了特征之间的表示层亲和力。

第二阶段：选择性随机特征分组

CTRE 不采用随机划分，而是根据学习到的注意力结构为每个集成成员构建特征组：

亲和力矩阵： 来自所有层和注意头力的注意力矩阵被聚合为一个对称的特征亲和力矩阵 $W$ ，用于衡量特征对之间的平均交互强度。
随机选择： 对于每个集成成员，特征分组基于一个平衡以下因素的概率分布：
1. 交互引导选择： 与当前组具有高亲和力的特征更有可能被选中。
2. 均匀随机性： 一个均匀分量确保了探索性并防止确定性坍缩。
3. 重复配对惩罚： 一个惩罚项会抑制在之前集成成员中频繁共同出现的特征对，从而确保集成内部的多样性。

第三阶段：组内上下文重编码与 PCA

重编码： 为了防止“跨组表示泄漏”（即由于全局注意力，组 A 中的标记可能包含来自组 B 特征的信息），CTRE 使用相同的预训练编码器对特定组内的特征进行重编码。这确保了特定组的上下文表示仅取决于该组内的特征。
组内 PCA： 对组内的重编码、向量化上下文标记应用 PCA。可选的解释方差阈值允许通过丢弃低方差方向来进行降维。
旋转： 所有组的 PCA 分数被拼接起来，形成该集成成员特有的旋转表示。

第四阶段：集成预测

每个旋转后的表示被输入到一个独立训练的多层感知器 (MLP) 中。最终预测通过对各成员预测结果进行均匀平均获得。

3. 核心贡献

本文确定了两个主要的 metodological 贡献：

选择性随机分组： CTRE 用一种利用学习到的注意力亲和力使强交互特征更有可能出现在同一组中的机制，取代了任意的随机分组。至关重要的是，它保留了随机成分和重复配对惩罚以维持集成多样性，避免了单一确定性划分的陷阱。
组内上下文重编码： 该方法解决了跨组信息泄漏的问题。通过在划分后对组内特征进行重编码，该方法确保了组的变换子空间在结构上独立于组外特征。这保留了划分的结构意义，并减少了集成成员之间的人为相似性。

4. 理论分析

作者提供了基于集成学习强度-多样性分解 ( $R_{ens} = R_{base} - D_{amb}$ ) 的理论分析：

强度 (Strength)： 理论结果（命题 2 和 3）表明，上下文聚合和连贯分组可以改善共享潜在因子的恢复，并将信号集中到领先的 PCA 方向，从而降低基学习器风险 ( $R_{base}$ )。
多样性 (Diversity)： 分析（命题 6–8）证明，随机分组、重用惩罚和组内重编码保持了划分分布的非退化支撑，并消除了跨组信息流，从而维持了预测多样性 ( $D_{amb}$ )。

5. 实验结果

CTRE 在五个回归和六个分类基准测试上进行了评估，包括高维、异构和严重不平衡的数据集。

性能： CTRE 在高维和异构数据集上取得了最先进或具有竞争力的结果。
- 回归： 它在 CT Slice Localization、BlogFeedback 和 Ages Housing 上实现了最低的 RMSE，超越了 XGBoost 和 TabM 等强基准模型。
- 分类： 它在 ISOLET 和 HAR 上取得了最佳的平衡准确率。
不平衡数据： CTRE 在严重不平衡的数据集（KDDCup09 Churn 和 APS Failure）上展示了显著优势。许多基准模型会坍缩为预测多数类（平衡准确率 $\approx 0.50$ ），而 CTRE 实现了显著更高的平衡准确率（分别为 0.6258 和 0.9643），表明其具备从稀有类别中学习模式的能力。
局限性： 在低维或同质数据集（如 California Housing、Superconductivity）上，CTRE 的表现逊于更简单的基准模型。作者将其归因于当特征结构相对于模型容量不足时，编码器可能会过拟合或引入表示噪声。

消融研究：
实验证实，完整的 CTRE 流水线（标记化、交互引导分组、重编码以及集成）表现最佳。移除组内重编码或使用单学习器会导致性能显著下降，验证了所提组件的必要性。

6. 重要性与主张

本文将 CTRE 定位为并非所有表格方法的通用替代品，而是一个专门针对具有足够丰富的特征交互、高维度和异构性问题的框架。

范式转变： 这项工作将 Transformer 在表格学习中的角色从作为最终预测器转变为作为结构学习模块，从而辅助构建基于旋转的集成。
平衡权衡： 该方法通过使用学习到的亲和力来增强基学习器，同时使用随机性和重编码来保持集成多样性，从而显式地解决了强度-多样性权衡问题。
适度的适用范围： 作者谦虚地声称，CTRE 特别适用于高维、异构和不平衡的问题，但对于特征结构不足以抵消表示学习成本的低维或同质场景，可能并不适用。

建议未来的工作重点关注用于方法选择的数据依赖型标准、自适应参数调整以及组内重编码的计算效率改进。