技术摘要：LoMETab：超越秩 1 集成用于表格深度学习

问题陈述

最近的表格深度学习基准测试揭示了一个“性能紧密集群”，其中领先的方法——包括梯度提升决策树（GBDTs）、基于注意力的架构以及像 TabM 这样的隐式集成——表现出相当的效能。虽然深度集成是提升模型性能的成熟方法，但训练 $K$ 个独立网络的成本呈线性增长。隐式集成（如 BatchEnsemble 和 TabM）通过共享大部分参数并引入成员特定的扰动来解决这一问题。

然而，现有的隐式集成依赖于固定的秩 1 结构。在 TabM 中，每个成员通过一个秩 1 掩码（$W_k = W \odot (s_k r_k^\top)$）调制共享权重矩阵 $W$。该设计缺乏一个明确的轴来增加成员特定调制的容量。因此，作为集成增益关键驱动力的集成多样性无法直接控制；它必须从固定的秩 1 掩码和训练动态中隐式涌现。先前的研究表明，在某些条件下，BatchEnsemble 的成员可能收敛到近乎相同的函数，这表明秩 1 调制可能无法实现有意义的多样性。

方法：LoMETab

作者提出了LoMETab，这是一种乘积隐式集成的秩-$r$ 泛化，旨在克服固定秩 1 结构的局限性。

核心公式

LoMETab 为每个成员 $k$ 分配一对低秩适配器矩阵 $A_k \in \mathbb{R}^{d_{out} \times r}$ 和 $B_k \in \mathbb{R}^{d_{in} \times r}$，而不是使用秩 1 掩码。成员 $k$ 的有效权重定义为：
$$W_k = W \odot (1 + A_k B_k^\top)$$
其中，$W$ 是共享的基础权重，$A_k B_k^\top$ 构成一个秩至多为 $r$ 的残差矩阵。项 $(1 + A_k B_k^\top)$ 充当恒等 - 残差乘积扰动。当残差接近零时，成员表现得像共享权重；较大的残差则引发成员特定的偏差。

架构与训练

• 架构：LoMETab 被插入到表格 MLP 骨干网络中。一个共享的分段线性嵌入处理输入，随后被复制到 $K$ 个成员中。每个隐藏线性层被替换为 LoMETab 线性层，将共享权重与成员特定的适配器相结合。
• 训练目标：模型使用成员级损失函数进行训练，优化所有 $K$ 个成员的平均任务损失。这使得并行子模型尽管共享骨干网络，仍能实现专业化。
• 推理：最终预测通过平均所有 $K$ 个成员的输出获得（分类任务平均概率，回归任务平均标量输出）。

理论表达能力

该论文在假设类中建立了严格的层级关系。对于任何秩 $r \ge 2$，LoMETab 中可表示的有效权重集合严格包含 BatchEnsemble（秩 1）可表示的集合。具体而言，任何 BatchEnsemble 掩码 $s_k r_k^\top$ 都可以表示为 $1 + A_k B_k^\top$，因为差值 $s_k r_k^\top - 1$ 的秩至多为 2。因此，对于 $r \ge 2$，LoMETab 严格扩大了设计空间。

主要贡献

1. 秩-$r$ 泛化：引入 LoMETab，用恒等 - 残差低秩哈达玛（Hadamard）扰动取代固定的秩 1 掩码，其参数由适配器秩 $r$ 和初始化尺度 $\sigma_{init}$ 参数化。
2. 可控的多样性：证明了增加的秩容量表现为可测量的预测多样性。作者表明，LoMETab 比加性低秩消融保持了更高的成对 Kullback–Leibler (KL) 散度。此外，$(r, \sigma_{init})$ 网格提供了对多样性的广泛控制，使成对 KL 散度变化数个数量级。
3. 数据集依赖的调优：实证证据表明，秩和初始化尺度的最优配置依赖于数据集。论文反对“固定秩 1"的构建，提出了一种可控的隐式集成家族，其中 $r$ 和 $\sigma_{init}$ 作为实用的调优轴。

实验结果

作者在 37 个学术数据集（包括 TabM 基准和 TabZilla 来源）和 77 个评估任务上评估了 LoMETab。

• 基准性能：LoMETab 在 37 个数据集上的平均排名为 2.1 ± 1.3，优于 TabM（2.3 ± 1.8），并与强大的 GBDT 基线（如 XGBoost、CatBoost）及最新的神经架构竞争。它在 14 个数据集上排名第一，在 89.2% 的数据集上位列前三。
• 多样性控制：
  • 乘积与加性：与快速收敛至低多样性的加性低秩集成（$W_k = W + A_k B_k^\top$）相比，LoMETab 在成对 KL 散度上保持了“持续差距”。
  • 网格扫描：扫描 $r \in \{1, 2, 4, 8, 16\}$ 和 $\sigma_{init} \in \{0.1, \dots, 3.0\}$ 揭示多样性由这些轴共同控制。无论秩如何，低 $\sigma_{init}$ 都会导致低多样性，而较高的 $\sigma_{init}$ 则激活秩轴，显著增加多样性。
  • 任务级指标：多样性的增加与分类中更高的 argmax 分歧以及回归中更高的模糊性相关。
• 性能与多样性的权衡：虽然多样性通常能提升性能，但这种关系并非严格单调。调优 $r$ 和 $\sigma_{init}$ 允许针对特定数据集进行优化，通常在 TabM 中优于简单地扩展集成大小 $K$。
• 参数效率：尽管表达能力增强，LoMETab 并不一定比 TabM 产生更高的参数量。超参数优化通常会选择更紧凑的配置（例如更小的隐藏维度），当使用更高秩时，这在许多情况下导致总参数量相当甚至更低。

意义与主张

该论文主张，对于表格隐式集成，成员如何偏离共享骨干网络是一个核心设计问题。通过超越固定的秩 1 约束，LoMETab 揭示了适配器秩和初始化尺度作为管理集成多样性的实用、可控轴。

作者谦逊地将他们的贡献框架为提供一个“可控的隐式集成家族”，而非固定解决方案。他们强调最优配置依赖于数据集，LoMETab 的主要价值在于能够调整成员偏差的形式和尺度以适应特定任务。该工作表明，未来的研究可以探索这种可控性是否能转化为改进的不确定性估计或分布外检测，尽管这些被确定为未来工作的方向而非当前结果。