技術的サマリー：LoMETab：表形式深層学習におけるランク 1 アンサンブルの枠を超えて

問題定義

表形式深層学習における最近のベンチマークは、勾配ブースティング決定木（GBDT）、アテンションベースのアーキテクチャ、TabM などの暗黙的アンサンブルを含む主要な手法が、同等の有効性で動作する「緊密な性能クラスター」を明らかにしています。深層アンサンブルはモデル性能を向上させることが証明された手法ですが、$K$個の独立したネットワークを訓練するコストは線形に増加します。BatchEnsemble や TabM などの暗黙的アンサンブルは、大部分のパラメータを共有しつつメンバー固有の摂動を導入することで、この問題を解決します。

しかし、既存の暗黙的アンサンブルは固定されたランク 1 の構造に依存しています。TabM において、各メンバーはランク 1 のマスクを介して共有重み行列 $W$ を変調します（$W_k = W \odot (s_k r_k^\top)$）。この設計には、メンバー固有の変調の容量を増加させるための明示的な軸が存在しません。その結果、アンサンブルの多様性（アンサンブルの利益の主要な駆動力）は直接制御できず、固定されたランク 1 のマスクと訓練ダイナミクスから暗黙的に生じる必要があります。先行研究は、特定の条件下では BatchEnsemble のメンバーがほぼ同一の関数に収束する可能性を示唆しており、ランク 1 変調が意味のある多様性を実現できない可能性があることを示しています。

手法：LoMETab

著者らは、固定されたランク 1 の構造の限界を克服するために設計された、乗法的暗黙的アンサンブルのランク-$r$ 一般化であるLoMETabを提案します。

核心的な定式化

ランク 1 のマスクの代わりに、LoMETab は各メンバー $k$ に低ランクアダプター行列のペア、$A_k \in \mathbb{R}^{d_{out} \times r}$ および $B_k \in \mathbb{R}^{d_{in} \times r}$ を割り当てます。メンバー $k$ の実効重みは以下のように定義されます：
$$W_k = W \odot (1 + A_k B_k^\top)$$
ここで、$W$ は共有ベース重みであり、$A_k B_k^\top$ は最大ランク $r$ の残差行列を形成します。項 $(1 + A_k B_k^\top)$ は恒等残差乗法的摂動として機能します。残差がゼロに近い場合、メンバーは共有重みのように動作します。より大きな残差はメンバー固有の逸脱を引き起こします。

アーキテクチャと訓練

• アーキテクチャ: LoMETab は表形式 MLP バックボーンに挿入されます。共有の区分的線形エンベディングが入力を処理し、それが $K$ 個のメンバー全体にコピーされます。各隠れ線形層は、共有重みとメンバー固有アダプターを組み合わせる LoMETab 線形層に置き換えられます。
• 訓練目的: モデルはメンバーごとの損失関数を用いて訓練され、すべての $K$ 個のメンバーにわたる平均タスク損失を最適化します。これにより、バックボーンを共有しているにもかかわらず、並列サブモデルが特化することを可能にします。
• 推論: 最終的な予測は、すべての $K$ 個のメンバーの出力を平均化すること（分類の場合は確率を平均化、回帰の場合はスカラー出力を平均化）によって得られます。

理論的表現力

本論文は、仮説クラスにおける厳密な階層性を確立しています。任意のランク $r \ge 2$ について、LoMETab で表現可能な実効重みの集合は、BatchEnsemble（ランク 1）で表現可能な集合を厳密に含みます。具体的には、任意の BatchEnsemble マスク $s_k r_k^\top$ は、その差 $s_k r_k^\top - 1$ のランクが最大 2 であるため、$1 + A_k B_k^\top$ として表現できます。したがって、LoMETab は $r \ge 2$ に対して設計空間を厳密に拡大します。

主要な貢献

1. ランク-$r$ 一般化: 固定されたランク 1 のマスクを、アダプターランク $r$ と初期化スケール $\sigma_{init}$ でパラメータ化された恒等残差低ランクハダマール摂動に置き換える LoMETab の導入。
2. 制御可能な多様性: 追加されたランク容量が測定可能な予測多様性として現れることの証明。著者らは、LoMETab が加法的低ランクアブレーションよりも高いペアワイズ KL 発散を維持することを示しています。さらに、$(r, \sigma_{init})$ グリッドは多様性に対する広範な制御を提供し、ペアワイズ KL を数桁変化させます。
3. データセット依存のチューニング: ランクと初期化スケールの最適な構成がデータセットに依存するという実証的証拠。本論文は「固定されたランク 1」の構築に反対し、$r$ と $\sigma_{init}$ を実用的なチューニング軸とする制御可能な暗黙的アンサンブルのファミリーを提案します。

実験結果

著者らは、LoMETab を 37 の学術データセット（TabM ベンチマークおよび TabZilla ソースを含む）と 77 の評価タスクで評価しました。

• ベンチマーク性能: LoMETab は 37 のデータセット全体で平均順位 2.1 ± 1.3 を達成し、TabM（2.3 ± 1.8）を上回り、強力な GBDT ベースライン（XGBoost、CatBoost など）および最近のニューラルアーキテクチャと競合します。14 のデータセットで 1 位となり、89.2% のデータセットでトップ 3 以内に入っています。
• 多様性制御:
  • 乗法的対加法的: LoMETab は、加法的低ランクアンサンブル（$W_k = W + A_k B_k^\top$）と比較して、ペアワイズ KL 発散において「持続的なギャップ」を維持します。加法的アンサンブルは急速に低多様性に収束します。
  • グリッドスイープ: $r \in \{1, 2, 4, 8, 16\}$ および $\sigma_{init} \in \{0.1, \dots, 3.0\}$ をスイープすると、多様性がこれらの軸によって共同制御されることが明らかになります。低い $\sigma_{init}$ はランクに関係なく低多様性を招きますが、高い $\sigma_{init}$ はランク軸を活性化し、多様性を大幅に増加させます。
  • タスクレベルの指標: 多様性の増加は、分類における argmax 不一致の増加および回帰における曖昧さの増加と相関します。
• 性能対多様性のトレードオフ: 多様性は一般的に性能を向上させますが、その関係は厳密に単調ではありません。$r$ と $\sigma_{init}$ をチューニングすることでデータセット固有の最適化が可能となり、多くの場合、TabM におけるアンサンブルサイズ $K$ の単純なスケーリングを上回ります。
• パラメータ効率: 表現力の向上にもかかわらず、LoMETab は必ずしも TabM よりも高いパラメータ数を伴うわけではありません。ハイパーパラメータ最適化は、より高いランクを使用する際に、よりコンパクトな構成（例えば、より小さな隠れ次元）を選択することが多く、多くの場合、総パラメータ数が同等か、むしろ低くなります。

意義と主張

本論文は、表形式の暗黙的アンサンブルにおいて、メンバーが共有バックボーンからどのように逸脱することを許容されるかが、中心的な設計課題であると主張します。固定されたランク 1 の制約を超えて移動することで、LoMETab はアダプターランクと初期化スケールを、アンサンブル多様性を管理するための実用的で制御可能な軸として露出させます。

著者らは、自らの貢献を固定された解決策ではなく「制御可能な暗黙的アンサンブルのファミリー」を提供するものとして謙虚に位置づけています。彼らは、最適な構成がデータセットに依存し、LoMETab の主な価値は、特定のタスクに適するようにメンバーの逸脱の形態とスケールを調整する能力にあることを強調しています。この研究は、将来の研究がこの制御性が不確実性の推定や分布外検出の向上に転換するかどうかを探求する可能性を示唆していますが、これらは現在の結果ではなく、将来の研究方向として特定されています。