技術要約: LimiX-2M

1. 問題提起

表形式基盤モデル（Tabular Foundation Models: TFMs）は、近年、従来の決定木アンサンブル（例：XGBoost, CatBoost）に匹敵、あるいはそれを凌駕する能力を示している。しかし、著者らは現在のTFMアーキテクチャにおける2つの決定的な非効率性を特定しており、これらが精度と効率のトレードオフを制限していると指摘している。

1. 埋め込みにおける低ランク崩壊（Low-Rank Collapse in Embeddings）: 標準的なTFM（例：TabPFN-v2）は通常、スカラー数値セルを、特徴量IDや位置エンコーディングによって拡張された単一の線形投影を通じて高次元の隠れ空間へと写像する。著者らは、この「アフィン・スカラー・トークナイゼーション」が、本質的に一次元的なチャネルを通じて値の変動を注入していると主張している。その結果、浅い層における特徴量行列は極めて低い有効ランクを示し（時には一桁のランクにまで崩壊する）、大幅なパラメータの冗長性と弱い値への感度を引き起こす。理論的分析（命題3.1および定理B.1）によれば、追加の非線形性がない場合、埋め込まれた入力および初期の隠れ状態のランクは、隠れ次元のサイズに関わらず、小さな定数（例：シングルヘッド・アテンションでは2、マルチヘッドでは$H+1$）によって制限される。
2. アテンションのボトルネックと不整合（Attention Bottlenecks and Misalignment）: 既存の両方向アテンション・スタックは、多くの場合、特徴量アテンション $\to$ サンプルアテンション $\to$ FFN（F$\to$S$\to$N）の順序に従っている。この順序は、列レベルの統計量が確立される前に、生の、条件付けが弱い値のみに基づいて列間の統合を強いる特徴量レベルのアテンションを行う。さらに、最終的な予測はターゲット・トークンのみを消費することが多いため、特徴量に対して行われたサンプルレベルのアテンション計算は事実上無視され、読み出し（readout）に直接影響を与えないネットワーク部分への学習信号が弱くなる。

2. 手法

本論文は、以下の2つの主要コンポーネントを通じてこれらの問題に対処する統一フレームワーク、LimiX-2Mを提案している。

A. RaBEL (Radial-Basis Embedding Layer)

低ランク崩壊を緩和するために、著者らは標準的な線形投影を、コンパクトで局所的な放射基底関数（RBF）展開であるRaBELに置き換える。

• メカニズム: 直接的な線形投影の代わりに、各スカラー入力 $x_{i,j}$ は、ガウスカーネルを用いた局所的な非線形特徴 $\phi_j(x_{i,j})$ のバンクへと展開される。その後、これらの特徴はモデルの次元へと投影される。
• 指数ゲート（Exponent Gating）: 何桁にも及ぶオーダーやヘテロスケダスティシティ（不等分散性）を示す実世界の表形式データを扱うため、RaBELは「指数ゲート」を導入している。このメカニズムは、入力値の対数マグニチュードに基づいてRBFの中心と帯域幅を条件付ける。これにより、脆いハード・ビニングを用いることなく、異なる値のレジームにおいてスケール不変性と局所性を維持できる。
• 効果: この設計はトークナイザー段階で非線形性を注入し、浅い表現の有効ランクを高め、曲率を発見するために深いスタッキングを必要とすることなく、最初の学習層のコンディショニングを改善する。

B. 再配置された双方向アテンション (Reordered Bidirectional Attention: S$\to$N$\to$F)

著者らは、アテンション・スタックを標準的なF$\to$S$\to$Nから、サンプルアテンション $\to$ FFN $\to$ 特徴量アテンション（S$\to$N$\to$F）へと再配置することを提案している。

• サンプルアテンションを先行させる: モデルはまず、サンプルを横断して列レベルの相関や分布統計量（例：モーメント、出現頻度）を集計する。
• 中間コンディショニング: 軽量なフィードフォワードネットワーク（FFN）が、これらの信号を圧縮し、条件付けを行う。
• 特徴量アテンションを後続させる: その後、特徴量アテンション層が、これらのより豊かで条件付けの優れた入力を用いて、特徴量間の関係をモデリングする。
• 読み出しの整合性（Readout Alignment）: 最終的な予測は、すべての特徴量トークンに対するアテンション・プーリングを介して得られる。これにより、すべてのアテンション計算（サンプルおよび特徴量の両レベル）が出力に直接寄与することを保証し、学習信号を強化する。

3. 主な貢献

1. 低ランク崩壊の診断: 本論文は、標準的な線形＋ID埋め込みが、初期層において深刻な低ランク崩壊を誘発し、大きな隠れ次元を非効率にしていることを、理論的証明および経験的証拠（隠れ状態の特異値分解による）を通じて示している。
2. RaBELアーキテクチャ: スカラー入力を局所的な非線形特徴へと展開する、コンパクトなRBFベースのセルエンコーダーの導入。これにより、浅い表現の有効ランクを大幅に向上させる。
3. 再配置されたアテンション・スタック: 標準的な双方向アテンションにおける「置換順序の病理（permutation-order pathology）」を特定し、特徴量集約の前に列レベルの統計量を確立し、すべてのアテンション信号を読み出しへとルーティングするS$\to$N$\to$Fスタックを提案した。
4. LimiX-2Mモデル: これらのコンポーネントを統合した2Mパラメータのモデルを実現し、原理的な非線形埋め込みとアテンション順序の再設計が、より優れた精度と効率のトレードオフを解き放つことを実証した。

4. 実験結果

著者らは、LimiX-2Mを、決定木アンサンブル（XGBoost, LightGBM, CatBoost）、特化した深層アーキテクチャ（TabNet, SAINT, FT-Transformer）、および他の基盤モデル（TabPFN-v2, TabICL, Mitra）を含む幅広いベースラインと比較評価した。

• パフォーマンス: わずか 1.92M パラメータであるにもかかわらず、LimiX-2Mは、ほとんどの広く用いられているベンチマーク（OpenML-CC18, TabZilla, TabArena, TALENT, BCCOスイートにおける分類および回帰タスクを網羅）において、7.24M パラメータの TabPFN-v2 や 27M パラメータの TabICL を凌駕している。
• 効率性: 本モデルは、大幅に低い学習および推論コストを実現している。GPU上において、LimiX-2MはTabPFN-v2よりも約2倍速く、TabICLよりも10倍以上高速である。
• アブレーション研究:
  • 線形埋め込みをRaBELに置き換えると、同じアーキテクチャを持つベースラインと比較して、最初の3層の数値ランクおよびRank@99%が大幅に増加する。
  • S$\to$N$\to$Fの順序（再配置された双方向アテンション）は、標準的なF$\to$S$\to$Nの順序を一貫して上回る。
  • 合成的な有向非巡回グラフ（DAG）を用いたトイ実験では、S$\to$N$\to$Fアーキテクチャが、標準的な順序と比較して、ターゲット変数への直接的な原因に対して高いアテンションスコアを割り当てることが示されている。

5. 意義と主張

本論文は、現在のTFMの主な限界は単なる容量の不足ではなく、値がどのようにトークン化され、アテンションがどのようにルーティングされるかという構造的な非効率性にあると主張している。RaBELによる「値のボトルネック」と、再配置されたアテンションによる「読み出しの不整合」に対処することで、LimiX-2Mは以下を実証している。

• 値に配慮したトークナイゼーションは、精度と効率のトレードオフを向上させるための重要なレバーである。
• 読み出しに整合したルーティングは、すべての計算リソースが最終的な予測に寄与することを保証する。
• 表形式データにおける高いパフォーマンスは、必ずしも巨大なパラメータ数を必要とするわけではない。アーキテクチャが表形式データの固有の統計的性質（例：区分的なトレンド、重い裾、混合型）に最適化されていれば、2Mパラメータのモデルでも、より大きな基盤モデルを凌駕することができる。

著者らは、これらの知見が、単純なパラメータのスケーリングを超えて、データの固有の構造により適合するアーキテクチャ原理へと移行する、表形式基盤モデルのより信頼性の高いスケーリングへの道筋を示唆していると結論づけている。