技術的概要：ポケット基盤モデル

問題定義

TabICLv2、TabPFNv2.6、LimiX などの表形式基盤モデル（TFM）は、大規模トランスフォーマーを用いたコンテキスト内学習（ICL）を活用することで、小規模な構造化データセットにおいて最先端の精度を達成している。しかし、これらのモデルは展開における重大な障壁に直面している。すなわち、推論時にトレーニングセット全体に注意を払う必要があり、GPU 上での推論遅延が 151 ミリ秒から 1,275 ミリ秒に及ぶことである。この遅延は、通常 2 ミリ秒未満の応答を必要とする不正検出、信用スコアリング、患者トリアージなどのリアルタイムアプリケーションと互換性がない。さらに、GPU コストと CPU のみの生産環境という制約により、TFM の直接展開は非現実的である。

知識蒸留は、これらのモデルを高速な勾配ブースティング決定木（GBDT）学生モデルに圧縮する道筋を提供するが、ICL ベースの教師モデルを用いる場合には特定の技術的障壁が生じる。ICL 教師モデルが、すでにそのコンテキスト（すなわち、自身のトレーニングセット）に含まれている例にスコアを付与する場合、その予測は近接するワンホットベクトルに収束し、エントロピーはほぼゼロとなる。この「漏洩」は、効果的な蒸留に必要なクラス間構造（ソフトラベル）を破壊し、学生モデルがハードラベルから学習する以上のことを学べなくなる原因となり、しばしば標準的なトレーニングよりも性能が低下する。

手法

本論文は、TFM 教師モデルを CPU 対応の GBDT または MLP 学生モデルに変換する、漏洩を考慮した蒸留パイプラインを提案する。中核的な革新は、コンテキスト漏洩を防ぐための層別アウトオブフォールド（OOF）ラベリングの使用である。

1. OOF ラベリング: トレーニングデータセット $D$ を $K=5$ の層別フォールドに分割する。各フォールド $k$ について、教師モデルを $D \setminus D_k$ に適合させ、保持されたセット $D_k$ に対してのみ確率を予測する。これにより、教師モデルがコンテキスト内でクエリ例を一度も目撃しないことを保証し、蒸留に必要なソフトラベル信号（クラス間構造）を維持する。
2. 複数教師の平均化: 複数教師の設定において、異なる TFM ファミリー（例：TabPFN、TabICL、LimiX）からの OOF 予測を、ターゲットとして使用される前に等しい重みで平均化する。
3. 学生モデルの目的関数: 学生モデル（XGBoost、CatBoost、LightGBM、または MLP）は、ヒントン風の混合損失関数を用いてトレーニングされる。
   $$\mathcal{L} = \alpha \sum_i w_i T_i^2 \text{KL}(\hat{p}_i^{T_i} \parallel q_i^{T_i}) + (1-\alpha) \sum_i w_i \ell_{\text{CE}}(y_i, q_i)$$
   ここで、$\alpha=0.7$、$T_i$ は教師のエントロピーに基づくサンプルごとの温度スケーリング、$w_i$ は過信またはほぼランダムな予測の重みを下げる信頼度重みである。木ベースの学生モデルの場合、KL 項はソフトラベルのロジットに対するクラスごとの MSE 回帰に簡略化される。
4. 教師の選択: 本論文は、保持サンプルにおける単独の AUC による教師のランキングが、結果として得られる学生モデルのランキングと完全に一致することを発見している。したがって、最良の教師を選択するには複雑なアーキテクチャ探索は不要であり、単に最高単独 AUC を持つ教師を選べばよい。

主要な貢献

1. 必須の OOF ラベリング: 著者は、ICL ベースの TFM にとって OOF ラベリングはオプションではないと特定している。これがない場合、ソフトラベル信号は崩壊し、蒸留はハードラベルのベースラインよりも劣る学生モデルを生み出す。
2. 性能対遅延: TabICLv2 を XGBoost に蒸留することで、マクロ平均 AUC 0.882（教師の AUC の 96.5%）を達成し、単一 CPU コア上で 1.9 ミリ秒の遅延を実現した。これは教師と比較して38 倍から 860 倍の高速化を表しており、153 のデータセットの 51% においてチューニングされた CatBoost ベースラインを統計的に上回る（Wilcoxon $p=0.0008$）。
3. 予測可能な利益: 蒸留の利益はデータ次元性に基づいて非常に予測可能である。
   • 低次元データ（特徴量数 $\le$ 21）: 蒸留は有意な利益をもたらす（CatBoost に対して AUC +0.011）。
   • 高次元データ（特徴量数 $>$ 21）: 利益は無視できる（AUC +0.001）であり、もし教師自体が CatBoost よりも劣る場合、蒸留はさらに性能を低下させる可能性がある。
4. 複数教師のダイナミクス:
   • 木学生モデル: 複数教師の平均化は統計的に検出可能だが、実用的には無視できる利益（AUC +0.0006）をもたらす。単一の強力な教師で十分である。
   • MLP 学生モデル: 複数教師の平均化は効果的なラベルスムージングとして機能し、単一教師トレーニングに対して有意な利益（AUC +0.006、$p=0.003$）をもたらす。
5. オープンソースパイプライン: 完全なパイプラインは実装され、TabTuneライブラリの一部としてリリースされている。

結果

評価は、TALENT、OpenML-CC18、TabZilla、TabArena から収集された 153 の分類データセットを対象に行われた。

• 精度: 最良の蒸留構成（TabICLv2 $\to$ XGBoost）は 0.882 の AUC を達成し、教師の性能の 96.5% を維持した。
• 遅延: 蒸留された木学生モデルは CPU 上で 1.9～4.0 ミリ秒で実行されるのに対し、教師モデルは GPU 上で 151～1,275 ミリ秒である。
• ベースライン: 蒸留モデルは、153 のデータセットの 51% でチューニングされた CatBoost ベースラインを破った。対照的に、より弱い教師である OrionMSP は、学生モデルが 22.6% の場合のみ勝利する。
• アブレーション: 低次元データにおける MLP 学生モデルの場合、OOF を用いたハードラベル（$\alpha=0$）を使用することは、完全なヒントンソフトラベルパイプラインよりも AUC 0.034 上回っており、クリーンで低次元のデータにおいては複雑なソフトラベル機構はオプションであるが、OOF ラベリングは依然として重要であることを示唆している。

意義

本論文は、表形式基盤モデルの「展開問題」が、その精度上の利点を犠牲にすることなく解決可能であることを示している。ICL 教師モデルに固有の特定の漏洩問題に対処することで、著者は TFM の「クラス間構造」を軽量で CPU ネイティブな GBDT に蒸留することが可能であることを実証した。

その意義は、このアプローチの予測可能性と** graceful failure（ graceful 失敗：滑らかな失敗）**にある。

• TFM が強力であれば、蒸留はその強さを高速な学生モデルに転送する。
• TFM が弱い場合（またはデータが高次元の場合）、蒸留は性能を人工的に膨らませることはなく、クリーンに失敗する。多くの場合、標準的な GBDT よりも劣る性能を示し、教師が適切な候補ではなかったことをシグナルする。
• この手法は、学生モデルに対して複雑なハイパーパラメータ調整を必要としない。主な決定は、単に最高性能の教師を選択することである。

著者は、低次元の構造化データにおいては、シグナルの崩壊を避けるために OOF ラベリングプロトコルを厳格に遵守すれば、実務家は推論コストの 1% で教師に近い精度を達成できると結論付けている。