技術要約：TabPFNのためのテキストエンコーダーの事前学習に向けて

問題提起

TabPFNに代表される表形式基盤モデルは、数値およびカテゴリデータを含むデータセットに対して強力な予測能力を示しています。しかし、これらは高カーディナリティ（高次元）のテキスト特徴量をネイティブにサポートしていません。現在の標準的なパイプラインでは、言語モデル（LM）を介してテキストを埋め込み、その結果得られる高次元ベクトルを主成分分析（PCA）を用いて少数のスカラー特徴量に圧縮してからTabPFNに入力することで、この問題に対処しています。

このアプローチは、以下の2つの決定的な制限をもたらします。

1. 情報のボトルネック: PCAのステップにより、埋め込み次元の大部分が破棄され、データが表形式モデルに到達する前に意味的な豊かさが失われます。
2. 非微分可能性: 圧縮プロセスによってパイプラインが完全な微分不可能となり、TabPFNの予測信号に基づいて言語モデルをファインチューニングすることができなくなります。

PCAを回避するエンドツーエンドのアプローチ（ConTextTab、TabSTARなど）は、実世界のデータコレクション（T4など）を用いた大規模な事前学習を必要としますが、これらはしばしば低品質なウェブスクレイピングによるものです。これらの手法は、大量の合成データで事前学習されたモデルと比較して、純粋な数値およびカテゴリタスクにおける性能を低下させることがあり、また、特定のLMや言語化戦略にモデルを固定してしまう可能性があります。

手法

著者らは、大規模言語モデルにおけるマルチモーダル・アライメント技術（LLaVA、TableGPTなど）に着想を得た、軽量なポストトレーニング・アライメント戦略であるTabPFN Text Adapterを提案しています。核心となる目的は、基礎となるモデルまたは文章エンコーダーの重みを更新することなく、LMのテキスト埋め込みをTabPFNの内部埋め込み空間に直接投影することです。

アーキテクチャとパイプライン

1. 特徴量の分離: テキスト列を数値およびカテゴリ列から分離します。TabPFNは、堅牢な性能を維持するために、後者を標準のエンコーダーを使用して処理します。
2. テキストの言語化（Verbalization）: フリーテキスト列については、各セルに列名を付加（例：column_name: text）して言語化します。このコンテキスト化により、言語モデルは異なる意味を持つ同一のテキスト値を区別できるようになります。
3. 埋め込み生成: 言語化されたテキストは、文章トランスフォーマー（具体的には all-MiniLM-L6-v2）を使用してエンコードされ、高次元の埋め込みが生成されます。
4. アダプターによる投影: 軽量なアダプターが、これらの埋め込みをTabPFNの192次元の埋め込み空間内の短いトークン列（1〜10個）へとマッピングします。
   • 構造: アダプターはTabPFNの機能エンコーダーを模倣します。分類タスクには線形層を、回帰タスクには2層MLPを使用します。
   • トークン数: アブレーション研究により、分類タスクには5トークン（性能と計算量のバランス）、回帰タスクには1トークン（最適な結果をもたらす）を使用することが示唆されています。
5. 融合（Fusion）: 適応されたテキストトークンは、標準的な表形式埋め込みと結合され、TabPFNのトランスフォーマーブロックに投入されます。

学習手順

• 凍結: 文章トランスフォーマーとTabPFNのアーキテクチャの両方を凍結します。アダプターの重みのみを更新します。
• 初期化: 強固な開始点を提供し、TabPFNが期待する埋め込み分布に整合させるため、アダプターは元のTabPFNエンコーダーの重みから初期化されます。
• データ: 事前学習にはSTRABLEベンチマークのサブセットを利用し、特に意味のあるフリーテキスト列を持つデータセット（カテゴリカルテキストとは、ユニークな値が20を超えることで区別される）を選択します。
• 置換不変性（Permutation Invariance）: アダプターが埋め込み次元の順序に依存しないマッピングを学習するように、学習時にはアダプターの前にLMの埋め込み次元にランダムな置換を適用します。推論時のアンサンブルでは、各アンサンブルメンバーに対して異なる置換を使用し、予測を平均化します。

主な貢献

1. PCAボトルネックの除去: アダプターは、テキストを直接モデルのトークンスペースに投影することで、PCA圧縮に伴う情報の損失を排除します。
2. 数値的強みの保持: TabPFNのコアとなる重みを凍結し、軽量なアダプターのみを訓練することで、エンドツーエンドのテキスト・表形式パイプラインでしばしば損なわれる、数値およびカテゴリ信号に対する優れた性能を維持します。
3. 効率性: この手法は、エンドツーエンドの事前学習よりも計算効率が高く、タスクタイプごとに投影トークン数を最適化することで、過剰なトークン数による二次的な複雑さのペナルティを回避します。
4. モダリティのアライメント: 視覚的指示チューニング（LLaVA）やテーブル・トゥ・LLMシステム（TableGPT）からのアライメント原理を、表形式予測の領域に成功裏に転用しました。

結果

本手法は、フリーのロングテキスト列を含む13のデータセット（分類6、回帰7）で構成されるベンチマークであるTextTabBenchを用いて評価されました。

• 回帰: TabPFN Text Adapterは、ConTextTabやPCA-30ベースラインを含むすべてのベースラインを上回りました。これは、PCA-30よりも大幅に少ないトークンを使用しながら達成されており、アテンションメカニズムの二次的な複雑さの観点から計算上の優位性を提供しています。
• 分類: アダプターはPCA-30ベースラインに近い性能（正規化ROC-AUCで84.5%対86.4%）を達成しましたが、これを上回ることはできませんでした。特にConTextTab（97.65%）には及びませんでした。これは、分類タスクにおいては、テキスト豊かな実世界のデータで事前学習されたConTextTabの優位性が依然として高いこと、あるいはトークン圧縮戦略がこのタスクタイプに対してさらなる洗練を必要としていることを示唆しています。

アブレーションによる洞察:

• トークン数: 最適なトークン数はタスクによって異なります（分類には10トークン、回帰には1トークン）。これは、おそらくTabPFNの機能エンコーダー（線形 vs MLP）のアーキテクチャの違いと事前学習のプライア（事前知識）に起因します。
• 融合の深さ: 早期融合（最初のトランスフォーマー層の前）は、後期融合よりも一貫して優れた性能を示しました。これは、TabPFNがテキストトークンを数値特徴量と共に最初から処理することから恩恵を受けることを示しています。
• 初期化: アダプターをTabPFNの重みから初期化することは、回帰において明確な利益をもたらしましたが、分類における効果は限定的でした。

重要性と限界

本論文は、TabPFN Text Adapterを、TabPFNのための完全なテキストエンコーダー・パイプラインを最適化するための重要な第一歩として位置付けています。これは、エンドツーエンドの事前学習よりもシンプルで安価、かつ柔軟な代替案を提供し、数値的な能力を犠牲にすることなく、最先端の表形式基盤モデルがテキスト特徴を活用できるようにすることに成功しています。

限界:
著者らは、現在のアダプターがすべてのタスクに対して同じ事前学習済み線形層またはMLPを適用している一方で、特定の埋め込み次元の重要性がタスクによって異なる可能性があることを認めています。彼らは、高次元のLM埋め込みを単一のTabPFNトークンにマッピングすることが、重大な情報損失を招くと仮定しています。今後の課題として、フルテキスト列、あるいは他の表の列（ターゲットを含む）に条件付け可能なアダプターを開発し、次元削減を動的に行うことで、TabPFNの統計的推論能力をより効果的に活用できる手法の開発が提案されています。