技術的サマリー：MulTaBench

問題提起

表形式基盤モデル（TFM）は、構造化された数値データとカテゴリカルデータを用いた事前学習を活用することで、教師あり表形式学習において最先端（SOTA）のパフォーマンスを確立しています。しかし、これらのモデルは本質的に単一モダリティであり、テキストや画像といった非構造化モダリティをネイティブにサポートしていません。現在のマルチモーダル表形式学習（MMTL）へのアプローチは、非構造化入力を処理し、それを表形式学習器に投入する前に、LLM や VLM などの事前学習済み埋め込みを**凍結（frozen）**して利用することに依存しています。

本論文は、このアプローチが以下の 2 つの主要な理由により最適ではないと主張しています：

1. 情報損失：事前学習済み埋め込みは、X 線画像とマンモグラフィーを区別するなど、広範でグローバルな意味内容の最適化に特化しており、情報損失を伴う要約として機能します。これらは、特定の下游予測タスクに不可欠な微細な詳細（正確なサイズ推定、局所的な異常、特定のテキストニュアンスなど）をしばしば破棄してしまいます。
2. タスク非依存の限界：既存のベンチマークは、多くの場合、モダリティの共起性そのものよりも、**ターゲット認識型表現（TAR）**の必要性に焦点を当てていません。多くの MMTL タスクにおいて、非構造化モダリティの最適な表現は、特定の予測ターゲットと他のモダリティが提供する文脈に強く依存します。現在のベンチマークは、タスク非依存の埋め込みが必要な予測信号を捉えられないデータセットを分離することに失敗しています。

手法

選定パイプライン

ベンチマークのギャップに対処するため、著者は以下の 2 つの特定の性質を満たすデータセットを選定するためのアルゴリズム的パイプラインを開発しました：

1. 結合信号（Joint Signal）：非構造化モダリティ（テキストまたは画像）は、構造化された表形式データと組み合わせることで、単独のモダリティが達成するものを超えて予測性能を向上させる補完的な情報を提供しなければなりません。
2. タスク認識性（Task-Awareness）：データセットは、予測ターゲットに特化して調整された埋め込みである**ターゲット認識型表現（TAR）**が、凍結された市販の埋め込みを上回ることを実証しなければなりません。

実験条件：
このパイプラインは、LightGBM、CatBoost、TabM、TabPFNv2、TabPFN-2.5 の 5 つの多様な表形式学習器を用いて、候補データセットを以下の 4 つの条件下で評価します：

• 単一モダリティ構造化：表形式特徴のみ。
• 単一モダリティ非構造化：埋め込みを介した非構造化特徴のみ。
• 結合凍結：表形式＋非構造化（凍結埋め込みを使用）。
• 結合 TAR：表形式＋非構造化（ターゲット上で微調整された埋め込みを使用）。

TAR の実装：
TAR を生成するために、著者は前処理ステップとして、予測ターゲットに対してエンコーダの最後の 3 層を LoRA を用いて微調整します。この適応は、構造化特徴や下游の表形式学習器とは独立して行われます。回帰タスクでは、トレーニングを安定させるために連続ラベルをビンに離散化します。

受入基準：
データセットがベンチマークに含まれるためには、5 つの学習器のうち少なくとも 3 つにおいて以下の条件を満たす必要があります：

• 結合凍結条件が、両方の単一モダリティのベースラインを上回る（結合信号の検証）。
• 結合 TAR条件が、結合凍結条件を上回る（タスク認識性の検証）。

MulTaBench データセット

このパイプラインを用いて、著者は40 のデータセットからなるベンチマークMulTaBenchを構築しました：

• 画像 - 表形式データセット 20 件：公開ソースおよび文献から選定され、医療（例：CheXpert、CBIS-DDSM）、e コマース、生物学などのドメインにまたがります。これは現在までに存在する最大の画像 - 表形式ベンチマークです。
• テキスト - 表形式データセット 20 件：既存のベンチマーク（例：CARTE、TextTabBench、AutoML Multimodal）から派生し、厳格な選定基準を満たすようフィルタリングされました。
• 多様性：このベンチマークは、分類タスクと回帰タスクのバランス、サンプルサイズ（400 から 114,000 行）、特徴量の数において多様性を保っています。

主要な結果

1. ターゲット認識型表現の優位性

MulTaBench データセット全体において、TAR が常に凍結された埋め込みを上回ることが核心的な発見です。

• 汎化性：埋め込みの微調整による性能向上は、異なる表形式学習器（GBDT から TFM まで）、エンコーダの規模（小規模モデル対大規模モデル）、および埋め込み次元（15、30、60、または生 384 次元）にわたって汎化します。
• 向上の大きさ：向上の大きさはデータセットによって異なりますが、傾向は堅牢です。例えば、テキスト - 表形式サブセットでは、テストされたすべての学習器において、TAR が凍結された埋め込みよりも性能を向上させました。
• 定性的証拠：画像データセット（CheXpert、PetFinder など）における DINO-v3 を用いたアテンションマップ分析により、TAR がエンコーダの注目を無関係なグローバル特徴から、特定のタスクに関連する領域（肺炎検出における肺組織、年齢予測における動物の耳など）へとシフトさせることが明らかになりました。一方、凍結された埋め込みは散漫であったり、タスク無関係な詳細に焦点を当てたりしていました。

2. 既存ベンチマークの限界

著者が既存のテキスト - 表形式ベンチマーク（CARTE や TextTabBench などのソースからの 56 のユニークなデータセット）に選定パイプラインを適用したところ、以下の結果が得られました：

• 約23% が結合信号の基準に失敗しました（非構造化モダリティが何らの価値も追加しなかった）。
• 残りのうち、36% がタスク認識性の基準に失敗しました（凍結された埋め込みで十分であった）。
• 元のプールの中で41%のみが両方の基準を通過しました。
  これは、多くの既存ベンチマークが新しいマルチモーダルアーキテクチャを必要とする特定の課題を効果的に分離しておらず、TAR のメリットを潜在的に隠蔽していることを示唆しています。

3. 堅牢性と計算コスト

• エンコーダ規模：埋め込みモデルのサイズを小規模から大規模に増やすと下游の性能は向上しましたが、TAR はより大規模なスケールでも依然として凍結された埋め込みを大幅に上回りました。特に、調整された小規模モデルは、凍結された大規模モデルを上回る場合がありました。
• 次元性：TAR による利益は PCA 圧縮の人工物ではなく、生 384 次元の埋め込みを使用した場合でも持続しました。
• コスト：TAR は、主に微調整ステップに起因する計算オーバーヘッドを大幅に増加させます。テキスト TAR は、有効なデータセットサイズが大きい（複数のテキスト列がある）ため、画像 TAR よりも顕著に高価です。

意義と主張

本論文は、MulTaBench をマルチモーダル表形式基盤モデルの次世代の開発に必要なツールとして位置づけています。

• ギャップの埋め合わせ：著者は、現在のアーキテクチャ（PFN や TabSTAR、AutoGluon-Multimodal などの結合モデリングアプローチを含む）が、テキストや画像に対する TAR を学習しながら SOTA の表形式性能を維持することに成功していないと主張しています。MulTaBench は、この能力が要求されるデータセットを明示的にターゲットとしています。
• 将来の方向性：このベンチマークは、TAR の文脈化の利点とコンテキスト学習（ICL）の堅牢性と効率性を組み合わせるアーキテクチャの研究を促進するように設計されています。著者は、将来のモデルは理想的には両者の最良の側面を活用すべきであり、TFM と LLM/VLM を結合するか、または合成事前分布をマルチモーダル特徴を含むように拡張することによって可能になると示唆しています。
• 控えめな主張：著者は、選定パイプラインが計算上の問題とアルゴリズム的解決策（選択バイアス）を絡み合わせており、新しいデータセットが事前に通過するかどうかを予測することが困難であることを認めています。しかし、彼らはこのパイプラインが、静的表現が失敗する MMTL タスクの明確なクラスを分離することに成功しており、真のマルチモーダル基盤モデルを評価するための厳密なテストベッドを提供していると主張しています。

要約すると、MulTaBench は、高インパクトなマルチモーダル表形式タスクにおいて、非構造化表現のタスク固有の適応は単に有益であるだけでなく、しばしば必要不可欠であることを示しており、この方向性の研究を推進するための、初めての大規模かつ厳密に選定されたベンチマークを提供しています。