技術要約：表形式基盤モデルがモダリティを越えて転移する場合

問題提起

現在の分類パイプラインは、モダリティごとに断片化されています。表形式データ（勾配ブースティング決定木）、視覚・テキスト（チューニングされた線形プローブ）、分子（ChemBERTa）、音声（AST）、グラフ（GIN）では、それぞれ異なるツールやチューニングの手法が用いられています。この断片化により、「クロスモダリティ転移」の主張を評価することが困難になっています。なぜなら、それらの評価は一貫性のない比較基準（例：チューニングされていないプローブやオラクル選択との比較）に基づいていることが多いからです。本論文は、データが固定されたベクトル表現にマッピングされれば、下流の分類ステップはモダリティ固有である必要はないと仮定しています。核心となる課題は、単一の統一されたパイプラインが、ハイパーパラメータのチューニングを行うことなく、多様なモダリティにおける最強の軽量チューニング済みベースラインに対抗できるかどうかを判断することです。

手法

著者らは、95のデータセット（視覚、音声、音声信号、テキスト、分子、時系列、表形式の7つのモダリティにまたがる）に対して同一に適用される、統一された3段階の分類パイプラインを提案しています。このパイプラインは、凍結された特徴表現上で動作し、以下の構成要素からなります。

1. 適応型ETF前処理 (Adaptive ETF Preprocessing):

   • 特徴量の幾何学的形状を再構成する等角タイトフレーム（ETF）前処理段階であり、クラス平均がニューラル崩壊（neural collapse）に関連する等角タイトフレームの幾何学に近づくよう促します。
   • 深さ4のMLPが入力特徴量を256次元の単位球へと写像し、固定された単体ETFターゲットに対して最適化を行います。
   • 適応型スキップ (Adaptive Skip): 入力次元 $d \le 30$ の場合、エンジニアリングされた低次元の特徴量に対して幾何学的な利点がオーバーヘッドを上回るため、この段階はスキップされます。
   • 学習停止 (Training Stop): バージョン間のバイアスを防ぐために検証セットを使用せず、幾何学的基準（クラス内・クラス間散布比 $R$）またはハードキャップ（200エポック）に基づいて学習を停止します。

2. TabICL 推論 (TabICL Inference):

   • パイプラインは、インコンテキスト推論のために表形式基盤モデルである TabICL を使用します。
   • アンサンブル戦略: 生の特徴量に対しては、8つのコンテキスト置換によるアンサンブルを使用します。ETF前処理済みの特徴量に対しては、アンサンブルによる分散の減少を考慮し、単一の置換へと切り替えます。

3. 事後温度スケーリング (Post-hoc Temperature Scaling):

   • ETF前処理は過剰適合（overconfidence）を引き起こします。信頼度に基づいたデプロイメントを可能にするため、訓練セットの20%のホールドアウトを用いて温度スケーリングを適用し、確率の較正（calibration）を復元します。

評価プロトコル:
本論文は、厳格な「同一特徴量」比較プロトコルを採用しています。性能は、同じ凍結特徴量（例：チューニングされた線形プローブやOptuna探索を用いたXGBoost）を用いた最強の軽量チューニング済みベースラインと比較して判定されます。専門的なフルバックボーンのファインチューニングやオラクル細胞選択の結果は、文脈を提供するために別途報告されますが、主要な比較対象ではありません。

主な貢献

1. 体系的なクロスモダリティ評価: 10以上のエンコーダーファミリーおよび7つのモダリティにわたる、多様な凍結エンコーダー埋め込みに対する、統一されたゼロチューニング・プロトコルを用いた初の評価。
2. モジュール式ETF前処理: エンコーダーの事前学習とは独立した、エンコーダーに依存しないモジュールとしてのETF前処理を導入。検証データを用いずに動作する幾何学的早期終了基準（$R < 0.05$）を利用しています。
3. 較正と信頼シグナル: TabICLは構造的に良好に較正されていますが、ETF前処理がこれを乱すことを示しました。提案された事後再スケーリングは較正を復元し、信頼度ゲート付きデプロイメント（高信頼度の予測を自動受理する）のための信頼できる予測ごとの信頼度シグナルを提供します。
4. レジームの特性化: 2つの異なる運用レジームを特定しました。
   • 同等レジーム (Equivalent Regime): パイプラインがチューニング済みベースラインと同等の性能を発揮する（統計的に区別不能）状態ですが、大幅な速度上の利点があります。
   • 改善レジーム (Improving Regime): パイプラインが表現の有用性を意味のあるレベルで向上させる（平均利得 +12.6pp）状態であり、主に低次元のエンジニアリングされた音声特徴量や、特徴量とタスクの不一致があるケースで見られます。
5. デプロイメント・ガイドライン: 同等レジームと改善レジームを区別するための事前デプロイメント・レジーム予測器（パネルAにおいて91.4%のLOO精度）を含む実用的なフレームワーク、およびETF前処理をスキップすべき具体的なルールを提供します。

結果

• 性能: 95のデータセットにおいて、展開されたプロトコル（パネルA、クロスモダリティ）において最強の軽量チューニング済みベースラインに対し 77.1%の勝敗またはタイの割合 を達成し、ホールドアウトの表形式データ（パネルB）では 91.5% を達成しました。
• レジーム分割:
  • 同等 (30/35 データセット): パイプラインはベースラインと同等の性能を示します。ここでの価値は運用の面であり、単一のスタックですべてのモダリティを扱い、タスクごとのチューニングを不要にします。
  • 改善 (5/35 データセット): パイプラインはベースラインを大幅に上回り、特に低次元の音声特徴量（MFCC、メル統計量）や、不整合な埋め込み（UrbanSound8KにおけるWav2Vec2など）において顕著です。
• 速度: パイプラインは、フルバックボーンのファインチューニング（AST, ChemBERTa, GIN）よりも 4倍から200倍高速 であり、チューニングされた線形プローブと同等の速度でありながら、後者のようなデータごとのチューニングのオーバーヘッドを回避できます。
• 較正: 温度スケーリング後、パイプラインは良好に較正された確率を生成します。閾値 $\tau=0.9$ において、79.5%の予測を自動確認し、条件付き精度は93.6%となり、人間によるレビュー負荷を4.9倍軽減します。
• 限界: 本パイプラインは、チューニングされた線形プローブがすでに天井に近い現代的な基盤モデルの埋め込み（例：テキスト基盤、音声基盤）には効果がなく、現在のベンチマークにおける音声タスクを救済することもできません。

意義と主張

本論文は、クロスモダリティ転移は成功か失敗かの二値的なものではなく、構造的に異なる2つのレジームに分かれると主張しています。主な貢献は、「同一特徴量」による誠実な比較であり、以下の事実を明らかにしています。

1. 同等は一般的である: ほとんどのデータセットにおいて、単一の統一されたパイプラインは、専門的なチューニング済みベースラインと同等の性能を発揮します。
2. 速度が差別化要因である: パイプラインは、専門的なファインチューニングと比較して、適応時間と計算コストを劇的に削減しますが、大部分のケースで品質の低下を招きません。
3. 向上は存在するが稀である: 低次元の特徴量や不整合などの特定のケースでは、パイプラインは真の品質向上をもたらしますが、これらは事前に予測することが困難です。

著者らは、この研究を、断片化された分類の風景を簡素化するためのステップとして位置づけています。これは、広範に競争力があり、専門的なファインチューニングよりも大幅に高速で、信頼できる信頼度シグナルを生成できる「ゼロタッチ」のレシピを提供します。彼らは、このパイプラインが常に最高の専門モデルや高度にチューニングされたパイプラインに勝るわけではないものの、速度や運用のシンプルさが優先される場合には、十分に有力なデフォルトになり得ることを明言しています。