技術的サマリー：VIP-COP：表形式ファウンデーションモデルのためのコンテキスト最適化

1. 問題定義

TabPFN などの表形式ファウンデーションモデル（TFM）は、構造化データにおけるコンテキスト学習（ICL）のための強力なツールとして登場しました。これらのモデルは「アルゴリズム・イン・ア・ボックス」として機能し、ラベル付き訓練データをコンテキストとして使用して単一のフォワードパスで新しいタスクの予測を行うため、タスク固有のモデル学習を必要としません。しかし、TFM はコンテキスト長の制限という重大なボトルネックに直面しています。

事前学習された TFM は、通常、特定のサイズと次元性の制約を持つデータセットで学習されています。推論時のデータがこれらの事前学習分布（サンプル数 $n$ または特徴量数 $d$ の観点から）を超えると、モデルは分布外挙動を示し、汎化性能が低下します。TFM はモデル学習の必要性を排除しますが、最適化の負担を入力コンテキストへと転嫁します。最適なサンプルと特徴量の部分集合を選択することは、ハードコンテキスト最適化（HardCOp）と呼ばれる組み合わせ最適化問題となります。

既存のアプローチは、以下の 2 つのカテゴリーに分けられ、それぞれ限界があります：

• ヒューリスティック： モデル非依存の方法（ランダムサンプリング、クラスタリングなど）は汎用的な目的関数を最適化しますが、特定の TFM の帰納的バイアスを考慮できていません。
• ソフトプロンプト最適化（SoftCOp）： 抽象的な連続コンテキストトークンを学習する手法です。これらはモデル内部（勾配）へのアクセスを必要とし、解釈不可能な潜在表現を生成し、明示的にノイズをフィルタリングしたり特定のデータポイントを選択したりする能力が欠けています。

核心的な課題は、凍結されたブラックボックスの TFM に対してパフォーマンスを最大化する、ハードコンテキスト最適化（HardCOp）、すなわち離散的で解釈可能なサンプルと特徴量の部分集合を選択することです。特に、データが過大、ノイズを含んでいる、または拡張されている場合に重要です。

2. 手法：VIP-COP

著者は、与えられた TFM タスクに対して最も影響力のあるサンプルと特徴量を特定するための、高速で任意のタイミングで実行可能、かつブラックボックスなアルゴリズムであるVIP-COP（Very Important Predictors for Context OPtimization）を提案します。

中核概念：クレジット配分としての価値帰属

VIP-COP は、コンテキスト選択をクレジット配分問題として定式化します。クエリセットに対する TFM のパフォーマンスはコンテキストの集合的価値を反映するため、任意の単一のサンプルまたは特徴量の貢献度は、コンテキスト内の他のメンバーに依存します。著者は、協力ゲーム理論におけるシャプレイ値を用いて、各アイテムの**予測に対する重要度（VIP：Value of Importance for Prediction）**を推定します。

アルゴリズム的枠組み

VIP-COP は、線形回帰問題として定式化されたKernelSHAPの拡張を介してシャプレイ値を推定します：

• 従属変数： 特定の部分集合をコンテキストとして使用した際に得られる検証性能（$y_{val}$）。
• 独立変数： コンテキスト内の特定のサンプルまたは特徴量の存在を表すバイナリ指標（$c_i \in \{0, 1\}$）。
• 目的： 回帰係数が VIP スコアを近似します。

可能な部分集合の組み合わせ爆発に対処するため、VIP-COP は反復的洗練戦略を採用します：

1. オンライン回帰： ミニバッチ確率的勾配降下法（SGD）を実行して VIP 推定値を更新します。
2. 価値誘導サンプリング： 一様ランダムサンプリングの代わりに、新しいコンテキスト部分集合を重要度サンプリングによって生成します。アイテムを選択する確率は、温度パラメータ $\tau$ でスケーリングされた現在の VIP 推定値に比例します。
3. 温度スケジューリング： 新しい高価値アイテムの発見（探索）と既知の高価値アイテムの推定値の洗練（活用）のバランスを取るため、アルゴリズムは Hyperband に着想を得た、異なる温度スケジュールを持つ並列インスタンスを実行します。
4. マルチフィデリティ剪定： このプロセスは、ユーザーが指定した予算 $R$ に対して反復されます。各ラウンドで、新しい部分集合は単一の TFM フォワードパスでスコアリングされ、回帰が更新されます。

主要な特性

• ブラックボックス： モデルの勾配や内部構造へのアクセスを必要とせず、プロプライエタリおよびオープンソースの TFM と互換性があります。
• 任意のタイミングおよび予算対応： 追加の計算時間とともにパフォーマンスが単調に向上します。ユーザーは任意の時点で最適化を停止できます。
• 解釈可能： ソフトプロンプトとは異なり、離散的な「非常に重要な予測変数（Very Important Predictors）」（特定の行と列）を出力します。
• 堅牢： 信号をノイズから明示的に分離するため、データ拡張（有用な拡張サンプルの選択）およびノイズ除去（無関係な特徴量のフィルタリング）において効果的です。

3. 主要な貢献

1. テスト時コンテキスト最適化： 入力データがコンテキスト容量を超えているシナリオに特化し、任意の TFM に対して VIP サンプルと特徴量を部分選択する手法、VIP-COP の導入。
2. アルゴリズム的革新： 価値誘導重要度サンプリングとマルチフィデリティ剪定を用いた反復的 KernelSHAP 回帰によるシャプレイ値推定の新たな定式化。これにより、急速な性能向上と正確な価値推定のバランスが実現されます。
3. 望ましい特性： 高速（数分）、ブラックボックス、解釈可能、ノイズおよび拡張に対する堅牢性という特徴を有します。
4. 実証的検証： 多様なデータセット、次元、ノイズ設定において、ヒューリスティックおよび最適化されたベースラインに対して一貫して優れた性能を示すことを実証する広範な実験。

4. 実験結果

著者は、TALENT ベンチマークからの 38 の多クラス分類データセットにおいて、TabPFN-v1（$n_C=1024, d_C=100$ に制限）を用いて VIP-COP を評価しました。

• ベースライン： ヒューリスティック（Random, Ensemble, XLContext）および最適化手法（KMeans Reps, Decision Tree + TFM）と比較しました。
• オリジナル HardCOp： VIP-COP はベースラインに対して**1.54% から 14.68%**の性能向上をもたらしました。DT+TFM（大規模 $n$ データセットでは競合しましたが、小規模データセットではそうではありませんでした）を除くすべてのベースラインを大幅に上回りました。
• データ拡張（DA）： データが拡張され（潜在的にノイズを導入）、設定において、VIP-COP は**4.80% から 15.05%**の性能向上を示しました。他のベースラインが苦労した点である、有益な拡張を活用しつつ無益なものをフィルタリングする能力を成功裏に発揮しました。
• データノイズ（DN）： ノイズのある条件下（ドロップされたサンプル/特徴量がノイズに置き換えられた場合）、VIP-COP は特に特徴量ノイズのシナリオにおいて**154.11% から 240.81%**という大幅な改善を示し、信号を分離する際の優れた堅牢性を証明しました。
• 効率性： アルゴリズムはラウンドあたり約1.4 秒で実行されます。性能向上は通常数分以内（例：100 ラウンドで約 2.5 分）に達成され、性能と遅延の有利なトレードオフ（パレートフロンティア）を確立します。

5. 意義と主張

本論文は、VIP-COP によってコンテキスト最適化がヒューリスティックな実践から、表形式ファウンデーションモデルの中核となる原理的なコンポーネントへと昇華されると主張しています。コンテキスト選択を価値帰属問題として扱うことで、VIP-COP は TFM が以下を実現することを可能にします：

• 事前学習の制限を超えるデータ規模でも効果的に動作する。
• 関連するノイズによって劣化することなく、データ拡張戦略を活用する。
• プロプライエタリおよびオープンソースのモデルの両方に対して、堅牢なブラックボックスツールとして機能する。

著者は、VIP-COP を効果性、効率性、堅牢性を統合する解決策として位置づけており、基盤モデルのアーキテクチャ変更を必要とせずに、構造化データにおける信頼性の高いコンテキスト学習を可能にします。この研究は、TFM にとって「モデル」とは実質的にコンテキストであり、このコンテキストを最適化することが、現実世界のノイズの多い大規模シナリオにおいてその潜在能力を最大限に引き出す鍵であると示唆しています。