技術的サマリー：構造化合成事前分布によるデカップリングされた PFN

問題定義

事前適合ネットワーク（PFN）は、合成タスク事前分布に対するメタ学習を通じて、償却ベイズ予測のための強力なメカニズムを提供する。これらはコンテキストデータセットとクエリ入力を、単一のフォワードパスで事後予測分布にマッピングし、タスクごとの最適化の必要性を排除する。しかし、アクティブラーニングやベイズ最適化（BO）のような逐次意思決定タスクにおいては、標準的な PFN の出力が決定的な限界を示す：それは、ノイズのある観測値に対する事後予測分布（$p(y^*|x^*, D)$）を提供するに過ぎない。

この分布は、2 つの異なる不確実性の源を混同している：

1. エピステミック不確実性：潜在信号（基礎となる関数）に関する、削減可能な不確実性。
2. アレイトロピック不確実性：観測ノイズに起因する、不可避な不確実性。

逐次意思決定において、獲得関数は潜在信号を探求するためにエピステミック不確実性の削減を優先すべきである。もしモデルが高ノイズ（アレイトロピック）と高無知（エピステミック）を区別できない場合、総予測分散に基づく獲得則は、潜在関数の未探索領域ではなく、高ノイズ領域を繰り返しクエリすることで予算を浪費する可能性がある。

本論文は、標準的な PFN でこれを解決することに対する理論的障壁を確立している：命題 1は、エピステミックとアレイトロピックの分割が、周辺予測分布のみからは識別不可能であることを証明する。標準的な PFN が周辺予測分布 $p(y^*|x^*, D)$ を完全に学習したとしても、完全同一の周辺分布をもたらす信号分散とノイズ分散への加法的分解の連続体が存在する。その結果、ノイズのあるターゲットのみに訓練された標準的な PFN は、一意の分解を学習するための目的レベルのインセンティブを持たない。

手法

この非識別可能性を克服するため、著者らは PFN の固有の利点を利用する：合成データ生成プロセスは研究者の制御下にある。彼らは、拡張された合成タスク事前分布に由来する特権的監督を用いて訓練されるデカップリングされた PFNアーキテクチャを提案する。

1. 拡張合成タスク事前分布

事前学習中、合成ジェネレーターは修正され、各タスク $\tau$ に対して信号とノイズの分解を明示的に定義する：

• ノイズのない潜在信号関数 $f_\tau(x)$ がサンプリングされる。
• 観測ノイズ関数 $\sigma^2_\tau(x)$ がサンプリングされる（同分散および異分散ノイズの両方をサポート）。
• 観測値は $y = f_\tau(x) + \epsilon$ として生成され、ここで $\epsilon \sim \mathcal{N}(0, \sigma^2_\tau(x))$ である。

重要なのは、ジェネレーターが訓練中に特権的補助ターゲットを提供することである：各クエリに対するノイズのない信号 $f_\tau(x^*)$ とノイズ分散 $\sigma^2_\tau(x^*)$ である。テスト時には、モデルは標準的な入力（コンテキスト $D$ とクエリ $x^*$）のみを受け取り、標準的な PFN インターフェースを維持する。

2. デカップリングされたビン化アーキテクチャ

モデルは、ビン出力戦略を用いて信号成分とノイズ成分を個別に予測するように適応される：

• 潜在信号ヘッド（エピステミック）：ノイズのない信号 $f^*$ を表す固定ビン上のカテゴリカル分布 $\pi^{(f)}_\theta$ を予測する。この分布はエピステミック不確実性を捉える。
• アレイトロピックヘッド：対数分散空間において観測ノイズ分散 $\hat{\sigma}^2_\theta(x^*, D)$ を予測する。
• 誘導予測：最終的な観測レベルの予測分布 $p(y)$ は、学習されたガウスノイズモデルと潜在信号分布を畳み込むことで得られる。これにより、モデルは観測レベルのタスクに対して標準的な PFN インターフェースを維持しつつ、意思決定のために潜在信号を露出させる。

3. 訓練目的

訓練目的は 3 つの損失項を組み合わせる：

1. 予測損失：誘導された観測分布に対する標準的なビン化負対数尤度（モデルが $y$ の良い予測者であることを保証）。
2. エピステミック損失：特権的 $f_\tau(x^*)$ によって監督される、潜在信号ビン上の交差エントロピー損失。
3. アレイトロピック損失：特権的 $\sigma^2_\tau(x^*)$ によって監督される、対数分散空間における二乗誤差。

著者らは（命題 2）、この目的の下で、補助ヘッドが離散化された信号のベイズ最適条件付き分布と、ノイズ分散の条件付き幾何平均を回復することを証明する。

4. 獲得戦略

下流タスク（BO、HPO、アクティブラーニング）において、著者らは標準的なベースラインで使用される総予測分散ではなく、潜在ヘッドから導出されたエピステミックのみの指標（例：潜在平均とエピステミック分散に基づく期待改善）を用いて獲得関数を定義する。

主要な貢献

1. 理論的非識別可能性：本論文は、周辺分布の完全な学習を有してさえも、標準的な PFN の事後予測分布がエピステミックとアレイトロピックの分解を一意に識別しないことを形式的に実証する。
2. デカップリングされた PFN アーキテクチャ：合成ジェネレーターからの特権的監督を利用して、潜在信号とノイズのための個別のヘッドを訓練する新規手法であり、モデルが意思決定に関連するエピステミック信号を露出させることを可能にする。
3. 実証的検証：この手法は 2 つの公開ファウンデーションモデル（TabICL および TabPFN v2.5）にインスタンス化され、ハイパーパラメータ最適化（HPO）、合成ベイズ最適化、およびアクティブラーニング across 評価された。

結果

本論文は、3 つの主要な設定における結果を報告し、デカップリングモデルを、同じバックボーンと事前学習を共有するがデカップリングヘッドと特権的監督を欠く「チューニング済み」ベースライン、および標準的な外部ベースライン（GP、TPE、ランダムサーチ）と比較する。

• ハイパーパラメータ最適化（HPO）：デカップリングモデルはここで最も明確な改善を示す。LightGBM、XGBoost、ランダムフォレストなどのノイズのあるおよび異分散評価を含む 8 つのベンチマークの掃引において、Dec-ICL（デカップリング TabICL）モデルは最良の平均順位（2.50）を達成し、そのチューニング済み対応（3.62）を大幅に上回った。著者らはこれを、エピステミックのみの獲得が探索空間内の高ノイズ領域を回避する能力に起因すると帰着している。
• 合成ベイズ最適化：滑らかで低次元の合成ベンチマーク（Branin、Hartmann、Ackley）において、デカップリングモデルは競争力のあるままである。Dec-PFNは最良の平均順位（2.60）を達成し、そのチューニング済み対応（2.80）をわずかに上回り、標準的な GP および TPE ベースラインを上回った。改善は HPO よりも小さかったが、これは滑らかで低ノイズの関数が総不確実性とエピステミック不確実性をより密接に一致させるという事実と一致する。
• アクティブラーニング：実世界の回帰データセットにおいて、エピステミック分散を用いて獲得を行うデカップリングモデルは、10 の RMSE 比較のうち 7 つで、総分散を用いたチューニング済みベースラインを一貫して上回った。

意義と主張

本論文は、提案された手法の主な価値は純粋な回帰精度ではなく、逐次意思決定にあると主張する。

• 失敗モードの緩和：デカップリングアプローチは、「総分散探索」という失敗モードを緩和する。これは、標準的なモデルがノイズと無知を区別できないため、高ノイズ領域に陥り込む現象である。
• 帰納的バイアスの転移：この手法は、合成データ上の特権的監督を通じて学習された信号とノイズの分解が、実世界のタスクへ効果的に転移し、有用な帰納的バイアスとして機能することを示している。
• PFN の再定義：著者らは、PFN を単に事後予測の高速近似器としてではなく、合成事前学習目的の設計を通じて意思決定に関連する不確実性表現を学習する手段として見るべきであると提案する。

著者らは範囲について謙虚であり、その有効性は合成ノイズの仮定が実世界のタスクにどの程度転移するかにかかっていること、および現在の実装は獲得のためのガウスモーメントマッチング近似を使用していること（これは実用的な簡略化である）と指摘している。改善は、ノイズが多く構造化された設定（HPO など）で最も顕著であり、滑らかで低ノイズの環境では重要度が低い。