技術要約：表形式基盤モデルの不確実性定量化能力について

問題提起

代理モデリングは、力学や計算科学における高コストなシミュレーションを代替または拡張するために不可欠である。しかし、適切な確率的サロゲート（ガウス過程やニューラルネットワークなど）を選択し、学習させることは、特にデータがノイズを含んでいたり、不足していたり、あるいは高次元であったりする場合、依然として困難である。ガウス過程（GP）のような「伝統的」な手法は、明示的な学習およびサンプリング段階に依存して不確実性定量化（UQ）を行うが、一方で基盤モデル（FM）は、最小限のチューニングでタスク間で転移可能な代替案として台頭している。具体的には、Tabular Prior-Data Fitted Networks (TabPFN) は、タスクごとの再学習なしにベイズ事後予測分布を近似できることが期待されている。本研究が扱う中心的な問題は、TabPFNが、古典的な手法であるGPと同程度に信頼できる不確実性推定を提供できるのかどうか、そして「明示的な事前分布（GP）」と「学習された事前分布（TabPFN）」の間のトレードオフが、様々なデータレジームにおいてどのように現れるのかという点である。

手法

著者らは、多様な回帰問題に対して TabPFN v2.5 と ガウス過程（GP） を比較する包括的な実証研究を行った。

• ベンチマーク: 本研究では、6つの合成ベンチマーク（Wing Weight, Ackley, Dixon-Price, Griewank, Rosenbrock, Bucking）を用い、入力次元数（$D_x$）を4から40の範囲で設定した。また、2つの実世界のデータセット（Elevators, Pumadyn）も使用した。
• 実験設計: 学習データセットのサイズ（$N = 10D_x$ および $N = 40D_x$）とノイズレベル（低ノイズ: $\epsilon \sim \mathcal{N}(0, (0.005 \times c)^2)$、高ノイズ: $\epsilon \sim \mathcal{N}(0, (0.05 \times c)^2)$）を変化させて実験を行った。また、ロバスト性を評価するために非ガウスノイズ（Studentのt分布）もテストした。
• 実装の詳細:
  • GP: TabPFNの「アウト・オブ・ザ・ボックス（即時利用可能）」な性質と比較して公平な比較を行うため、GPは GP+ パッケージ [8] のデフォルト設定を用いて学習させた。これには、デフォルトの初期化、定数平均、およびガウスカーネルが含まれる（特定のサブ解析ではべき指数カーネルもテストした）。主要な比較においては、ハイパーパラメータやカーネルの手動チューニングは行わなかった。
  • TabPFN: モデルはGPU上でファインチューニングなしで実行された。
• 指標:
  • 予測精度: 相対平方根平均二乗誤差（RRMSE）によって測定。
  • UQの質: 区間の幅と被覆エラーの両方にペナルティを与える相対平均負の向きインターバルスコア（NIS）によって測定。
  • 計算コスト: 学習にかかるウォールクロック時間（GP）およびエンドツーエンドの推論時間（TabPFN）。

主な貢献

1. GPの原則的なデフォルト設定: 著者らは、多様なアプリケーションに対して手動チューニングなしで性能を最大化するために、GPを構築するための特定のデフォルト設定を推奨し、活用している。
2. オープンソースのベンチマーク: 本研究は、3つの重要な指標（点予測精度（RRMSE）、予測分布の質（NIS）、計算コスト）を用いた、GP+とTabPFN v2.5のオープンソースによる比較を提供している。
3. 実践的なガイドライン: 本研究は、エミュレータの選択を導くための経験的証拠を提供し、TabPFNが優位となるレジームと、伝統的なGPが依然として優れているレジームを明らかにしている。

結果と分析

精度と不確実性定量化

研究の結果、どちらの手法が常に優れているということはなく、性能はデータの可用性、次元数、および事前分布の適合性に強く依存することが判明した。

• データ希薄レジーム ($N = 10D_x$): 選ばれたカーネル（例：ガウスカーネル）が基礎となる関数に対して良好な事前分布を構成している場合、GPはしばしば優れた予測精度とUQを提供した。低ノイズの設定では、GPは信頼性高くノイズフロアを追跡したが、TabPFNには残留誤差が残った。
• データ豊富レジーム ($N = 40D_x$): TabPFNは、特に複雑で高次元の問題において、非常に競争力のある性能を達成した。しかし、Griewankのような特定のベンチマークでは、データが増加してもGPがTabPFNを上回り続けた。これは、特定の構造的レジームにおいて、TabPFNが競争力を得るためには大幅に多くのデータを必要とすることを示唆している。
• カーネルへの感度: 重要な知見は、GPの性能がカーネルの選択に敏感であることである。Dixon-PriceやRosenbrockのようなベンチマークでは、GPのカーネルをガウスからべき指数（PE）カーネルに変更することで性能が大幅に向上し、しばしばTabPFNを上回った。これは、「バニラ」なGPは事前分布が誤っている場合に性能が低下する可能性がある一方で、TabPFNの学習された事前分布はそのような誤設定に対してロバストであるが、適切に調整されたGPのような精密さに欠ける場合があることを強調している。
• 不確実性の較正（キャリブレーション）: TabPFNは、平均予測（RRMSE）が悪かったり、実行ごとに変動したりする場合でも、良好に較正された区間（タイトなNIS分布）を生成した。逆に、GPはBucklingの例においてRRMSEの高い変動性を示したが、データが増えることで劇的に改善した。

計算コスト

• GP: 共分散行列の逆行列計算により、学習コストは $O(N^3)$ でスケールする。高次元かつ大規模データの場合（例：$N=40D_x$ のGriewank）、GPの学習時間は数百秒に及び、実行不能に近い状態となったが、予測自体は高速であった。
• TabPFN: 推論コストは $O(N_c(N_c + N_q))$ でスケールする。TabPFNはGPU上で計算効率が高く（エンドツーエンドの推論に約1〜5秒）、CPU上では著しく遅くなる。本研究は、TabPFNがGPに求められるデータセットごとのハイパーパラメータ最適化を回避できるため、頻繁にデータセットが更新されるが、更新あたりの予測回数が少ないシナリオにおいて魅力的であることを指摘している。

実世界のデータセット

ElevatorsおよびPumadynのデータセットにおいても、合成データで見られた傾向が維持された。TabPFornはElevatorsにおいてGP+を上回ったが、GP+はPumadynにおいてTabPFNを上回った。どちらの場合も、データセットのサイズが増加しても性能の差は比較的安定しており、これらの特定の実世界の問題に対しては、単にデータを追加するだけでは両手法の根本的なモデルミスマッチが解決されないことを示唆している。

意義と主張

本論文は、TabPFNが正確な点推定を得るための費用対効果の高い手法であり、手動のプリプロセッシングやモデルチューニングを不要にする、高次元かつ大規模データレジームにおける伝統的なエミュレータの計算コストの低い代替手段であると主張している。

しかし、著者らは控えめに、**「適切なカーネルを備えた場合のGPには、TabPFNの能力は及ばない」**と結論付けている。本研究は、以下の根本的なトレードオフを浮き彫りにしている：

• GP は、データが乏しい設定や、ユーザーが適切なカーネルや平均関数を選択するために時間を投資できる場合に優れている。また、不確実性（偶然誤差 vs 認識誤差）の明示的な解釈性を提供する。
• TabPFN は、迅速な展開が必要な場合や、基礎となる関数クラスが未知であり、固定されたカーネルでモデル化することが困難な「アウト・オブ・ザ・ボックス」のシナリオにおいて優れている。

著者らは、TabPFNは強力な基盤モデルではあるものの、伝統的な手法を無効にするものではないと強調している。むしろ、実務家はGPのデフォルトを強力なベースラインと見なし、性能が飽和した場合には、より重いチューニングや基盤モデルへの切り替えを行う前に、軽微な調整（カーネルや平均の選択）を適用すべきであると考えている。本研究は、新興の表形式基盤モデルの明確な基準を提供するために、スケーラブルなGPや複雑なカーネル構成といった最近の進展を意図的に除外し、「バニラ」な実装に焦点を当てている。