技術要約：低データ・高次元出力問題のためのガウス過程潜在因子回帰（GPLFR）

問題設定

科学的分野における回帰タスクでは、限られた数の訓練例（$N$）から高次元の構造化された出力（$D_y$）を予測することが頻繁に求められます。マルチアウトプットガウス過程（MOGP）は、出力間の相関をモデル化することで低データ領域において優れた性能を発揮しますが、$D_y$が非常に大きい場合（例：$10^3$–$10^4$）には苦戦することがよくあります。対照的に、主成分分析（PCA）に続いてガウス過程回帰を行うといった標準的な「圧縮してから予測する」パイプラインは、出力再構成のための基底を学習することで高次元性を処理します。しかし、これらの手法は根本的なミスマッチを抱えています。学習された基底は、入力空間からの予測可能性を最大化するのではなく、再構成誤差を最小化するように最適化されています。そのため、出力に「入力とは独立しているが次元間で相関を持つ構造化されたノイズ（ニュサンス）」が含まれている場合、PCA-GPはその予測不可能な方向にモデリング能力を割り当ててしまい、性能を低下させる可能性があります。

手法：ガウス過程潜在因子回帰（GPLFR）

著者らは、表現学習と回帰を単一の目的関数へと結合させた確率モデルである**ガウス過程潜在因子回帰（GPLFR）**を提案しています。

コアモデル構造

GPLFRは、各高次元出力 $y$ が、入力空間上のガウス過程（GP）事前分布から生成された低次元の潜在状態 $z$ による線形ガウス・デコーディングであると仮定します。

1. 潜在的事前分布: 各例 $i$ について、潜在ベクトル $z_i \in \mathbb{R}^{D_z}$（ここで $D_z \ll D_y$）が生成されます。各次元 $q$ の潜在関数 $z^{(q)}(\cdot)$ は、特定のカーネル $k_q$ を持つ入力 $X$ に対する独立したGP事前分布に従います。
2. 線形デコーダ: 出力は $Y = ZW^\top + E$ とモデル化されます。ここで $W \in \mathbb{R}^{D_y \times D_z}$ はデコーダの重みを表し、$E$ は観測ノイズです。
3. 解析的周辺化: サンプリングや変分推論を必要とする標準的な潜在変数モデルとは異なり、GPLFRは（行列正規事前分布を仮定することで）デコーダの重み $W$ を解析的に周辺化します。これにより、潜在変数 $Z$ とカーネルのハイパーパラメータのみに依存する、崩壊（collapsed）した尤度が得られます。

既存モデルとの関係

本論文では、GPLFRと線形共変構造モデル（LMC）を、同一の基礎となる線形ガウス因子モデルの異なる周辺化として位置付けています。

• LMC: 潜在因子 $Z$ を周辺化することで得られます。これは明示的な出力共分散構造をもたらしますが、入力と出力の写像については潜在的な幾何学に関する情報をブラックボックスとして扱います。
• GPLFR: デコーダの重み $W$ を周辺化することで得られます。これにより、潜在変数がGPの事前分布による入力の類似性と、出力の再構成の両方によって同時に制約を受ける尤度が得られます。

この違いにより、GPLFRは（出力の結合構造を豊かにすることよりも）入力空間上の類似性構造を学習することにモデリング能力を集中させることが可能になります。これは、$N$ が小さく $D_y$ が大きい場合に極めて重要です。

正則化と最適化

低データ領域における豊かな共変構造行列 $B$ の推定の統計的不確実性に対処するため、GPLFRでは通常 $B = I$（単位行列）とし、潜在的な幾何学によって相関を捉えることに依存します。また、残差が相関している場合に（モデルの誤設定によって）尤度が出力次元の情報量を過大評価することを防ぐため、逆温度パラメータ $\beta \in (0, 1]$ を用いた尤度テンパリングを導入しています。さらに、潜在スコアが滑らかなGP関数によって正確に説明されるという要求を緩和するために、小さな潜在ノイズ項 $\lambda$ をGPの共分散に加えており、これにより最適化のランドスケープを安定させています。

主な貢献

1. 結合表現学習: 本論文は、表現を単に高分散な構造ではなく、予測可能な構造へとバイアスさせることで、低次元の潜在表現を回帰タスクと同時に学習するモデルを導入しています。
2. 解析的周辺化: デコーダの重みを周辺化する崩壊した尤度を導出することで、本手法は（PCAのように）特定の基底を点推定する必要も、複雑な変分推論を必要とすることも避け、高次元の出力に対しても効果的にスケールします。
3. 理論的接続: 本研究は、GPLFRとLMCの数学的関係を明確にし、異なる周辺化がいかに異なるデータ領域に適した帰納バイアスをもたらすかを明らかにしています。
4. 科学的応用: 著者らは、岩石型系外惑星の全球気候モデル（GCM）の最初の空間解像エミュレータを構築するためにGPLFRを適用しました。これは、高次元の出力（$D_y \approx 3 \times 10^4$）と非常に限られた訓練データという特徴を持つタスクです。

実験結果

著者らは、3つのタスクにおいてGPLFRをPCA-GPおよび他のベースラインと比較評価しました。

1. 合成ベンチマーク:

   • 設定: 予測可能な信号成分と、入力に依存しない構造化された「ニュサンス（ノイズ）」成分を持つデータ。
   • 結果: 構造化されたニュサンス変動が存在する場合、GPLFRはPCA-GPを大幅に上回りました。GPLFRは、PCA-GPと同じ誤差率を、約4倍少ない訓練データで達成しました。GPLFRの潜在表現は、真のランクにおいて、PCA-GP（54%）よりも多くの信号エネルギー（77%）を捉え、より少ないニュサンスエネルギーを保持していました。
   • 限界: すべての分散が予測に関連する無ノイズの極限においては、PCA-GPが標準的なGPLFRをわずかに上回りましたが、PCAで初期化したGPLFRであればその差を埋めることができます。

2. 生物医学光学（PyXoPtエミュレーション）:

   • 設定: 生体組織の光学特性から500次元の放射反射プロファイルを予測するタスク。ここでのノイズは主に非相関であり、「PCAに適した」領域です。
   • 結果: PCAの仮定が成立する場合でも、GPLFRは優れたサンプル効率と表現効率を示し、より少ない潜在次元でより低い誤差床を維持しました。

3. 系外惑星気候エミュレーション:

   • 設定: 8つの連続的な惑星特性と離散的なGCMラベルから、岩石型系外惑星の3次元大気状態（温度、湿度、風など）を予測する。データセットには、わずか307個の高忠実度サンプル（および1,419個の補助サンプル）が含まれています。
   • 結果: GPLFRは、PPCA-ICM、PPCA-MLP、kNN、および訓練平均ベースラインと比較して、すべての変数において最も低いRMSEおよびエネルギー・スコアを達成しました。最良の確率的ベースライン（PPCA-ICM）に対する改善幅は、**8%から34%**に及びます。この結果は、シミュレーション設定の違いから生じる構造化された入力非依存の変動（ニュサンス）がPCAベースの手法を混乱させる一方で、GPLFRはこれを効果的に除去できることを示唆しています。

意義と主張

本論文は、GPLFRが、低データ・高次元回帰問題における「圧縮してから予測する」パイプラインに代わる、原理に基づいたエンドツーエンドの選択肢を提供すると主張しています。その主な意義は、予測可能な構造を優先する能力にあり、出力に予測不可能な構造的ノイズやニュサンスが含まれる場合に特に効果を発揮します。

著者らは、潜在変数とカーネルのハイパーパラメータの結合により、GPLFRの計算コストは最適化の難易度が高いことを指摘しています。しかし、正則化（尤度テンパリングと潜在ノイズ）を通じてこれに対処できることを示しています。系外惑星の気候モデリングへの適用成功は、データの生成コストが高く、かつ出力が複雑な空間解像フィールドである科学的分野における、本手法の有用性を際立たせています。