Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features

技術要約：汚染されたベイズ的ランダム特徴量における堅牢な予測不確実性と二重降下

問題提起
ランダム特徴量（RF）モデルは、大規模データセットに対してカーネル法をスケールアップするための標準的なメカニズムであり、リッジ正則化された学習は、ガウス事前分布と尤度を用いた最大事後確率（MAP）推定として解釈されることが多い。しかし、古典的なベイズ的RF定式化は、モデルの仮定（係数に対するガウス事前分布および出力に対するガウス尤度）が実際には正確ではないことを前提としている。重い裾を持つノイズ、ラベルの汚染、不均一分散、あるいは分布シフトによって生じる逸脱は、過度に自信に満せり、外れ値に脆弱、あるいは事前分布の選択に敏感な事後予測分布をもたらす可能性がある。本論文は、事前分布と尤度の誤設定を明示的に考慮した場合に、ベイズ的RFの結論がどのように変化するかという問いに対処しており、特に、RFモデルの構造的特性（二重降下現象など）がこのような不確実性の下でも維持されるかどうかを調査している。

手法
著者らは、単一の事前分布および尤度の指定を、クレダル集合（確率測度の凸かつ弱*閉集合）に置き換えた堅牢なベイズ的定式化である**汚染ランダム特徴量（Contamination Random Features: CRF）**モデルを提案している。

• 汚染集合： 本モデルは、$\epsilon$-汚染事前分布集合と$\eta$-汚染尤度集合を利用する。これらは、ベースラインとなるガウス仕様（$P^N$ および $L^N$）と、任意の代替分布（$Q$ および $S$）との混合として定義される。形式的には、$P_\epsilon = \{(1-\epsilon)P^N + \epsilon Q\}$ および $L_\eta = \{(1-\eta)L^N + \eta S\}$ である。
• 推論規則： 著者らは、悲観的な一般化ベイズ更新（Walley, 1991）を採用している。このアプローチは、単一の事後分布を更新するのではなく、クレダル集合の上下のエンベロープ（包絡線）を更新することにより、保守的（最悪ケース）な事後結論をもたらす。
• 解析的手法： 論文では、下限および上限の事後予測密度に関する明示的な境界を導出している。これは、汚染パラメータ $\epsilon$ および $\eta$ を、事前分布およびデータ生成に関する仮定の「曖昧さの予算（ambiguity budget）」として解釈し、頑健性または感度のパラメータとして扱うものである。

主な貢献

1. 明示的な予測境界： 著者らは、事前分布と尤度の同時汚染によって誘導される、扱いやすく明示的な事後予測密度の境界を導出した。彼らは、下限事後予測密度 $\underline{\ell}_{pred}$ が $\underline{\ell}_{pred} \leq (1-\eta)\ell_{pred}$ を満たすことを証明している（ここで $\ell_{pred}$ は古典的なガウス予測密度である）。上限には、加法的な最悪ケースの項が含まれる。これらの結果は、事前分布と尤度の緩やかな汚染が、近似的に事後予測分布への直接的な汚染として作用することを示唆している。
2. 不正確な最高密度領域（IHDR）： 予測不確実性を定量化するために、ターゲットとする下限予測確率質量を達成する最小の領域として定義されるIHDRを導入している。著者らは、IHDRが、調整された被覆レベル（$\beta = \min\{1, \frac{1-\alpha}{1-\eta}\}$）を持つ古典的なガウス事後予測分布の信頼区間によって効率的に近似できることを示している。これは、堅牢な予測区間を得るための計算可能な手順を提供する。
3. 分散の境界と漸近挙動： 予測分散の上限および下限の境界を導出している。上限における緩やかな切断近似の下で、これらの分散境界は、古典的な予測分散のアフィン変換であることが示される。極めて重要なことに、著者らは、RFモデルで知られる主要項の比例成長漸近挙動が保持されることを証明している。
4. 二重降下の保持： 二重降下のフェーズ構造（補間閾値 $N \approx n$ 付近でのリスクと分散の特異な挙動）が、汚染の下でも保持されることが分析によって示されている。汚染パラメータは、分散のピークの大きさを増幅させるリスケーリング因子として機能するが、比例成長領域におけるその位置をシフトさせることはない。

結果

• 理論的境界： 導出された境界は、古典的なガウス事後予測分布の周囲の不確実性エンベロープが、汚染レベル $\epsilon$ および $\eta$ によって直接影響を受けることを裏付けている。下限は単純なリスケーリングであるが、上限はリスケーリングに加えて切断区間に依存する項を含む。
• 漸近挙動： 比例漸近領域（$n, d, N \to \infty$ かつ比率が固定）において、堅牢なモデルはベースラインのRFモデルと同じ漸近挙動を保持する。二重降下のピークとしての予測分散は、同じ位置（$\psi_1 = N/d$）に留まり、その高さは汚染によって増幅される。
• 数値検証： ラベルの誤設定（Huber型の外れ値によるシミュレーション）を用いた実験により、汚染レベル $\eta$ を増やすことで、補間閾値付近でのテストMSEのピークが増幅されるものの、その位置は移動しないことが確認された。バイアス成分は安定しているが、分散成分が二重降下の挙動を駆動しており、これは理論的境界と一致している。

意義と主張
本論文は、ベイズ的ランダム特徴量のための堅牢性理論を確立している。RFモデルにおける予測不確実性は、限定された事前分布および尤度の誤設定下においても、計算可能かつ漸近的に良好な挙動を維持できると主張している。

• 犠牲のない堅牢性： このフレームワークは、ガウス的RFモデルの解析的な扱いやすさを放棄することなく、明示的な最悪ケースの保証（不確実性エンベロープおよびIHDRを介して）を提供する。
• 構造的安定性： 中心的な主張は、高次元学習の構造的特徴、具体的には二重降下現象が、モデルの誤設定に対して堅牢であることである。汚染は不確実性の「希釈」または増幅として作用するが、モデルの根本的な相転移構造を変更することはない。
• 実用的な有用性： 提案された手法は、外れ値や分布シフトが存在する場合に不確実性を定量化するための原理的な方法を提供し、実務者が汚染パラメータに基づいた感度曲線や較正された予測区間を報告することを可能にする。

著者らは、任意の非パラメトリックな汚染の下で汚染レベル $(\epsilon, \eta)$ を完全に自動的に選択するには、追加のモデリング仮定が必要であり、それは今後の課題として残されていると述べている。同様に、上限の分散境界のための切断区間の選択は現在ヘリスティックなものであるが、データ適応的な選択が将来の研究方向として特定されている。