📊 statistics

Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

本論文は、平均場変分推論は常に不確実性を過小評価するという従来の定説に対し、ベイズ線形回帰において、あるパラメータ方向での過小評価が他の方向での過大評価を必要とするトレードオフによって、分布内データに対する予測分散を実際には過大評価し得ることを示すことで、この定説に異を唱えるものである。

原著者： James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

公開日 2026-06-25

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな誤解

長い間、科学者たちは「平均場変分推論（MFVI）」と呼ばれる特定の手法は、常に「自信過剰すぎる」と信じてきました。MFVIはデータを見て、推測を行い、「これについては確信している」と言ってしまうものの、実際にはもっと不確実であるべきであると考えていたのです。技術的な言葉で言えば、MFVIは分散（不確実性）を「過小評価」していると考えられていました。

この論文はその物語を根底から覆します。 著者たちは、MFVIがモデルの「内部の詳細」については確かに自信過剰である一方で、トレーニングデータに似たデータに対する予測を行う際には、実際には**「自信不足すぎる（不確実性を過大評価している）」**ことを示しました。

比喩：地図と道路

あなたが数枚の写真をもとに、ある街の地図を描こうとしている場面を想像してください。

「内部的」な視点（パラメータ空間）:
地図そのものを見ると、MFVIは通りに対して非常に小さくタイトな円を描きます。「この通りの場所は正確に分かっている」と考えているのです。街の残りの部分が霧に包まれ、未知であるという事実を無視しています。この意味では、MFVIは地図の詳細について自信過剰です。
「予測」の視点（予測空間）:
次に、あなたはドライバーとして、目の前の道路がどこへ続くかを予測しようとしています。
- 真実: 実際の道路はまっすぐで細いです。道が明確に定義されているため、不確実性は低いです。
- MFVIの予測: ステップ1において、MFVIがあまりにも小さくタイトな円を描いてしまったために、そのタイトな円が前方の道路にどのように反映されるのかについて混乱してしまいます。その結果、「道は左に行くかもしれないし、右に行くかもしれないし、あるいは消えてしまうかもしれない」という、巨大でぼやけた「おそらくこうだろう」という雲を描いてしまいます。
- 結果: 実際の道路（トレーニングデータ）の上で、MFVIは臆病になりすぎています。道路が実際よりもずっと危険で予測不能であると考えてしまうのです。

「シーソー」によるバランス調整

この論文は、この手法に関する奇妙なルールを説明しています：この手法は、たった一つの方向で間違えることはできない、ということです。

モデルの不確実性をシーソーと考えてみてください。

もしモデルがある方向において自信過剰（不確実性を過小評価）であれば、数学的なバランスを保つために、他の方向においては自信不足（不確実性を過大評価）にならざるを得ません。
論文は、トレーニングデータに似たデータ（分布内データ）に対しては、このシーソーの「自信不足」の側が勝つことを証明しています。つまり、モデルはリスクを過大評価してしまうのです。

「低温（Cold）」による修正

著者たちは、この過剰な慎重さを修正する方法を発見しました。ベイズ数学の世界には、「温度（Temperature）」という概念があります。

高温: モデルをよりリラックスさせ、広範囲に分散させます（より不確実になります）。
低温（Cold）: モデルをより鋭く、集中させます（より確実になります）。

通常、人々はモデルを「冷やす」ことで自信を持たせようと考えます。しかしここでは、モデルがすでに「怖がりすぎている（不確実性を過大評価している）」ため、著者たちは温度を下げる（「Cold」にする）ことが実際に役立つことを見出しました。

これは、神経質なドライバーに対して「あなたは危険を過大評価しています。深呼吸して集中してください」と伝えるようなものです。温度を下げることで、モデルの予測は現実へと引き戻され、真の正確な答えにうまく一致するようになります。

高次元の罠

論文は、事象が複雑になる（高次元になる）につれて、この問題が悪化する恐つの恐ろしいシナリオを示しています。

たった一つの通りの代わりに、1,000本の通りがある街をナビゲートしようとしている場面を想像してください。
もしあなたの写真がたった一つの特定の通りだけのものであれば、MFVIモデルは他の999本の空っぽの通りによって混乱し、実際に見たはずのその一つの通りのことさえ忘れてしまいます。
その結果、モデルはまるでデータが全くなかった時と同じくらい、道路の不確実性を予測してしまいます。トレーニングデータから学ぶことに完全に失敗してしまうのです。
しかし、「Cold」による修正（温度を下げること）を適用することで事態は救われます。これにより、モデルは「ああ、この通りについては何か知っている」と気づき、予測を修正できるようになります。

「コールド・ポステリア効果（Cold Posterior Effect）」

ディープラーニングの世界では、モデルを「冷やす（クールダウンさせる）」方がうまく機能することが多いという現象が研究者の間で指摘されています（これは「コールド・ポステリア効果」と呼ばれます）。通常、人々はこれを悪いデータや悪いモデルのせいにしてきました。

この論文は、それに対する新しい理由を提示しています。たとえ完璧なデータと完璧なモデルがあったとしても、MFVIの数学的性質によって、モデルは自然と臆病になってしまうのです。 したがって、モデルを「冷却」することは単なるハックではなく、モデルが知っているはずのデータに対して不確実性を過大評価するのを防ぐための、必要な修正なのです。

まとめ

旧来の信念: MFVIは常に自信過剰である。
新たな発見: MFVIはモデルの「内部設定」については自信過剰だが、馴染みのあるデータに対する「予測」については、自信がなさすぎる（不確実すぎる）。
解決策: 「温度」を下げる（ポステリアを「Cold」にする）ことで、この過剰な慎重さが修正され、予測が再び正確になります。
警告: 非常に複雑な高次元の状況では、この過剰な慎重さが深刻になり、モデルが学んだことを完全に忘れてしまうことがありますが、「Cold」による修正によって回避できます。

技術的要約：ガウス平均場変分推論は予測分散を過大評価する場合がある

問題提起
平均場変分推論（MFVI）は、文献において、事後分布の分散を過小評価し、予測の自信過剰（オーバーコンフィデント）を招く近似として広く特徴付けられている。この特徴付けは、パラメータ空間において事後分布を因子分解するMFVIが、低確率領域を避けるモード適合的な近似として機能し、結果としてパラメータ分布の分散を縮小させるという観察に基づいている。しかし、本論文は、目的がパラメータ推論から予測へと移行する場合、この特徴付けは不完全であると主張する。著者らは、MFVIがパラメータ空間における分散は過小評価するものの、訓練分布（イン・ディストリビューション：IDデータ）から抽出されたテストポイントに対しては、逆説的に予測分散を過大評価し得ることを示している。この過大評価は、訓練データが集中している方向において特に顕著である。

手法
著者らは、厳密な結果を導出するための扱いやすい設定として、**共役ベイズ線形回帰（BLR）**を用いた厳密な理論分析を行う。

セットアップ: モデルを $y = \theta^\top x + \epsilon$ （ガウスノイズを伴う線形モデル）、事前分布を $\theta \sim \mathcal{N}(0, \alpha^{-1}I)$ 、訓練データセットを $D$ と仮定する。
厳密解 vs 近似解: 厳密な事後分布 $p(\theta|D)$ （共分散 $\Sigma$ を持つ多変量ガウス分布）と、MFVI事後分布 $q(\theta) = \mathcal{N}(m, S)$ （ここで $S$ は対角行列に制約される）を比較する。
理論的導出:
- 最適なMFVIの平均 $m^*$ は、厳密な事後分布の平均 $\mu$ に等しいことを導出する。
- 最適なMFVI共分散の固有値 $d_p^*$ は、厳密な事後分布の固有値 $\delta_q$ の、厳密な事後分布の固有ベクトルと標準基底ベクトルの平方射影による加重調和平均であることを示す。
- これらの特性を用いて、異なるテストポイント分布に対する予測分散 $x^\top S^* x$ と $x^\top \Sigma x$ を分析する。
温度スケーリング: この乖離に対処するため、著者らは**コールド・ポステリア効果（CPE）**を調査する。彼らは、温度 $T < 1$ のテンパリングされた（コールドな）事後分布 $p_T(\theta|D) \propto p(D|\theta)^{1/T}p(\theta)^{1/T}$ へのKLダイバージェンスを最小化する「コールドMFVI」事後分布を定義する。共役ガウス分布の場合、これは単にMFVIの共分散を $T$ でスケールすること（ $S^*_T = T S^*$ ）に相当する。

主要な貢献

過大評価の理論的証明: 本論文は、球状事前分布を持つBLRにおいて、MFVIが訓練データの第1主成分方向に沿って予測分散を過大評価することを証明している。極めて重要な点として、テストポイントが経験的な訓練分布に従って分布している場合、MFVIの期待予測分散は厳密な事後分布よりも大きくなる（定理3.7）。
較正（キャリブレーション）の制約: 著者らは、「較正」特性（補題3.6）を確立している：真の事後分布の固有ベクトルにわたって平均された、MFVIの分散と厳密な分散の比は1となる。これは、もしMFVIがある方向（通常はデータに直交する方向）で分散を過小評価する場合、補償するために他の方向（通常はデータの分散が高い方向）で過大評価しなければならないことを意味する。
病理的な高次元極限: データがランク1の部分空間上に存在するという病理的な設定において、次元 $P \to \infty$ のとき、MFVI事後分布は予測分散を事前分布と比較して全く減少させられないことを示す。単一のデータ方向からの情報が $P$ 個の軸に沿った成分に希釈されるため、MFVIの予測は事前予測へと崩壊してしまう。
コールド・ポステリア効果の再解釈: 本論文は、モデルのミスマッチやデータ拡張を伴わない状況における、コールド・ポステリア効果（CPE）の新しい説明を提供する。彼らは、温度を下げること（ $T < 1$ ）が、IDデータに対する予測分散の過大評価を修正し、MFVIの予測を厳密な事後分布に近づけることを主張する。逆に、アウト・オブ・ディストリビューション（OOD）データに対しては、過小評価を修正するために「ウォーム」な事後分布（ $T > 1$ ）が必要となる場合がある。

結果

合成実験: 低次元の設定（ $P=2$ ）では、 $T=1$ におけるMFVIは厳密な事後分布を良好に近似する。しかし、ランク欠損のある高次元設定（ $P=1024$ ）では、 $T=1$ におけるMFVIは事前分布と区別がつかなくなり、データに含まれる情報を捉えることができなくなる。
温度チューニング: 合成および実世界のUCI回帰タスク（基底関数回帰を使用）を用いた実験により、以下を確認した：
- IDテストデータに対しては、最適な温度 $T^*$ は一貫して1未満であり、これによりMFVIと厳密な予測分布の間の様々な統計的ダイバージェンス（KL、ワッサースタイン距離など）を最小化できる。
- OODテストデータ（訓練方向に対して直交する方向）に対しては、最適な温度はしばしば1より大きくなる。
基底関数回帰: 非線形回帰（径向基底関数：RBFを使用）へのこれらの知見の適用により、予測の過大評価の病理が、基底関数の数（次元数）とともにスケールアップすることが示され、線形回帰の知見を裏付けている。

意義と主張
本論文は、MFVIがなぜ（常に過小評価するのではなく）IDデータに対してはアンダーコンフィデント（過小評価）になり得るのかというメカニズムの理解を提供すると主張しており、「MFVIは常に不確実性を過小評価する」という標準的なドグマに異を唱えている。

特徴付けの完全性: 著者らは、「MFVIは不確実性を過小評価する」という物語は不完全であると断言している。誤差の方向は、訓練データに対するテスト分布の相対的な位置に依存する。
CPEの正当化: 本研究は、誤った尤度や事前分布に起因する説明とは異なる、CPEの新しい正当化を提示している。それは、テンパリングが、高次元で相関のあるデータ設定における平均場仮定によって導入される特定の近似誤差を修正するための必要な手段であることを示唆している。
実用的な示唆: これらの知見は、テストデータが訓練データに類似しているタスクにおいて、コールド・ポステリア（温度を下げること）をMFVIに適用することで、予測の較正と性能を大幅に改善し、近似事後分布を厳密なベイズ解に近づけることができることを示唆している。

著者らは、理論的結果が共役線形モデルに対して導出されたものであることを認めつつも、謙虚な姿勢を保っており、これらの直感が非線形基底関数回帰や実世界のデータセットにも拡張されることを実験的に示している。彼らは、すべてのVIの限界を解決しようとしているのではなく、予測設定におけるMFVIの特定の、直感に反する失敗モードを修正しようとしているのである。