📊 statistics

On the Epistemic Uncertainty of Overparametrized Neural Networks

本論文は、過剰パラメータ化されたニューラルネットワークにおいて、対称性と冗長な表現に起因する非識別性が、基礎となる関数が完全に識別された場合であってもパラメータの不確実性が持続することを示すことで、より多くのデータとともに認識論的不確実性が消滅するという従来の見解に挑戦しており、著者らはこの現象を理論的に分析し、1 隠れ層 ReLU ネットワークにおいて実証的に検証している。

原著者： David Rügamer

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： David Rügamer

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「過剰パラメータ化されたニューラルネットワークの認識的不確実性に関する論文」を、平易な言葉と創造的な比喩を用いて解説します。

大きなアイデア：「多数の鍵、一つの扉」の問題

あなたが非常に複雑な鍵穴（現実世界の課題）と、何千もの鍵がついた巨大な鍵束（ニューラルネットワーク）を持っていると想像してください。通常、十分なデータがあれば、鍵穴を開ける唯一の完璧な鍵を見つけ出し、それがそれであると 100% 確信できると考えられています。

しかし、この論文は、現代の「過剰パラメータ化」されたニューラルネットワーク（必要以上に多くの鍵を持つネットワーク）においては、これは真実ではないと主張しています。無限のデータがあっても、あなたが実際にどの特定の鍵を持っているかを正確に知ることはできないかもしれません。あなたが確実なのは、扉が開いているということだけです。

著者たちはこれを認識的不確実性（私たちが何を知っているかについての不確実性）と呼んでいます。彼らは、ネットワークが答えを完璧に知っている場合でも、同じ解決策を構築する方法が多数存在するため、どのようにその答えに到達したかについては依然として混乱していることを示しています。

比喩 1：オーケストラの指揮者（置換対称性）

オーケストラを指揮する指揮者を想像してください。音楽（予測）は完璧です。

問題点： ヴァイオリンセクションには 100 人の奏者がいます。1 番目の奏者と 50 番目の奏者が席を交換しても、音楽は全く同じに聞こえます。
混乱： もし指揮者に「誰が最初のヴァイオリンを弾いていますか？」と尋ねて、「1 番目の奏者です」と答えたとすると、彼が 100% 確信しているように思えるかもしれません。しかし実際には、50 番目の奏者がその役割を担っていても、音楽は完璧なままです。
論文の発見： 従来の統計学では、十分な練習（データ）があれば、指揮者は誰がどこに座っているかを正確に知っていると考えられています。しかし、これらの巨大なネットワークでは、音楽が完璧であっても、指揮者は座席表を確信することはできません。誰が演奏しているか（パラメータ）についての不確実性は残ったままですが、曲（関数）は完璧に知られています。

比喩 2：ピザの切り分け（連続的な非識別性）

次に、ネットワークが必要以上に巨大だと想像してください。厳密には不要な追加の「ニューロン」（追加のシェフ）を持っています。

シナリオ： 100 グラムのチーズを正確に必要とするピザを焼く必要があります。
混乱：
- シナリオ A： 一人のシェフが 100 グラムすべてをピザに乗せます。
- シナリオ B： 二人のシェフがそれぞれ 50 グラムずつ乗せます。
- シナリオ C： 十人のシェフがそれぞれ 10 グラムずつ乗せます。
- シナリオ D： シェフ A が 99 グラム、シェフ B が 1 グラム乗せます。
論文の発見： ネットワークは、追加のシェフたちの間で「チーズ」（重み）を無限の異なる方法で分割することで、全く同じピザ（同じ予測）を達成できます。
- オーケストラでは人々が単に席を交換するだけですが、ここではシェフたちがチーズの分け方をめぐって絶えず議論しています。
- この論文は、無限のデータがあっても、ネットワークがチーズを分割する特定の方法に落ち着くことはないことを証明しています。代わりに、チーズの総量が常に 100 グラムであるが、個々の量は絶えず変化する「多様体（可能性の滑らかな表面）」をさまよい続けます。

なぜこれが重要なのか（「なぜ一般的な測定が失敗するのか」のセクション）

通常、科学者がモデルがどれほど「不確実」かを測定する際、出力がどの程度変化するかを見ています。

従来の見方： 「モデルが毎回同じ答えを出すなら、それは不確実ではない。」
論文の見方： 「それは間違いだ。モデルは同じ答えを出すかもしれないが、内部の歯車（重み）は全く異なる方向に激しく回転しているかもしれない。」

著者たちは、最終的な答え（ピザ）だけを見ていては、内部機構が混沌としているという事実を見逃してしまうことを示しています。これは、単に答えが何かを知るだけでなく、モデルがどのように機能するかを知る必要がある場合（デバッグ、圧縮、どの特徴が重要かの理解など）に重要です。

彼らは何をしたのか

理論： 彼らは数学を用いて、単純なニューラルネットワーク（ReLU ネットワーク）において、この「分割」と「交換」が、モデルがその任務において完璧であっても、モデルの脳内に不確実性の永続的な霧を作り出すことを証明しました。
数学： 彼らはこの霧を多様体と呼ばれる形状を用いて記述しました。これは、3 次元の部屋に浮かぶ滑らかで平坦な紙のシートのようなものです。モデルの重みは、結果を変えずにそのシートの上をどこにでも滑ることができます。
実験： 彼らはこれらのネットワークを構築し、コンピュータ上で実行しました。彼らは「重み」（内部の数値）が動く様子を観察しました。
- 結果 1： ネットワークはより多くのデータを見るにつれて予測が上手くなりました。
- 結果 2： しかし、内部の重みは決して動き回るのをやめませんでした。彼らはそれらの「シート」（多様体）の上を滑り続け、場所を交換し続け、内部構造に関する不確実性が決して消えないことを証明しました。
サンプリングの問題： 彼らはまた、コンピュータがこれらのネットワークを「探索」する方法（MCMC という手法を使用）も検討しました。彼らは、コンピュータシミュレーションを特定の「座席配置」（一つの置換）から開始すると、通常そこに留まり、それらがすべて有効であるにもかかわらず、他の同等の配置に飛び移ることができないことを発見しました。これは、標準的なコンピュータ手法が不確実性の全体像を見逃している可能性があることを意味します。

結論

この論文は、過剰パラメータ化されたニューラルネットワークには、自身の内部構造に関する隠れた永続的な不確実性があると主張しています。

関数空間（出力）： モデルは確実になります。答えを知っています。
パラメータ空間（内部の重み）： モデルは不確実なままです。その答えを得るためにどの特定の数の組み合わせを使っているかを知りません。なぜなら、同等に良い組み合わせが数百万通り存在するからです。

これは、完璧な料理を作ることができる料理人のようですが、もし「塩を小さじ 2 杯使いましたか、それとも塩小さじ 1 杯と醤油小さじ 1 杯を使いましたか？」と尋ねると、どちらも味が全く同じなので答えられないようなものです。この論文は、料理が美味しいからといって、料理人が正確なレシピを知っていると仮定するのをやめるべきだと主張しています。

技術的概要：過剰パラメータ化ニューラルネットワークの認識論的不確実性について

問題定義

機械学習における認識論的不確実性は、伝統的にデータサイズが増大するにつれて消失する還元可能な不確実性として定義され、しばしば予測変動性と同等視される。この視点はパラメータの同定可能性という仮定に依存しており、そこでは事後分布が $n \to \infty$ となるにつれて、一意のパラメータベクトル（または点質量）の周りに集中すると考えられている。しかし、過剰パラメータ化されたニューラルネットワークでは、対称性（例えば置換不変性）や冗長な表現により、パラメータは通常、同定不可能である。

扱われている核心的な問題は、基礎となる関数 $f^*$ が完全に同定可能であっても、パラメータ空間には無限のデータが存在しても残存する実質的な不確実性が存在するという点である。予測分散に焦点を当てた古典的な不確実性分解は、関数を変化させないパラメータ変動に対して不変であるため、この「残存」不確実性を捉えることができない。その結果、パラメータ空間において事後分布が一点に収束しない過剰パラメータ化モデルの構造的性質と、標準的な不確実性定量化手法との間にミスマッチが生じている。

手法

著者らは、非同定可能性の観点から認識論的不確実性を分析するため、1 隠れ層 ReLU ネットワークアーキテクチャを用いている：
$f_w(x) = w_2^\top \phi(W_1 x)$
ここで、 $\phi(\cdot) = \max(0, \cdot)$ である。本研究は、ガウス事前分布を伴うベイズ的事後分布と同等の正則化損失目的関数を仮定している。

手法は 3 つの段階で進行する：

理論的特徴付け：著者らは非同定可能性の 2 つの源泉を区別する：
- 置換対称性：正しく指定されたモデル（ $M = M^*$ ）において、非同定可能性は隠れニューロンの置換に起因する。事後分布は、これらの置換にわたるディラック測度の混合に収束する。
- 連続的分割（多様体割り当て）：過剰パラメータ化されたモデル（ $M > M^*$ ）において、真のニューロンは複数の冗長ニューロンの連続的な組み合わせによって表現され得る。これにより、同じ関数と正則化コストを維持しつつ重みを連続的に再分配できる「分割多様体」 $\mathcal{M}_\varsigma$ が誘発される。
事後分布の導出：本論文は、これらの多様体上の誘導された事後分布の正確な形式を導出する。モデルニューロンを真のニューロンにマッピングする割り当て写像 $\varsigma$ が固定されている場合、分割係数は対称ディリクレ分布に従うことを確立する。著者らは、 $\epsilon \to 0$ となるにつれて多様体周辺の $\epsilon$ -チューブに条件付けられた環境事後分布の弱極限として、多様体上の事後分布を定義する。
実証的検証：理論的知見は、ガウス事前分布と尤度を用いたベイズニューラルネットワーク（BNN）を用いて検証される。推論は、確率的勾配ランジュバン動力学（SGLD）およびノ・Uターン・サンプラー（NUTS）を用いて行われる。本研究は、事後分布のサンプルを分析し、収束特性、置換チャンバ間の切り替え率、および分割係数の分布を検証する。

主要な貢献

認識論的不確実性の再定義：本論文は、過剰パラメータ化モデルにおける認識論的不確実性には、予測関数が完全に同定されていてもデータ増加に伴って消失しない、非同定可能性に起因する持続的な成分が含まれると論じる。
残存不確実性の特徴付け：
- 離散的源泉：正しく指定されたモデルにおいて、不確実性は置換軌道にわたるディラック測度の混合として現れる。
- 連続的源泉：過剰パラメータ化されたモデルにおいて、不確実性は分割多様体上の非退化分布として現れる。著者らは、分割係数が $\alpha = (p+1)/2$ を持つディリクレ分布 $\text{Dir}(\alpha, \dots, \alpha)$ に従うことを導出する。
事後分布のモーメントと幾何学：著者らは、過剰パラメータ化下での重みの事後分布モーメントの明示的な式を導出する。冗長なニューロン群の総寄与は固定されたままとなる一方、個々のニューロンの寄与はネットワーク幅 $M$ が増大するにつれて縮小すること（平均で $O(M^{-1/2})$ 、共分散で $O(M^{-1})$ ）を示す。
サンプリング動力学：本論文は、特定の連続性仮定の下で、標準的な MCMC サンプラーがほぼ確実に単一の置換チャンバまたは単一の割り当て多様体の内部に閉じ込められることを示す。これらは対称性に関連する異なる領域間の境界を自然に横断せず、単一のチェーンは事後分布の完全なサポートの一部分のみを探索することを意味する。

結果

収束対分散：実証結果は、予測性能（RMSE、LPPD）が $n$ の増加に伴って真の関数に収束する一方で、重み共分散行列のトレースは置換および分割対称性によりゼロにならないことを確認している。
多様体構造：過剰パラメータ化設定（ $M > M^*$ ）において、事後分布のサンプルは、分割係数がベータ分布（ディリクレ分布の周辺分布）に従うという理論的予測と整合している。重み寄与の実証分布は、理論的ディリクレ周辺分布と密接に一致する。
サンプリング挙動：NUTS および SGLD を用いた実験は、チェーンが単一の置換チャンバに閉じ込められたままとなることを示す。チャンバ間の「切り替え率」は無視できるほど小さく、「平均最小マージン」は、チェーンがニューロンが交換可能になる測度ゼロの境界をほとんど横断することなく、特定のチャンバの深部に存在することを示している。
実用的影響：本論文は、非同定可能性を無視することが下流タスクにおいて歪んだ推定をもたらす可能性があることを示している。継続的学習（EWC）において、非同定可能性に起因する分散はパラメータの重要性を誤って過大評価し、過度に制限的な更新をもたらす可能性がある。この分散を補正することで適応性が向上する。同様に、パラメータ空間における標準的な収束診断（ $\hat{R}$ など）は、関数空間での収束が達成されていても、非同定可能な方向により過大評価され続ける可能性がある。

意義と主張

本論文は、深層学習における認識論的不確実性の標準的な見方に対する必要な修正を提供すると主張している。以下を主張する：

パラメータ不確実性の持続：古典的な見方では不確実性はデータとともに消失するが、過剰パラメータ化ネットワークにおけるパラメータ不確実性は構造的対称性により還元不可能である。
関数空間対パラメータ空間：関数空間で作業することはこれらの問題を緩和するが、重みに直接作用する手続き（解釈可能性、モデル圧縮、継続的学習、またはサンプリングに基づく推論など）は、誤った結論を避けるためにこの残存不確実性を考慮しなければならない。
現在のヒューリスティックの限界：深層アンサンブルのような実用的なヒューリスティックは、非同定可能性のいくつかの効果を「平均化」する可能性があるが、事後分布の背後にある幾何学的構造を排除するものではない。本論文は、パラメータ空間における正確な不確実性定量化のためには、事後分布の幾何学（特に過剰パラメータ化によって誘発される多様体）を理解することが不可欠であると示唆している。

著者らは、その範囲について謙虚であり、形式的な結果はガウス事前分布を伴う 1 隠れ層 ReLU ネットワークに対して導出されたものであると述べている。より深いネットワークは、その理論でカバーされていない層ごとの追加的な非同定可能性を導入すること、および特定のディリクレ分割法はガウス事前分布/L2 正則化の選択に依存することを認めている。しかし、置換および分割対称性のメカニズムは過剰パラメータ化モデルに本質的であり、より広範なアーキテクチャにも拡張される可能性があると論じている。