技術的概要：アレイタロリックおよびエピステミックな不確実性の分離のための協力的分散推定とベイズニューラルネットワーク

問題定義

現実世界のデータには本質的に、2 つの異なる種類の不確実性が含まれています。すなわち、不完全な測定または確率的な生成プロセスに起因するデータノイズであるアレイタロリック不確実性と、限られたデータまたはモデルの容量に起因するモデルの不確実性であるエピステミック不確実性です。平均分散推定（MVE）ネットワークはアレイタロリック不確実性を学習できますが、過学習に陥りやすく、エピステミック不確実性を予測できないことが多くあります。一方、ベイズニューラルネットワーク（BNN）はエピステミック不確実性を予測できますが、特に入力依存型の（ヘテロスケダスティックな）アレイタロリックノイズを同時にモデル化しようとする場合、訓練が極めて困難であることで知られています。

既存のアプローチでは、MVE ネットワークを共同で訓練する際に最適化の課題に直面することがよくあります。共同訓練に使用される負の対数尤度（NLL）損失関数は、鞍点を持つ非凸なランドスケープを生成します。具体的には、分散に関する勾配には分母に高次項が含まれており、ネットワークがノイズに過学習して分散をゼロに駆り立てるか、あるいは収束に失敗して分散を無限大に駆り立てるという不均衡が生じます。さらに、アンサンブル手法や MVE ネットワークへの MC ドロップアウトを用いて不確実性を分離しようとする試みは、信頼性の低い結果をもたらすことが示されており、しばしば 2 つの不確実性の種類を混同してしまいます。

手法：VeBNN

著者は、平均、アレイタロリック不確実性、エピステミック不確実性の推定を逐次的に解きほぐす協力的訓練戦略であるVeBNN（分散推定ベイズニューラルネットワーク）を提案します。この手法は 3 つの明確なステップで進行します。

1. 平均ネットワークの訓練（ステップ 1）: 一定（ホモスケダスティック）なアレイタロリック不確実性を仮定して、平均（$\mu$）を推定する決定論的ネットワークを訓練します。これにより最適化ランドスケープが単純化され、分散勾配の干渉を受けることなく、平均の頑健な点推定を見つけることが可能になります。
2. 分散推定ネットワークの訓練（ステップ 2）: 別のネットワークを、ステップ 1 で固定された平均推定値の残差に基づいてアレイタロリック不確実性（$\sigma^2_a$）を予測するように訓練します。重要なのは、勾配の不均衡に悩まされる標準的なガウス NLL 損失の代わりに、著者がガンマ分布を用いて二乗残差をモデル化することを提案している点です。これにより、ネットワークパラメータに関する勾配に高次の分母項を含まないガンマベースの NLL 損失が導かれ、安定した最適化が保証されます。その後、アレイタロリック分散は、このガンマ分布の期待値として導出されます。
3. ベイズニューラルネットワークの訓練（ステップ 3）: ステップ 1 からの平均推定値と、ステップ 2 からの固定されたアレイタロリック分散推定値を用いて、「ウォームスタート」で BNN を訓練します。この段階ではアレイタロリックノイズが既知の固定量として扱われるため、BNN は重みの事後分布を学習することに専念し、エピステミック不確実性を捉えます。

新しい入力 $x'$ に対する最終的な予測は、総不確実性を以下のように分解します。

• 予測平均: BNN 出力の期待値。
• アレイタロリック不確実性: ステップ 2 からの固定分散推定値。
• エピステミック不確実性: 事後分布全体にわたる BNN の予測平均の分散。

著者は、分離を精緻化するためにステップ 2 とステップ 3 の間でプロセスを反復可能であると指摘していますが、実証結果では、単一の反復（$K=1$ または $K=2$）で収束が達成されることが多いことを示唆しています。

主要な貢献

• 協力的訓練戦略: 本論文は、結合された MVE 訓練に固有の結合最適化問題を回避する逐次訓練フレームワークを導入します。タスクを分離することで、結合平均分散推定に伴う非凸性と勾配不均衡の問題を軽減します。
• 分散推定のためのガンマ尤度: 著者は、分散推定のために二乗残差をモデル化する際にガンマ尤度を使用することを提案します。これにより、ガウス NLL 損失の数値的不安定性を回避し、分散ネットワークに対して理論的に裏付けられた凸最適化問題を提供します。
• 効果的な分離: この手法は、アレイタロリック不確実性とエピステミック不確実性を成功裡に分離します。これは、深層アンサンブルや MVE に適用された MC ドロップアウトを含む既存の多くの手法が、信頼できる分離を提供できないタスクです。
• スケーラビリティと実装: このアプローチは、標準的なアーキテクチャ（MLP、GRU、ResNet）および推論手法（pSGLD、アンサンブル、BBB、MC ドロップアウト）を使用して直感的に実装可能であり、協力的訓練が BBB のような「弱い」推論手法さえも強化し得ることを実証しています。

実験結果

著者は、VeBNN を 5 つのデータセットカテゴリで評価しました。

1. 1 次元の図示例: VeBNN が、特に外挿領域において、結合 MVE 訓練で見られる過信的な分散予測や平均推定の不備を回避することを示しました。
2. UCI 回帰データセット: VeBNN は、さまざまな推論手法（アンサンブル、MC ドロップアウト、BBB、pSGLD）において、それらの結合 MVE 対応版と比較して、一貫してテスト対数尤度（TLL）と平均二乗誤差（RMSE）を改善しました。特に、VeBNN（BBB）は競争力のある性能を達成しましたが、結合 MVE（BBB）は収束に失敗することが多かったです。
3. 大規模画像回帰: 現実世界の分布シフトの下で、VeBNN（アンサンブル）はベースラインよりも高い TLL と優れたテストカバレッジを達成し、シフトしたデータを処理する能力の強さを示しました。
4. 材料の塑性法則の発見（既知の真値）: 複数の物理シミュレーションを通じて真のアレイタロリック不確実性が既知であるカスタムデータセットを使用して、VeBNN（pSGLD）は RMSE、アレイタロリック不確実性の推定値と真値の近さを測るワッサーシュタイン距離、およびエピステミック TLL のすべての点でベースラインを上回りました。この手法は、分布外領域においてアレイタロリック不確実性が安定したままである一方、エピステミック不確実性が増加することを正しく識別しました。
5. APPA-REAL データセット: VeBNN は、MVE ベースラインと比較して、すべての指標（RMSE、WA、エピステミック TLL）において最高の性能を達成しました。

アブレーション研究により、分散ネットワークにとってガンマ損失がガウス NLL や $\beta$-NLL より優れていること、およびこの手法が急速に収束し、初期訓練を超えて通常 1 回の追加反復のみを必要とすることが確認されました。

意義と主張

本論文は、提案された協力的訓練戦略が、深層学習における不確実性定量化のための堅牢で効率的かつスケーラブルな解決策を提供すると主張しています。アレイタロリック不確実性とエピステミック不確実性の推定を解きほぐすことで、この手法はベイズヘテロスケダスティック回帰の広範な普及を制限してきた最適化の障壁を克服します。

著者は、BNN の訓練が決定論的ネットワークの訓練よりも依然として困難である一方で、彼らのアプローチは高品質なウォームスタート（平均）と固定されたアレイタロリックノイズ推定値を提供することでこのプロセスを容易にすると強調しています。彼らは、この手法が、能動学習やリスク感受性の意思決定において、削減可能（エピステミック）な不確実性と削減不可能（アレイタロリック）な不確実性を区別することが不可欠な安全性が重要な応用分野において特に価値があると述べています。論文は、VeBNN が現在の最先端手法に対する実用的で実装可能な代替手段であり、多様なモデルアーキテクチャおよび推論技術にわたって平均推定と不確実性の分離を改善する能力を有すると結論付けています。