Exploring the Potential of Bilevel Optimization for Calibrating Neural Networks

技術的サマリー：ニューラルネットワークの較正における二階層最適化の可能性の探求

問題定義
現代のニューラルネットワークは高い識別能力を有する一方、頻繁に較正が不十分であり、予測された信頼性スコアが正解の真の確率を正確に反映していない。この過信は、医療や自動運転など、モデルが不確実性を表現したり、自信のない予測を「棄却」したりする必要がある、機微で規制の厳しい分野において重大なリスクをもたらす。事後較正手法は存在するが、これらは訓練後の別個のステップとして機能する。著者らは、自己較正（信頼性較正を訓練プロセスに直接統合すること）が二階層最適化（BO）を用いて効果的に達成可能かどうかを調査する。

手法
本論文は、ニューラルネットワークの訓練を二階層最適化問題として定式化する新しいフレームワークBO4SCを提案する。中核的な革新は、モデルがクラス予測と信頼性推定の両方を同時に学習する二重出力構造であり、両方の出力が同一のモデルパラメータに依存する点にある。

このフレームワークは以下のように定義される：

• 内層問題（フォロワー）：標準的な分類訓練に焦点を当てる。訓練データセット（$D_{train}$）上の重み付き交差エントロピー損失を最小化してモデルパラメータ（$\theta$）を更新する。各訓練サンプルの重み（$w$）は、外層によって決定されるパラメータとして扱われる。
• 外層問題（リーダー）：信頼性較正に焦点を当てる。検証データセット（$D_{val}$）上の二値交差エントロピー（BCE）損失を最小化する。目的は、内層ループで適用された際に、予測された信頼性スコア（$\hat{p}$）が予測の真の正否と一致するモデル（$\theta^*$）をもたらす最適なサンプル重み（$w$）を見つけることである。

これを解決するため、著者らは近似ハイパーグラデント降下を用いた勾配ベースのアプローチを採用する。内層最適化を固定されたステップ数（$T$）だけアンロールし、逆モード自動微分を用いて外層パラメータ$w$に対する外層目的関数の勾配であるハイパーグラデントを計算することで、二階層問題を近似する。実装には複雑な最適化階層を処理するためにtorchoptライブラリが利用される。

主要な貢献

1. 新しいフレームワーク：本論文は、BO4SCを導入する。これは、以前の文献で別個の不確実性スコアアーキテクチャにBOを用いたものとは異なり、単一の自己較正型深層ニューラルネットワークの訓練に特化した二階層最適化フレームワークを提案する最初の研究である。
2. 自己較正の統合：訓練後に出力を調整する事後較正手法（等方性回帰など）とは異なり、BO4SCはサンプル重みを動的に調整することで、較正目的を訓練ループに直接統合する。
3. 診断分析：本研究は、二階層最適化が不確実性の分布にどのように影響するかを詳細に分析し、特にこの手法が決定境界付近の曖昧なサンプルや誤分類されたサンプルに低い重みを割り当てる様子を観察した。

実験結果
著者らは、BO4SCを標準的な訓練アプローチおよび広く使用されている事後較正手法である等方性回帰（IsoReg）と比較評価した。評価は複数のデータセットで行われた：

• データセット：視覚的診断目的の玩具データセット（Blobs 1.3/1.7、Spirals 2.5/3.5）と、実用的なシミュレーションデータセット（血液アルコール濃度 - BAC）。
• 指標：期待較正誤差（ECE）と精度。
• 知見：
  • 較正：BO4SCはほとんどのデータセットで一貫して最低のECEを達成し、標準手法およびIsoReg手法を上回った。例えば、Blobs 1.7データセットにおいて、BO4SCはECE 0.016を達成したのに対し、標準手法は0.074、IsoRegは0.039であった。
  • 精度：この手法は競争力のある精度を維持し、場合によっては標準手法と比較してわずかな減少しか見られなかった。これは、改善された較正が予測性能の重大なトレードオフを必要としないことを示している。
  • 視覚的分析：信頼性ダイアグラムと信頼性ヒストグラムは、標準モデルが過信であり、IsoRegが時として過小な信頼性スコアを生成すること（例えば、0.5が基準となる二値タスクで0.5未満に低下すること）を示したが、BO4SCは予測された信頼性と実際の精度の間で最もバランスの取れた整合性を生み出したことを明らかにした。
  • 重みのダイナミクス：学習された重みの分析により、BO4SCが決定境界付近（曖昧な領域）のサンプルを自然に重み付けし下げ、自信を持って分類されたサンプルに高い重みを割り当てることで、訓練信号を効果的に洗練させていることが示された。

意義と主張
本論文は、二階層最適化が事後較正技術に対する堅牢な代替手段を提供すると主張する。著者らは、IsoRegのような事後較正手法は効果的である一方、過剰な調整や不適切な信頼性分布（例えば、信頼性の過小評価）につながる可能性があると論じている。対照的に、BO4SCの自己較正的性質は、特に不確実な予測の棄却が求められるシナリオにおいて、実世界の意思決定にとってより信頼性の高い信頼性スコアを生み出す。

著者らは、現在の研究の状況については謙虚であり、結果は有望である一方で、二階層アプローチの計算コスト（実行時間とメモリ）は従来の訓練よりも現在高いことを認めている。計算効率の向上と、棄却オプション分類への応用を、将来の研究の主要な方向性として特定している。