Training Neural Networks with Optimal Double-Bayesian Learning

技術的サマリー：最適ダブルベイズ学習によるニューラルネットワークの訓練

問題提起
ニューラルネットワークの訓練は依然として主に経験的なプロセスであり、学習率やモーメンタムなどのハイパーパラメータは、理論的導出ではなく、経験則、経験、または体系的なグリッドサーチに基づいて選択されるのが一般的である。これらのパラメータが過学習を回避し、偏りのない汎化を確保する上で重要であることは広く認識されているが、それらの最適値を決定するための決定的な理論は存在しない。現在の文献では、適応型学習率（例：Adam）や第二階微分法に依存することが多いが、最適な訓練手法と特定のハイパーパラメータ値に関する「最終的な判断」は未解決のままだ。学習率に対する訓練結果の感度（小さな値は局所最適解のリスクを、大きな値は振動を引き起こす）は、原理的な枠組みなしには調整が困難なトレードオフを生み出している。

手法：ダブルベイズフレームワーク
本論文は、二つの対立的なベイズ過程を含む「ダブルベイズ」意思決定メカニズムに基づいた理論的枠組みを提案する。このアプローチは、測定対象とその測定値の間の不確実性の解決として訓練プロセスをモデル化することで、測定における本質的な不確実性に対処する。

1. 理論的基盤

   • 二重過程：この枠組みは、測定値の確実性を推定する過程（$P(A)$）と、測定対象の確実性を推定する過程（$P(B)$）という二つの並行過程を仮定する。これらの過程はベイズの定理によって結びつけられているが、条件付き確率（$P(A|B)$ および $P(B|A)$）の解釈は異なる。
   • 内側と外側の方程式：この枠組みは二つの方程式を導出する。「外側ベイズ方程式」は、対数の底 $\lambda$ を通じて事前確率と事後確率の比率を関連付ける。「内側ベイズ方程式」は、対数の入力と底を反転させ、対数式を事前確率へ移動させることで導出される。
   • 固定点と不確実性：情報理論を用いて、本論文は学習を、入力推定値が目標値にマッピングされる固定点の探索として扱う。モデルは「本質的不確実性」の原理を導入する：角度 $\phi$（測定値の不確実性を表す）を完全に知ることは、底 $\lambda$（対象の不確実性を表す）に関する最大の不確実性を意味し、その逆もまた真である。

2. 最適ハイパーパラメータの導出

   • 黄金比：内側ベイズ方程式の解は、確率項が黄金比（$\phi \approx 0.62$）と整合するときに得られる。
   • モーメンタム（$\alpha$）：$\phi = \pi/4$ において内側方程式を満たし、外側方程式の勾配を考慮することで、論文は理論的なモーメンタム重みを導出する：$\alpha = \sqrt{2} \cdot \phi \approx 0.874$。
   • 学習率（$\eta$）：二重過程の導出を通じて、学習率は $\eta = (1 - \alpha)^2 \approx 0.016$ として計算される。
   • 訓練メカニズム：この枠組みは、訓練が内側ベイズ方程式を満たすこと（一方の変数の不確実性を最小化）と、外側方程式を満たさないこと（対応する変数の不確実性を最大化）を交互に行うことを示唆する。これにより、$\alpha$ を前回の反復のモーメンタム項として、$\eta$ を現在の反復の学習率として効果的に使用する。

実験的検証
理論的に導出された値（$\eta \approx 0.016$、$\alpha \approx 0.874$）を検証するために、著者は 4 つの異なるタスクにわたって広範なグリッドサーチ実験を実施した。

• 手書き数字分類：カスタム 11 層 CNN を使用した MNIST データセット。
• 結核分類：DenseNet121 を使用した胸部 X 線（TBX11K データセット）。
• 肺セグメンテーション：YOLOv8m-seg を使用した胸部 X 線（COVID-19 データセット）。
• 赤血球マラリア検出：YOLOv8m を使用した血液塗抹画像。

実験では、学習率（0.0001 から 0.2）とモーメンタム値（0.0 から 0.925）を体系的に変化させ、確率的勾配降下法（SGD）と Adam 最適化アルゴリズムを比較した。評価には、訓練セットサイズの変更（100%、75%、50%、25%）と、テストセットへのノイズ導入が含まれ、汎化性と頑健性を測定した。

主要な結果

• 最適ハイパーパラメータ：グリッドサーチの結果は、理論的に導出された学習率（$\eta \approx 0.016$）およびそれに近い値 0.01 が、分類、セグメンテーション、検出のすべてのタスクにおいて最良またはそれに準ずる性能を示すことを一貫して示した。導出されたモーメンタム値（$\alpha \approx 0.874$）も、SGD において最高性能の範囲内に収まっていた。
• SGD と Adam の比較：
  • 性能：導出されたハイパーパラメータで調整された SGD は、ほとんどのタスクと訓練セットサイズにおいて、最終的なテスト精度、IoU、mAP50 の面で Adam を一貫して上回った。
  • 収束：Adam は最小検証損失に到達するまで、はるかに速く（2〜3 倍少ないエポック数で）収束し、これがその人気を説明する。しかし、この速度はしばしば汎化性の低下という代償を伴った。
  • 過学習：いくつかのケースにおいて、Adam は低い検証損失を達成したが、最良のテストセット性能を達成できず、SGD に比べて過学習する傾向が高いことを示した。
• ノイズ耐性：ノイズの多いテスト条件下（ランダムに反転させたピクセル強度）では、SGD で訓練されたモデルは優れた頑健性を示した。ノイズレベルが高くなるにつれて SGD と Adam の誤差格差は広がり、SGD は一貫して低い誤差率を維持した。

意義と主張
本論文は、経験的なヒューリスティクスを超えて、ニューラルネットワーク訓練におけるハイパーパラメータ選択の理論的根拠を提供すると主張する。その主な貢献は以下の通りである。

1. 理論的導出：情報理論とベイズ意思決定過程をネットワーク訓練に結びつけるダブルベイズフレームワークに基づき、特定の理論的に導出された学習率（$\approx 0.016$）とモーメンタム重み（$\approx 0.874$）を提供する。
2. モーメンタムの再解釈：この枠組みはモーメンタム項に対する新たな説明を提供し、それが単なる平滑化因子ではなく、二つの並行ベイズ過程間の本質的不確実性を解決するために必要な構成要素であることを示唆する。
3. 汎化性の優位性：結果は、適応型手法（Adam など）がより速い収束を提供する一方で、最適に調整された SGD は、特にノイズの多い環境において、偏りの少なく汎化性の高いモデルを生み出すことを示唆している。
4. 意思決定モデル：ダブルベイズアプローチは、知識が二つの過程に分散され、「最適」状態が不確実性のバランスであるという新たな意思決定モデルとして提示されており、ハイゼンベルクの不確定性原理に類似している。

著者は、自らの枠組みがネットワーク訓練における最適性の概念に対する新たな洞察を提供し、偏りのなく頑健なモデルを達成するために、特定の理論的根拠に基づくハイパーパラメータを用いた SGD の使用を支持すると結論付けている。