技術要約：画像分類における深層確率的教師あり学習 (Deep Probabilistic Supervision: DPS)

1. 問題提起

画像分類のための深層ニューラルネットワークは、通常、ハードターゲット（ワンホットエンコーディングされたラベル）を用いて訓練される。この手法は、「ダークナレッジ（暗黙の知識）」、すなわちクラス間の類似性や曖昧さに関する、サンプル固有の微細な情報（例：犬を猫と誤分類するか、ティーポットと誤分類するかという違い）を破棄してしまう。ハードターゲットへの依存は、過剰適合（オーバーコンフィデンス）を助長し、較正（キャリブレーション）を制限し、特にラベルノイズが存在する場合の堅牢性を低下させる。

既存の**自己蒸留（self-distillation）**手法は、モデル自身の予測を利用することでダークナレッジを回収しようと試みている。しかし、現在のアプローチには以下の制限がある：

• ハードターゲットへの依存性： ほとんどの手法は依然として元のハードラベルに由来する損失項を含んでおり、完全に較正された微細な予測を学習する能力を制約している。
• 不確実性モデリングの欠如： 予測の不確実性を明示的にモデル化しておらず、これが較正に悪影響を及ぼしている。
• 分散と不安定性： エポック単位またはミニバッチ単位の一貫性に依存する手法（例：Temporal Ensembling, DLB）は、データ拡張下での分散を導入したり、ほぼ同一のモデル状態に依存したりすることがある。
• ノイズへの感受性： 過学習パラメータ領域において、ハードターゲットへの依存は、ラベルノイズ下での「ダブルディセント（二重降下）」現象を悪化させる可能性がある。

2. 手法：深層確率的教師あり学習 (DPS)

著者らは、初期化後はハードターゲットから独立して動作する、モデル自身の予測に対する統計的推論を通じてサンプル固有のターゲット分布を構築するフレームワークである深層確率的教師あり学習 (DPS) を提案する。

コアフレームワーク：再帰的ベイズ推定

DPSは、訓練を再帰的ベイズ推定問題として定式化する。ニューラルネットワークは、入力 $x_i$ の真のクラス分布を観測する「センサー」として扱われる。

1. 潜在変数： 潜在クラス変数 $z_i$ は、カテゴリ分布 $z_i \sim \text{Cat}(y_i)$ でモデル化される。ここで $y_i$ は真のクラス確率を表す。
2. 事前分布： ディリクレ事前分布 $y_i \sim \text{Dir}(\alpha_i)$ が使用される。初期パラメータ $\alpha^0_i$ は、ラベルされたクラスに高い集中度を持たせ、他のクラスには低い値を持たせることで、事前知識を確立するように設定される。
3. 尤度： エポック $t$ におけるモデルの予測 $\hat{y}^t_i$ は、予測された累乗数に比例するノイズを含む測定値（エビデンス）として扱われる。
4. 事後分布の更新： 事後分布は、蓄積されたエビデンスによって更新される。測定ノイズの非定常な性質（訓練が進むにつれて予測が改善すること）に対処するため、**割引ベイズモデル（discounted Bayesian model）**が採用されている。

更新ルール

ターゲット分布は、割引因子 $\gamma \in [0, 1]$ を用いて再帰的に更新される：
$$\alpha^t_i = \gamma \alpha^{t-1}_i + \hat{y}^t_i$$
これにより、ターゲットの更新ルールは以下のようになる：
$$y^t_i = \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1} y^{t-1}_i + \left(1 - \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1}\right) \hat{y}^t_i$$
ここで、$A^t_i$ はディリクレ・パラメータの総和である。

• メカニズム： 訓練の初期段階では事前分布が支配的である。訓練が進むにつれ、より正確な直近の予測がより重く扱われ、割引因子 $\gamma$ によって古い、ノイズの多いエビデンスは「忘却」される。
• 独立性： 初期化後、ターゲット分布はモデルの予測とベイズ更新のみに基づいて進化し、学習プロセスを元のハードラベルから切り離す。

既存手法との関係

著者らは、DPSが以下の既存手法を統合し、一般化していることを示している：

• 従来の訓練： $\gamma \to 0$ かつ無限の事前集中度（ターゲットを固定）の場合に対応する。
• ラベルスムージング： $\gamma$ が 1 に近く、非ゼロの $\epsilon$ を持つ特定の固定点から初期化された場合に近似される。
• PS-KD / DLB： $\gamma = 0$（最新の予測のみを使用）とするか、ミニバッチレベルで更新を適用した場合に回収される。
• Temporal Ensembling (TE)： 明示的な重み付けを持つ不適切な事前分布に対応する。

3. 主な貢献

1. 新しいフレームワーク： ハードターゲットから独立して動作する、微細なターゲット分布を構築するための軽量で原理に基づいたフレームワークであるDPSの導入。
2. 理論的定式化： ネットワークの出力を、クラス間（$\mu_k$）成分とサンプル固有（$\delta(x_i)$）成分に分解するという「ダークナレッジ」の最初の理論的定式化を行い、DPSが両方を捉えることを示した。
3. 経験的な優位性： DPSが、汎化性能と較正において既存の自己蒸留手法および従来の知識蒸留を凌駕することを広範な実験で実証した。
4. 堅牢性： DPSがデータ破損、摂動、およびラベルノイズに対して堅牢性を提供し、特にエポックごとのダブルディセント曲線を緩和することを実証した。

4. 実験結果

著者らは、ResNet、DenseNet、ViTアーキテクチャを用い、CIFAR-10、CIFAR-100、TinyImageNet、およびImageNetを用いてDPSを評価した。

汎化性能と精度

• 性能向上： DPSは一貫して高いテスト精度をもたらす。例えば、DenseNet-264を用いたImageNetにおいて、DPSはベースラインに対して +2.0%、最高の自己蒸留手法に対して +1.0% の精度向上を実現した。
• 比較： DPSは従来の知識蒸留を上回り、モデルアンサンブルの性能に迫る。

較正（キャリブレーション）

• ECEの削減： DPSは期待較正誤差（ECE）を大幅に減少させる。CIFAR-100におけるResNet-50では、最高の自己蒸留手法と比較してECEが 40% 減少し、ベースラインと比較して 60% 以上 減少した。
• NLL： 畳み込みニューラルネットワークにおいて、負の対数尤度（NLL）はベースラインと比較して 70% 以上減少した。
• 信頼性： 信頼性図（Reliability diagrams）において、DPSの曲線は対角線に最も近く、優れた確率推定を示している。

ノイズと破損への堅牢性

• ラベルノイズ： 20%の対称および非対称ラベルノイズの下で、DPSは単一ネットワーク手法の中で最先端の結果を達成した。特筆すべきは、他の手法で見られるダブルディセント曲線を平坦化したことであり、これはより安定した学習プロセスを示している。
• 破損（Corruptions）： CIFAR-10-C（破損）およびCIFAR-10-P（摂動）において、DPSはすべてのアーキテクチャの中で最高の精度と最小の平均反転確率（mFP）を達成した。
• データ拡張： CutOutおよびCutMixと組み合わせた場合、DPSは一貫してベースラインやDLBを上回り、CIFAR-100では最大 4.1 ポイントの利得を示した。

アブレーション解析と分析

• ハイパーパラメータ： 割引因子 $\gamma$ と事前集中度 $c$ により、精度と較正の間のチューニングが可能である。特定の構成（$\gamma=0.97, c=2000$）では、精度のわずかなトレードオフを伴いつつ、CIFAR-100で 1.33% のECEを達成した。
• ダークナレッジの可視化： 可視化により、DPSが従来の訓練よりも効果的に、意味のあるクラス間関係（例：動物のグループ化）とサンプル固有の偏差を学習することを確認した。

5. 意義と主張

本論文は、DPSがヒューリスティックな自己蒸留から原理に基づいた確率的アプローチへの転換を象徴していると主張している。予測の不確実性を明示的にモデル化し、ハードターゲットから切り離すことで、DPSは過剰適合と不適切な較正という深層学習の根本的な限界に対処する。

著者らは、DPSが以下の特性を持つことを強調している：

• より滑らかで堅牢な確率推定を提供する。
• ラベルノイズ下でのダブルディセント現象を緩和する。
• 対照学習（contrastive loss）や標準的なデータ拡張技術と組み合わせた際に、最先端の堅牢性を実現する。
• 前向き・後ろ向きパスと比較して、計算オーバーヘッドが極めて低い（バッチあたり $O(BK)$）軽量な実装を提供する。

本研究は、訓練プロセスを、モデル自身の予測が進化するエビデンスとして機能するベイズ推論問題として扱うことが、較正され、汎化性能が高く、堅牢な深層学習モデルを実現するための優れた戦略であることを示唆している。