Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

技術要約：Softmax-Temperature変調による正規化ベースの暗黙的アンサンブルにおける制御可能な多様性

問題提起
ディープアンサンブルは、複数の独立したモデルを訓練することで、信頼性の高いキャリブレーションと分布外（OOD）検出を提供する、不確実性定量化におけるゴールドスタンダードであり続けています。しかし、その計算コストとメモリコストはアンサンブルメンバーの数に対して線形にスケールするため、大規模モデルにおいては極めて高価になります。暗黙的アンサンブルは、単一のバックボーンを全メンバーで共有し、メンバーごとの変調や分割を導入することで、単一の訓練プロセスの中でアンサンブル挙動をシミュレートし、この問題を解決します。

既存の暗黙的アンサンブル手法における決定的な限界は、メンバーの多様性に対する制御の欠如です。多様性はアンサンブルの品質を決定する主要な要因ですが、現在のアダプターベースの手法（BatchEnsembleなど）は初期化時に多様性を固定してしまい、あるいは分割手法（Packed Ensemblesなど）のようにアーキテクチャに多様性をハードコードしています。その結果、訓練中に精度とキャリブレーションのトレードオフを形成したり、ナビゲートしたりするメカニズムが存在しません。さらに、既存の手法は多くの場合、独自のアーキテクチャ再設計を必要とするため、学習済みモデルへの適用が困難です。

手法：$\sigma$N-Ens
著者らは、各メンバーをマルチタスク学習（MTL）フレームワーク内の個別のタスクとして扱う、正規化ベースの暗黙的アンサンブルである$\sigma$N-Ensを提案します。

1. アーキテクチャ ($\sigma$Norm): この手法は、共有バックボーン内の標準的な正規化層（BatchNormまたはLayerNorm）を、タスク固有の層に置き換えます。各メンバー $t$ に対して、正規化はシグモイド境界を持つスケーラーによって変調されます。
   $$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$$
   ここで、$\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$ です。これらのスケーラーは、特徴量ごとの重要度として機能します。正規化層のみが複製されるため、バックボーンの重み（畳み込みまたはTransformer）は完全に共有されたままとなり、この手法はあらゆる標準的なアーキテクチャをラップでき、短期間のファインチューニングを通じて学習済みモデルを適応させることが可能です。

2. Softmax-Temperatureによる制御可能な多様性: 訓練中に多様性を能動的に形成するために、著者らは各特徴量に対するメンバー間の重要度ベクトル（$\sigma(\gamma)$）に適用されるソフトマックス・テンパチャ・レギュラライザーを導入しました。
   $$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$$
   ここで、$\tau$ は共有のレベルを設定する温度ハイパーパラメータとして機能します。

   • 低い $\tau$: 分布をワンホットへと導き、特徴量を単一のメンバーに所有させることで、最大級の多様性（ハードな分割に近い状態）を生み出します。
   • 高い $\tau$: 分布を一様へと導き、特徴量の完全な共有を促進します。
   • 中間的な $\tau$: 「ソフトな $M$-choose-$k$」の割り当てを生み出し、特徴量が $k$ 個のメンバーのサブセット間で共有される状態を作ります。
     標準的な正則化強度（$\lambda$）がネットワークをターゲットへどれだけ強く押し出すかを決定するのに対し、$\tau$ はシステムがどの平衡状態に落ち着くかを選択します。これにより、実務者は $\tau$ をスイープすることで、精度とキャリブレーションのパレート最適解の境界を辿ることができます。

3. 変調不確実性 (Modulation Uncertainty): 著者らは、このアンサンブルによって表現されるエピステミック不確実性を変調不確実性として再定義しています。バックボーンは共有されており決定的であるため、不確実性は共有された特徴量を再重み付けすることからのみ生じます。これは、異なる特徴抽出器を持つフル・ディープアンサンブルから派生する不確実性とは構造的に異なります。

主な貢献

• 制御可能な多様性: 本論文は、初期化時や構成時に多様性を固定するのではなく、単一のハイパーパラメータ（$\tau$）を通じて訓練中にメンバーの多様性を形成できる、暗黙的アンサンブル・ファミリーにおける初のメカニズムを提示しています。これにより、精度とキャリブレーションのパレート境界のナビゲーションが可能になります。
• 変調不確実性: 著者らは、共有バックボーン・アンサンブルによって表現される特定のエピステミック成分として「変調不確実性」を特定・定義しました。彼らは、この不確実性が入力の破損に対してキャリブレーションを維持する一方で、フル・アンサンブルと比較するとOOD検出能力が弱いことを立証しています。これは、共有バックボンドが自身がエンコードしていない入力に対して分岐できないという性質に起因します。
• アーキテクチャ非依存性と効率性: 正規化層のみを操作するため、$\sigma$N-Ensは侵襲的な再設計なしに、畳み込みおよびTransformerの両方のバックボーンに適用可能です。これにより、既存の学習済みモデルを、最小限のファインチューニングで較正されたアンサンブルへと変換できます。

結果
本手法は、ResNet、WideResNet、Vision Transformer (ViT) を用いて、CIFAR-10/100、ImageNet、SST-2で評価されました。

• 性能 vs コスト: $\sigma$N-Ensは、パラメータ数を大幅に削減しながら（例：CIFAR-100のWideResNetにおいて、極めて少ないパラメータ数で最先端の精度を達成）、精度と負の対数尤度（NLL）においてディープアンサンブルと同等またはそれを上回る性能を示しました。
• スケーラビリティ: 容量制約によりメンバー数（$M$）が増加すると劣化・崩壊する分割手法（Packed Ensemblesなど）とは異なり、$\sigma$N-Ensは優雅にスケールします。$M$ が増加するにつれ、ソフト共有メカニズムが容量を効果的に集約するため、性能は崩壊するのではなく、向上または飽和します。
• シフト下のキャリブレーション: 本手法は、分布シフト（入力の破損）下でも堅牢なキャリブレーションを維持し、破損の深刻度が増しても期待キャリブレーション誤差（ECE）はほぼ一定に保たれます。
• OOD検出: 理論的分析と一致して、OOD検出能力はフル・ディープアンサンブルよりも弱くなります。特に、特徴表現が固定されている学習済みバックボーンを使用する場合に顕著です。ただし、ゼロから訓練を行う場合、メンバーが多様性の圧力の下で共有表現を形成するため、検出性能は向上します。
• ハイパーパラメータ感受性: 最終的な性能は、収束後の正則化強度 $\lambda$ にはほとんど影響を受けず、$\tau$ が実務家が調整すべき唯一の重要なハイパーパラメータとなります。

意義
本論文は、制御可能な多様性が、暗黙的アンサンブルを静的なアーキテクチャの選択肢から、動的で調整可能なシステムへと変貌させることを主張しています。多様性を初期化やアーキテクチャから切り離すことで、$\sigma$N-Ensは、モデルサイズが拡大する中でフル・ディープアンサンブルに代わる実用的な選択肢を提供します。単一の学習済みモデルを短期間のファインチューニングで較正されたアンサンブルへと変換できる能力は、リソース制約のある領域やリスクに敏感な領域において、不確実性を考慮したディープラーニングをデプロイする際の大きなギャップを埋めるものです。本研究は、共有バックボーン・アンサンブルに内在するトレードオフを明確にし、構造的な制限（共有された特徴抽出器）と観察されたOOD検出の弱さを結びつけつつ、キャリブレーションの堅牢性という強みを浮き彫りにしています。