技術的概要：Bregman に基づくオプティマイザにおけるスパース性制御のための適応的正則化

問題定義

スパースなトレーニングは、深層ニューラルネットワーク（DNN）のメモリおよび計算コストを削減する道筋を提供する。しかし、スパースな最適化における重大な課題は、最終的なスパース率の間接的な制御にある。明示的な $\ell_1$ ペナルティや Bregman に基づくオプティマイザ（LinBreg や AdaBreg など）に依存する手法は、通常、正則化パラメータ $\lambda$ を通じてスパース性を制御する。特定の $\lambda$ 値と結果として得られるスパース率との間の対応関係は単純ではなく、極めて敏感である。

著者らは、この感度が Bregman に基づくオプティマイザにおいて特に顕著であることを観察している。例えば、LinBreg と AdaBreg は、同じ最終スパース率を達成するために、最大で 2 桁異なる $\lambda$ 値を必要とする場合がある。これにより、ユーザーが指定したスパース目標を満たす「オラクル」$\lambda$ を見つけるための、高価で手動の試行錯誤的な掃引が必要となり、これらの手法の実用的な展開を妨げている。さらに、既存の適応的アプローチは、しばしば $\ell_1$ 正則化損失に依存するか、再トレーニングを必要とするため、計算コストが高く、現代のスパースなトレーニングで使用されるミラー降下（MD）設定と互換性がない。

手法

本論文は、トレーニング中に $\lambda$ を自動的に調整する適応的正則化スキームを、Bregman 学習フレームワーク（具体的には LinBreg と AdaBreg）に統合することを提案する。

中核フレームワーク

この手法は、Bungert ら [7] によって導入された逆スケーリング空間アプローチに基づいている。最適化問題は、スパース性制約 $|\theta|_0 \leq a^*$ の下で損失関数 $L(\theta)$ を最小化する問題として定式化される。アルゴリズムは、線形化された損失と Bregman 発散に基づく正則化汎関数 $R$ を用いてパラメータ $\theta$ を反復的に更新する。

スパース性を促進するために、著者らはElastic Net汎関数を用いる：
$$EN_\lambda(\theta) := \frac{1}{2}|\theta|_2^2 + \lambda|\theta|_1$$
この選択により、強凸性が保証され、近接作用素の使用が可能となる。更新則は、部分勾配ステップに続いて近接ステップを含む：

1. 部分勾配ステップ: $p^{(k+1)} = p^{(k)} - \tau \nabla L(\theta^{(k)})$
2. 近接ステップ: $\theta^{(k+1)} = \nabla EN^*_{\lambda(k)}(p^{(k+1)})$

適応戦略

主要な貢献は、スパース性欠損 $\epsilon^{(k)} = s^* - s(\theta^{(k)})$ に基づく $\lambda$ の動的適応である。ここで、$s^*$ は目標スパース性、$s(\theta)$ は現在のスパース性である。

$\lambda$ の更新則は、$f$ 回ごとに適用される：
$$\lambda^{(k+1)} = \begin{cases} \lambda^{(k)} (1 + \alpha |\epsilon^{(k)}|)^{\text{sgn}(\epsilon^{(k)})} & \text{if } k \pmod f = 0 \\ \lambda^{(k)} & \text{otherwise} \end{cases}$$
ここで、$\alpha$ は加速係数である。

安定化メカニズム:

• ダンピング: スパース性欠損 $|\epsilon^{(k)}|$ が小さな許容閾値 $\zeta_d$ に近づくにつれて、更新頻度 $f$ と加速係数 $\alpha$ は、目標スパース性周囲の高周波振動を防ぐために低減（ダンピング）される。
• 理論的解析: 著者らは、$L$-滑らかさの仮定の下で、損失が $\lambda$ の変化の大きさによって制御される誤差項とともに減少することを示す補題を提供する。また、安定性を確保するために $\lambda$ の有界な相対変化を解析する。

主要な貢献

1. 自動スパース性制御: 本論文は、手動のハイパーパラメータ調整なしで、モデルをユーザーが指定したスパース目標（75% から 99% の範囲）に確実に誘導する適応的 $\lambda$ メカニズムを備えることで、Bregman フレームワーク [7] を拡張する。
2. オラクル調整との性能同等性: 実験結果は、自動スキームでトレーニングされたモデルが、オラクル調整された固定 $\lambda$ でトレーニングされたモデルと同等か、それ以上の性能に収束することを示している。
3. ロバスト性の維持: 本研究は、スパースモデルの分布外（OOD）ロバスト性を調査している。その結果、スパース性がロバスト性を誘発し、適応スキームがこの性質を維持することが判明した。OOD データ（例：CNCeleb）において、密なベースラインを上回る性能を示すことが多かった。
4. スパース性割り当ての解析: 著者らは、Bregman オプティマイザがネットワークの残りの部分よりも分類器層を密に保つ傾向があるという、スパース性割り当ての非最適化の問題を特定している。極端なスパースレベル（例：99%）では、これが中間層をほぼ完全なスパース性へと追い込み、性能を低下させる。本論文は、層ごとの $\lambda$ の再スケーリングがこれを緩和し得ると示唆している。

実験結果

本手法は、VoxCelebおよびCNCelebデータセットを用いた自動話者認証（ASV）タスクにおいて、ECAPA-TDNNおよびResNet34アーキテクチャで評価された。

• スパース性制御: 適応的メソッドは、両方のオプティマイザおよびアーキテクチャに対して、75% から 99% の目標スパースレベルを成功裡に達成した。
• 収束性: 適応モデルは、トレーニング初期において、非適応的（固定 $\lambda$）ベースラインよりも速く収束した。
• 性能（EER）:
  • ドメイン内データ（VoxCeleb）において、適応的スパースモデルは、オラクル調整された非適応的ベースラインの等誤り率（EER）と同等かそれ以上の性能を示した。
  • OOD データ（CNCeleb-E）において、スパースモデルは一般的に密なベースラインよりも優れた汎化性能を示し、ロバスト性の仮説を確認した。
  • アーキテクチャ感度: ECAPA-TDNN は 95% のスパース性まで良好に機能したが、分類器がスパース性予算の大部分を吸収したため、99% で急激に劣化した。ResNet34 も同様の傾向を示したが、分類器のパラメータ割合に対してより敏感であった。
• プルーニングとの比較: 段階的プルーニングのベースラインは密なモデルと同様の性能を示したが、Bregman オプティマイザ（特に AdaBreg）は、ECAPA-TDNN において高スパースレベルで優れた性能を達成した。

意義と主張

本論文は、ターゲットごとの $\lambda$ 探索を不要にすることで、スパースモデルを生成するエンジニアリングコストを大幅に削減すると主張している。これにより、モデル選択に関連するエネルギーフットプリントが低減され、リソース制約のあるデバイスへの展開が容易になる。

著者らは、この手法がスパース性を制御し、ロバスト性を維持することに成功している一方で、極端なスパースレベルにおける分類器層のスパース性割り当ての非最適化の問題を完全に解決するものではないと控えめに指摘している。彼らは、スパース振動の理論的限界の導出と、層ごとのスパース性割り当て戦略の開発を、将来の重要な研究方向として特定している。本論文は、話者認証の固有の公平性やバイオメトリクス誤用のリスクを変更するものではなく、これらは展開段階の責任であると述べている。