技術的概要：長尾の制御：適応的摂動による敵対的訓練の再バランス化

問題定義

深層ニューラルネットワーク（DNN）は、知覚不可能な摂動がモデルの性能を著しく低下させる敵対的例に対して極めて脆弱である。敵対的訓練（AT）は主要な防御戦略となっているが、既存の研究は主にバランスの取れたデータセット（例：CIFAR-10/100）における性能を評価しており、現実世界の長尾データ分布がもたらす課題を見落としている。長尾シナリオでは、少数の「ヘッド」クラスが支配的である一方、大多数の「テール」クラスは過小評価されている。

長尾データセットで訓練されたモデルは、通常、ヘッドクラスに対して過剰な自信を示し、テールクラスにおける汎化性能が低下する。敵対的設定では、攻撃者がクラス頻度に制約されず、意図的にテールクラスを標的にできるため、この問題はさらに悪化する。長尾敵対的訓練の既存手法（例：AT とバランスドソフトマックス損失の組み合わせ）は、モデルの更新と敵対的例の生成との間の重要な相互依存関係に対処できていることが少ない。過剰に自信を持ったモデルは、生成する敵対的例にバイアスをかけ、それが逆にクラス不均衡を悪化させるというフィードバックループを生み出し、頑健性を損なう。

ここで扱われる核心的な問題は、長尾分布において敵対的脆弱性とクラス不均衡を同時に軽減する方法であり、これは歪んだ訓練目的と敵対的分布の不安定な進化により、従来の敵対的訓練手法が直面する課題である。

手法：RobustLT

著者は、敵対的訓練中に摂動を適応的に調整するように設計されたプラグアンドプレイフレームワークであるRobustLTを提案する。この手法は、摂動がモデルの脆弱性とデータの不均衡の両方を同時に解決し得るという理論的洞察に基づいている。RobustLT は、2 つの主要な構成要素からなる。

1. クラス別摂動バランス化（CPB）

CPB は、クラス不均衡に起因する歪んだ訓練目的に対処する。理論的に、著者は各クラスに適切に設計された摂動強度を割り当てることで、訓練目的を再バランス化できることを示している。

• メカニズム: CPB は、少数派（テール）クラスには高い摂動強度を、多数派（ヘッド）クラスには低い摂動強度を割り当てる。
• 数式: クラス $y_i$ に対する摂動強度 $\epsilon_{y_i}$ は以下のように定義される。
  $$\epsilon_{y_i} = (1 - \alpha)\epsilon + \tau \sqrt{\log K_{y_i}} \epsilon$$
  ここで、$\epsilon$ は基本強度、$K_{y_i}$ は最も頻度の高いクラスに対するクラスごとの不均衡比、$\alpha$ と $\tau$ は基本レベルと傾きを制御するハイパーパラメータである。この手法は、期待される摂動の大きさが有界であることを保証する。
• 目的: この適応的な強度により、決定境界をシフトさせて過剰な自信を軽減し、効果的にバランスの取れた訓練目的を回復させる。

2. 敵対的反復重み付け（AIW）

AIW は、敵対的分布の不安定な進化に対処する。理論的分析により、訓練反復間における敵対的分布の大きなシフト（ワッサーシュタイン距離で定量化される）が頑健性を低下させることが明らかになった。

• メカニズム: AIW は、最初の $\beta T$ 反復（$T$ は総反復数）において、摂動強度を 0 から目標値 $\epsilon_{y_i}$ まで徐々に増加させる適応的重みを導入する。
• 数式:
  $$\epsilon^{(t)}_{y} = \min\left\{ \frac{t-1}{\beta T}, 1 \right\} \cdot \epsilon_{y}$$
• 目的: 訓練の初期段階で摂動強度を制御することで、AIW は敵対的分布の進化を安定化させ、反復 $t$ において生成される敵対的例の分布が反復 $t-1$ の分布に近接したままとなることを保証する。

理論的洞察

本論文は、オンライン最適化の観点と、頑健な特徴および非頑健な特徴を含む概念的な二値分類タスクを通じて、これらの手法の理論的基盤を提供する。

1. 従来の AT の限界: 従来の手法は、歪んだ目的関数の最小化（クラス間での不均一な頑健性につながる）と、反復間の不安定な分布シフトを許容するため、長尾データでは失敗する。
2. 二重最適化の実現可能性: 著者は、敵対的頑健性（頑健な特徴に依存）とクラスバランス（決定境界のバイアスを排除）に要求される許容摂動強度の間に、非空の共通部分が存在することを証明する。
3. 摂動への指針: 理論は、多数派クラスと比較して少数派クラスにより高い摂動強度を割り当てるべきことを示唆しており、その差は不均衡比 $K$ の $\sqrt{\log K}$ に比例する。

実験結果

著者は、CIFAR-10、CIFAR-100、TinyImageNet の長尾版を、さまざまなベース敵対的訓練アルゴリズム（AT、AWP、RoBal、REAT、AT-BSL、TAET）を用いて評価した。

• 性能: RobustLT は、ベースライン手法と比較して、自然精度と敵対的頑健性の両方を一貫して改善する。
• テールクラスの改善: 最も顕著な改善がテールクラスで観察される。例えば、AT-BSL ベースの CIFAR-10-LT において、RobustLT はテール頑健精度を 28.60% から 35.98% に向上させた。
• 攻撃への頑健性: この手法は、PGD、CW、AutoAttack などのさまざまな攻撃戦略に対して一貫した改善を示す。
• アブレーション研究: 感度分析により、CPB（$\alpha$ によって制御）と AIW（$\beta$ によって制御）の両方が必要であることが確認された。CPB は目的の歪みを相殺し、AIW は分布の進化を安定化させる。両者の組み合わせは、単一の構成要素よりも自然精度と頑健精度の間のより優れたトレードオフをもたらす。

意義と主張

本論文は、RobustLT が以下の点により、現実世界の応用における敵対的頑健性の分野で重要な進展を提供すると主張している。

1. 仮説への挑戦: 敵対的データはクリーンデータと同じクラス不均衡を本質的に継承するという仮説に挑戦し、摂動を用いて分布を再バランス化できることを示す。
2. 理論的統合: 敵対的摂動がモデルの脆弱性とデータの不均衡を同時に解決し得ることを初めて理論的に証明し、適応的摂動強度に関する具体的な指針を導出した。
3. 実用性: プラグアンドプレイフレームワークとして、RobustLT は既存のさまざまな敵対的訓練アルゴリズムと互換性があり、既存の訓練パイプラインを根本的に変更することなく、長尾シナリオにおける頑健性を向上させる実用的な解決策となる。

著者は、クラス別および反復別制御を通じて摂動を適応的に調整することにより、RobustLT が長尾データに起因する過剰な自信を効果的に軽減し、敵対的頑健性とクラスバランスの間に優れたトレードオフを達成すると結論づけている。