Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape

テクニカルサマリー：分類の堅牢性と説明の堅牢性は本当に強く相関しているのか？

問題提起
医療診断や自動運転などの高リスクな領域において、信頼性の高い機械学習システムをデプロイするには、モデルが（分類の堅牢性として）敵対的攻撃に対して正確な予測を維持することと、（説明の堅牢性として）一貫した解釈可能な根拠を維持することの両方が不可欠である。この分野における支配的な仮説は、これら2つの特性の間に強い正の相関がある、すなわち分類の堅牢性を向上させれば、本質的に説明の堅牢性も向上するというものである。本論文はこのパラダイムに異を唱え、分類の堅牢性を向上させるために入力損失のランドスケープを平坦化するメカニズムが、説明の堅能性にも同様に適用されるのか、そして2つの形態の堅牢性は本質的に結びついているのかを調査することで、この仮説を検証する。具体的には、説明損失に関する入力損失のランドスケープが平坦であることが、堅牢な説明のための必要条件であるのかどうか、そして両者の堅牢性が不可分であるのかどうかを疑問視している。

手法
著者らは、損失ランドスケープ分析、クラスタリングに基づく評価、およびこれら2つの堅牢性の次元を切り離すための新しい学習アルゴリズムを組み合わせた体系的なフレームワークを採用している。

1. 損失ランドスケープ分析： 本研究では、犠牲となる画像にランダムなノイズを加え、損失の変化を測定することで、説明損失（$L_e$）に関する入力損失のランドスケープを可視化する。これは、分類損失（$L_{sc}$）に関して平坦なランドスケープがより高い分類の堅牢性と相関するという、確立された知見と対比されるものである。
2. 評価のためのクラスタリングベース・サンプリング： 二次的なサンプル・ペアリングに伴う計算上の不可能性を回避するために、著者らはクラスタリングベースのサンプリング手法を提案している。画像の意味的な一貫性を確保するため、特徴量（ResNet18など）を用いたK-means法によるクラスタリングを行う。評価セットは、犠牲となる画像からターゲットとなる画像へと説明を操作するために必要な「攻撃損失」を測定するために、クラスター内およびクラスター間のペアから構築される。
3. TRADESフレームワーク： 著者らは、分類の堅牢性（パラメータ $\alpha$ によって制御）が異なるモデルを生成するためにTRADESフレームワークを使用し、分類の堅牢性の変化が説明の堅牢性とそれに関連する損失ランドスケープにどのように影響するかを観察する。
4. SEP (Separate Explanation Robustness via PGD)： 両者の関係を明示的にテストするため、著者らは新しい学習手法であるSEPを提案する。この手法は、訓練損失に正則化項（$L_{SEP} = \|I(x + \zeta) - I(x)\|^2$、ここで $\zeta$ はランダムノイズ、$I$ は説明手法）を導入する。
   • SEPpos ($\lambda > 0$): 説明損失に関して損失ランドスケープがより平坦になるよう誘導する。
   • SEPneg ($\lambda < 0$): 損失ランドスケープがより鋭利（シャープ）になるよう誘導する。
     これにより、分類の堅牢性とは独立して、説明の損失ランドスケープの平坦性を操作することが可能となる。

主な知見と結果
複数のデータセット（MNIST, FMNIST, CIFAR-10, CIFAR-100, TinyImageNet）およびアーキテクチャ（ConvNet, ResNet18, Wide ResNet, MobileNetV2）にわたって実施された実験により、以下の結果が得られた。

• 堅牢性のデカップリング（分離）： SEPposおよびSEPnegで訓練されたモデルは、同様の分類の堅牢性（敵対的精度 $Acc_{adv}$ で測定）を示す一方で、著しく異なる説明の堅牢性（最終的な説明攻撃損失 $L_{end}^e$ で測定）を示す。具体的には、SEPneg（鋭利なランドスケープ）の方が高い説明の堅牢性を達成し、SEPpos（平坦なランドスケープ）は低い説明の堅牢性を達成するという結果になった。
• 分類の堅牢性との矛盾： 分類の堅牢性においては平坦な損失ランドスケープがより高い堅牢性を示すが、これとは対照的に、説明の損失に関して入力損失のランドスケープを平坦化すると、実際には説明の堅牢性が低下するということが判明した。
• 説明の堅牢性のメカニズム： 分析によれば、説明の堅牢性は平坦な損失ランドスケープによってではなく、攻撃開始時における高い初期損失（$L_{start}^e$）によって駆動されている。犠牲となる画像とターゲットとなる画像の説明の間の初期距離が大きいモデルは、ランドスケープの平坦さに関わらず、攻撃が困難になる。
• 汎用性： これらの知見は、異なる説明手法（Gradient, Guided Backpropagation, DeepLift, Integrated Gradients）および異なる敵対的訓練プロトコル（Madry AT, TRADES）においても成立している。

主な貢献

1. 効率的な評価： 説明の堅牢性を効率的かつ包括的に評価するための、クラスタリングベースのサンプリング手法の導入。
2. 経験的な矛盾の提示： 説明の堅牢性を高めることが、説明損失に関する入力損失のランドスケープを平坦にするわけではないという事実の立証。これは分類の堅牢性で見られる挙動とは矛盾するものである。
3. 新しい学習手法 (SEP)： 説明の損失ランドスケープの平坦性を明示的に制御できる学習アルゴリズムの開発。これにより、説明の堅牢性が分類の堅牢性と独立して操作可能であることが証明された。
4. 理論的洞察： 分類の堅牢性と説明の堅牢性を支配するメカニズムは根本的に異なるという証拠の提示。これは、両者が本質的に相関しているという仮定に挑戦するものである。

意義
本論文は、分類の堅牢性と説明の堅牢性は強く相関していないと結論付けている。この発見は、AIシステムのセキュリティと信頼性に重要な意味を持つ。つまり、分類の堅牢性を確保するための技術（敵対的訓練など）に頼るだけでは、信頼できる説明を保証するには不十分であることを示唆している。著者らは、特に予測精度と解釈性の両方が敵対的な条件下で求められる重要なアプリケーションにおいては、説明の堅牢性を個別に考慮し最適化する必要があると主張している。本研究は、単一の堅牢性指標や訓練戦略が両方を保証できるという仮定を超え、損失ランドスケープと説明損失の関係を理解するための新たな道を開くものである。