技術要約: Subset-Selected Counterfactual Augmentation (SS-CA)

問題提起

現在の深層視覚モデルは、堅牢な因果的証拠ではなく、限定的な識別的視覚キューや「ショートカット」に依存することで高い精度を達成していることが多い。この依存関係は、分布シフト（Out-of-Distribution, OOD）や主要な物体の一部が遮蔽された際に、モデルを脆弱にする。忠実度の高いアトリビューション手法は、局所的な説明を通じてこれらの問題のある依存関係を明らかにできるが、これらは通常、事後的に（post hoc）用いられるものであり、モデルの決定境界を修正するための学習ループには統合されていない。さらに、既存の説明ガイド型学習手法は、勾配ベースのアトリビューション（例：Grad-CAM）に依存していることが多いが、これらは忠実度が低いことが知られており、モデルの真の決定根拠を捉えることに失敗する可能性があり、その有効性を制限している。

手法

本論文では、アトリビューション領域を効果的な反事実的訓練フィードバックへと変換する学習戦略である**Subset-Selected Counterfactual Augmentation (SS-CA)**を提案する。このフレームワークは、以下の3つの主要なステージからなるクローズドループで構成される。

1. 反事実カテゴリの選択 (Counter Category Selection)

従来の訓練ステージでは、事実的な入力画像が処理され、クラス・ロジットが得られる。正解クラス（ground-truth class）は保持され、「反事実クラス（counter class）」は、スコアの高い上位$k$個の代替クラスからランダムにサンプリングされる。この反事実クラスは、反事実的介入のターゲットとなる。

2. 反事実的説明 (Counterfactual LIMA)

著者らは、LIMA（部分集合選択に基づく忠実なアトリビューション手法）を、訓練時のアトリビューションのためのCounterfactual LIMAへと拡張する。現在の予測を支持する領域を特定する標準的なLIMAとは異なり、Counterfactual LIMAは、モデルの予測を正解クラスから選択された反事実クラスへと変化させるために除去すべき最小限の領域集合 $S$ を探索する。

• 目的: この手法は、これを劣モジュラ（submodular）な部分集合選択問題として定式化し、ユーティリティ関数 $F(S)$ を最大化するように反復的に領域を選択する貪欲法（greedy algorithm）を用いる。
• ユーティリティ関数: $F(S)$ は、2つの相補的な目的を組み合わせている：
  • 削除スコア (Deletion Score): 領域を除去した際に、反事実クラスへの確信度が増加し、正解クラスへの確信度が減少する度合いを測定する。
  • 挿入スコア (Insertion Score): 選択された領域を孤立させた際、それらが依然として正解クラスに対する十分な証拠を保持しており、かつ不当に反事実クラスを支持しないことを保証する。
• サーチゲート (Search Gate): オーグメンテーションの前に、候補となる部分集合は2つの基準によってフィルタリングされる：
  1. マージン低下 (Margin Drop): 部分集合の除去により、正解クラスと最も強力な競合クラスとの間のロジット・マージンが大幅に減少しなければならない。
  2. 意味の保持 (Semantics-Preserving): 減衰させた画像が依然として正解クラスとして予測されなければならない。これは、修正が元の意味的内容を破壊しないことを保証するためである。

3. アトリビューション誘導型オーグメンテーション (Attribution-Guided Augmentation)

有効なアトリビューションマップが特定されると、選択された領域は**三方向適応結合 (Three-Way Adaptive Combination)**戦略を用いて減衰される。黒いマスクや外部の背景を使用する（これらは新しい意味を導入してしまう）代わりに、この手法ではマスクされた領域を以下の要素の加重結合で置き換える：

• 低周波成分
• ぼかしたコンテンツ
• 平均画素値
  この適応的な充填（$Q(I) = \omega_1 Q_{low} + \omega_2 Q_{blur} + \omega_3 Q_{mean}$）は、グローバルな画像意味論を保持しながら、決定に関連する証拠を弱める。

共同最適化 (Joint Optimization)

得られた反事実的サンプルは、元の正解ラベルを保持したまま訓練ループにフィードバックされる。モデルは、元の画像に対する標準的なクロスエントロピーと、反事実的に拡張されたサンプルに対するクロスエントロピーを組み合わせた損失関数を用いて共同で最適化される。これにより、モデルは残存する情報的な証拠を活用し、決定境界をより堅牢な構成へとシフトすることが促進される。

主な貢献

1. SS-CAフレームワーク: 著者らは、事後的なLIMAを訓練時のCounterfactual LIMAへと拡張する学習フレームワークを提案している。これは、決定を変化させる領域を特定し、効果的な反事実的サンプルを生成し、決定境界を強化された状態へと押し上げるためにそれらをフィードバックする。
2. 有効な境界近傍マスクの選択: 元の意味を保持しながら、正解クラスと競合クラスの間のロジット差を減少させるマスクを選択する戦略が導入されており、生成されたサンプルが効果的に決定境界に接近することを保証する。
3. 三方向適応充填: 選択された証拠を抑制しつつ、外部のセマンティック情報を導入しないための、反事実的パディングに関する理論的および実践的な戦略。
4. 広範な検証: 本手法は、5つのImageNetバリアント（ImageNet-100, TinyImageNet-200, ImageNet-1k, ImageNet-R, ImageNet-S）および複数のバックボーン（CLIP ViT, ViT, ResNet-101）にわたって検証されており、ID精度、OOD汎化性能、および摂動に対する堅牢性のすべてにおいて一貫した改善を示している。

実験結果

論文では、様々なベンチマークにおける大幅な性能向上が報告されている：

• ImageNet-1k (CLIP ViT-B/32): SS-CAは、イン・ディストリビューション（ID）精度を5.70%（71.44%から77.14%へ）、ImageNet-RにおけるOOD精度を18.04%（31.63%から49.67%へ）向上させる。
• TinyImageNet-200 (ResNet-101): 本手法は、ImageNet-Rで9.52%（11.29%から20.81%へ）、ImageNet-Sで11.33%（11.34%から22.67%へ）の向上を達成する。
• 堅牢性: ガウスノイズの破損条件下において、SS-CAは従来の訓練と比較して約**4%**の改善を達成している。
• 比較: SS-CAは、勾配ベースのアトリビューションに依存する最近のデバイアス手法（Xiao et al. [16], Chen et al. [12]）および従来の訓練を、一貫して上回っている。アブレーション研究により、Counterfactual LIMAコンポーネントとAdaptive Combination充填戦略の両方が、これらの利得のために必要であることが確認されている。

意義と主張

本論文は、反事実的な解釈可能性をモデルの訓練と組み合わせることが、より信頼性が高く透明性の高い視覚モデルへの有望な道であることを主張している。モデルが依存する限定的な十分原因を明示的に特定し、減衰させることで、SS-CAはモデルがより広範な因果的証拠から学習することを強制する。著者らは、彼らのアプローチが、外部の生成モデルに依存したり、偽のセマンティック・アーティファクトを導入したりすることなく、分布シフト下での現在のモデルの脆弱性に対処していることを強調している。本研究は、事後的な分析を超えて、アトリビューション誘導型の能動的な訓練を行うことが、決定境界をより堅牢なものへと再形成するために効果的であることを示している。