Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations

技術要約：一貫したエビデンス、堅牢な認識

問題提起
アトリビューション（属性付け）手法は、ディープニューラルネットワークの予測の根拠となる入力エビデンスを特定するために広く用いられている。しかし、それらがモデルの振る舞いを能動的に改善できる可能性については、未だ十分に探求されていない。決定的な問題は、ラベル保存型の幾何学的変換（反転や回転など）におけるアトリビューションの一貫性の欠如である。予測クラスは変化しない場合でも、モデルは元々のオブジェクトのエビデンスから、異なる領域や無関係な領域へと依存対象をシフトさせてしまうことがある。これは、幾何学的変換に対する感度を示しており、堅牢性を損なうものである。

既存のアトリビューション正則化手法は、通常、勾配ベースのマップ（Grad-CAMなど）から導出される自己教師ありの一貫性目的関数に依存している。これらの手法の根本的な限界は、忠実性（faithfulness）にある。勾配ベースのマップは、必ずしもモデルの決定を駆動しているエビデンスを正確に反映しているわけではない。その結果、これらのマップを整合させても、一貫するのは「説明の出力」のみであり、「意思決定プロセス」そのものの整合性は保証されない。モデルは、説明レベルの一貫性を達成しながらも、依然として変換に敏感なエビデンスに依存し続ける可能性がある。本研究が取り組む中心的な課題は、いかにして忠実で決定に結びついたアトリビューションを、人間の注釈なしで一貫したエビデンスへの依存を強制するための効果的な学習信号へと変換するかである。

手法
著者らは、画像領域に対する**劣モジュラ探索（submodular search）**に基づく、アノテーションフリーのアトリビューション正則化フレームワークを提案している。この手法は以下の2段階で動作する。

1. クエリ段階（教師信号の生成）:
   勾配ベースのヒートマップを用いる代わりに、本フレームワークは探索ベースのアトリビューション手法（具体的にはLIMA）を用いて、コンパクトでクラス判別的なエビデンスを抽出する。プロセスは、一貫性、確信度、およびコラボレーションの指標を組み合わせた劣モジュラ・スコア関数を最大化するように、画像領域を貪欲に選択する。探索は、一貫性の閾値に達した時点で終了する。

   • フィルタリング: 正しく分類され、高い確信度を持ち、かつコンパクトなアトリビューション領域をもたらすサンプルのみを保持する。これにより、信頼できるモデルの振る舞いから教師信号が導出されることを保証する。
   • 教師シーケンス: 保持されたサンプルについて、選択された領域の順序付けられたシーケンスと停止条件が、「探索由来の教師信号」を構成する。

2. 学習段階（劣モジュラ・ランキング損失）:
   モデルを正則化するために、本フレームワークは、変換された画像の属性探索の軌跡を、元の画像の空間的に対応する軌跡と整合させる。探索プロセスは離散的かつ逐次的であるため、微分可能な代理関数が必要となる。著者らは、以下の2つの項からなる**劣モジュラ・ランキング損失（Submodular Ranking Loss）**を導入する。

   • 選択ランキング損失 ($L_{SelR}$): 変換された画像上での貪欲探索の各ステップにおいて、空間的に対応するターゲット領域（元のシーケンスから取得）が、残りの非ターゲット候補よりも高いランクになるように強制する。
   • 選択切断損失 ($L_{SelT}$): 変換された軌跡の累積されたエビデンスが、ターゲットの終端ステップにおける元のクエリシーケンスと同じ停止基準を満たすように促す。

全目的関数は、標準的な分類損失と、ハイパーパラメータ $\lambda$ で重み付けされた劣モジュラ・ランキング損失を組み合わせたものである。本フレームワークは、計算オーバーヘッドを管理するために、制約付き探索空間やスパース正則化などの最適化と共に実装されている。

主な貢献

1. 忠実なアトリビューションの前提条件: 本研究は、アトリビューション正則化を、単なるマップの一貫性を超えて、監督（supervision）が予測の根拠となるエビデンスを忠実に表現しなければならないという原則に基づいて定式化している。
2. アノテーションフリーのフレームワーク: フィルタリングされた劣モジュラ探索からコンパクトな教師シーケンスを導出する新しいフレームワークであり、人間による関連性アノテーションの必要性を排除している。
3. 劣モジュラ・ランキング損失: 候補の選択を変換された軌跡に沿って整合させ、停止基準を強制する微分可能な損失関数であり、本来は離散的なエビデンス選択プロセスの代理関数を提供する。
4. 実証的検証: 画像の精度を最小限の影響に抑えつつ、アトリビューションの安定性と忠実性を向上させ、変換された入力に対する堅牢性を強化することを、広範な実験によって実証した。

実験結果
本手法は、ViT-B/16、ViT-L/16、ResNet-50、ConvNeXt-Bアーキテクチャを用い、ImageNet-100およびImageNet-1Kで評価された。

• アトリビューションの質 (ImageNet-100, ViT-B/16):
  • アトリビューションの安定性が 0.14 から 0.27 に向上。
  • 挿入（Insertion） スコアが 52.1% 向上。
  • 削除（Deletion） スコアが 62.2% 低減。
  • 分類精度はわずか 0.28 パーセントポイント の低下にとどまった。
• 堅牢性 (ImageNet-1K):
  • 平均変換入力精度が、ResNet-50で 0.55、ConvNeXt-Bで 0.33 パーセントポイント向上。
  • クリーン画像に対する精度の低下は 0.30 ポイント に限定された。
• 効率性: 本手法は、CGCと同等の学習スループットを実現し、CLIP-AFTよりも高速であり、2次勾配法よりも大幅に低いGPUメモリ要件を実現している。

意義と主張
本論文は、忠実なアトリビューションが、予測性能を実質的に損なうことなく、一貫したエビデンスへの依存を促進すると主張している。不実な可能性がある勾配マップを整合させることから、劣モジュラ探索から導出される実際のエビデンス選択プロセスを整合させることへと焦点を移すことで、本手法は変換への感受性の根本原因に対処している。結果は、単なる説明の出力ではなく、意思決定に関連するエビデンスに対して等変性（equivariance）を強制することが、幾何学的変換を通じて空間的に対応するエビデンスに依存する、より堅牢なモデルにつながることを示唆している。著者らは、さらなる研究を促進するために、コードを近日公開予定であると述べている。