On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective

本論文は、後処理によるアトリビューションマップが情報を追加することなくスコアを人工的に向上させ得ること、および空間的にぼやけたマスクへの系統的なバイアスを明らかにしていることを示し、それによって特徴量アトリビューション手法を正確に評価する能力を損なわせているため、RemOve-And-Retrain (ROAR) ベンチマークの妥当性が損なわれていることを実証するものである。

要約

あなたは、シェフがどのような料理を作るか決定する仕組みを解明しようとしていると想像してください。あなたには、材料のリスト（入力データ）と、レシピ本（ニューラルネットワーク）があります。シェフの論理を理解するために、あなたは「アトリビューション・マップ（属性マップ）」と呼ばれる特別なツールを使用します。このツールは、シェフが最終的な味にとって最も重要だと考えている材料がどれであるかを強調表示します。

長年、研究者たちは、これらの強調表示ツールが正確かどうかを確認するために、ROAR（Remove-And-Retrain：除去と再学習）と呼ばれるテストを使用してきました。このテストの論理は単純です。

1. 強調表示された材料を取り出す。
2. それらを捨て去る（除去する）。
3. 残った材料のみを使って、シェフに新しいレシピを教える。
4. もし、残った材料での調理においてシェフの腕前が著しく低下したならば、それは強調表示ツールが「真に重要な材料」を見つけ出したことを意味します。もしシェフが依然として上手く調理できるのであれば、そのツールは重要な材料を見逃していた可能性が高いということです。

問題点：「ぼやけたマスク」のトリック

この論文は、ROARテストには隠れた欠陥があることを主張しています。実は、実際にシェフのレシピをより良く理解することなく、このテストで「ズル」をすることができてしまうのです。

著者たちは、強調表示ツールの出力結果をぼかす（不鮮明にする、あるいは滑らかにする）と、RO如何なる場合でもROARテストのスコアが「向上する」ことがあることを発見しました。このテストにおける「より良い」スコアとは、材料を除去した後にシェフのパフォーマンスがより大きく低下したことを意味します。

ここでの比喩：
強調表示ツールが、シェフが必要とする特定のスパイス一つを、鋭く精密な円で囲んでいると想像してください。

• 正直な方法： そのスパイスだけを取り除きます。シェフは少し苦戦します。
• 「ぼやけた」方法： 同じ円を使い、それを広げて大きな、ぼやけた領域へと広げ、結果としてスパイスだけでなく、他の多くの無関係なアイテムまで誤って取り除いてしまいます。
• 結果： 大量のもの（真のスパイスを含む）を取り除いたために、シェフは無残に失敗します。ROARテストはこう判定します。「わあ、この強調表示ツールは素晴らしい！ 性能を劇的に低下させた！」

しかし、ツール自体が賢くなったわけではありません。単に、鋭いマスクよりも多くのデータを偶然にも削除してしまうような「ぼやけたマスク」を作成しただけなのです。

「情報」のルール（データ処理不等式）

論文では、数学的なルールであるデータ処理不等式を用いて、これを証明しています。これは情報の物理法則のようなものです。

• データを処理することによって、新しい情報を生み出すことはできません。
• 明確な写真をぼかせば、細部は失われますが、新しい秘密が得られるわけではありません。

著者たちは、たとえマップをぼかすことがシェフの真の論理に関する情報を「失わせる」行為であったとしても、それがROARテストを欺き、マップがより優れていると思わせることができることを証明しました。これは、高いROARスコアが必ずしもツールがモデルを理解していることを意味するのではなく、単にそのツールが、より多くのデータを削除してしまうような「ぼやけた」マップを生成している可能性があることを意味します。

実験：スミアリング（塗りつぶし） vs シャープ

これを証明するために、研究者たちは3つの異なる画像データセット（動物、車、道路の数字などの写真）を用いて実験を行いました。彼らは標準的な強調表示ツールを取り、マップに単純な「スミアリング（塗りつぶし）」技術（ガウスぼかしや最大プーリングなど）を適用してからROARテストを実行しました。

結果：

• ほとんどのケースにおいて、ぼかされたマップは、元の鋭いマップよりも高いROSAスコアを獲得しました。
• また、彼らは「ピクセル・ランダム（ランダムな点を消去する）」対「ブロック・ランダム（大きな固形ブロックを消去する）」の比較も行いました。より「ぼやけて」おり構造的な「ブロック・ランダム」の方が、より多くの意味のある情報を削除し、より高いスコアを得ましたが、それは決して（ツールが）賢くなったからではありませんでした。

結論

この論文は、ROARテストを使用する際には細心の注意が必要であると結論付けています。ある手法が高いスコアを出したからといって、それがAIの仕組みに関する「真実」を見つけ出したとは限りません。それは単に、画像のより多くの部分を誤って削除してしまうような「ぼやけた」マスクを作成する手法である可能性があります。

教訓： スコアだけを信じてはいけません。もしある手法がより「ぼやけて」見え、かつ高いスコアを得ているのであれば、それは理解が深まったサインではなく、テストのトリックである可能性があります。

技術概要

技術的要約：RemOve-And-Retrainの落とし穴について：データ処理不等性の観点から

問題提起

RemOve-And-Retrain (ROAR) ベンチマークは、メカニスティック・インタープリタビリティにおける特徴量アトリビューション手法を評価するための、広く採用されているプロトコルである。ROARの核心となる前提は、もしアトリビューション手法がモデルの決定に不可欠な特徴量を正しく特定できているならば、それらの特徴量を除去してモデルを再学習させた際に、精度が大幅に低下するというものである。しかし、情報理論的な観点から見たROARの妥当性は、未だ十分に探求されていない。

本論文は、ROARがアトリビューション・マップがモデルの決定関数に関する情報を真に保持しているかどうかを判断する指標として、信頼できるものであるかという点に疑問を投げかけている。著者らは、モデルおよびデータに依存しないアトリビューション・マップへの後処理によって、ROARスコアが人工的に改善される可能性があると仮定している。このような後処理は、データ処理不等性（DPI）によれば、決定関数に関する情報を追加することはできないが、それでもなお優れたROARスコアをもたらす可能性がある。このことは、優れたROARのランキングが、アトリビューション手法自体の情報量ではなく、ベンチマークが特定のマスク幾何学（例：空間的なぼけ）に対して持つ感度のバイアスを反映している可能性を示唆している。

手法

著者らは、構造的因果モデルを用いた理論的分析と、実世界のデータセットを用いた経験的検証を組み合わせて用いている。

1. 理論的枠組み（データ処理不等性）:

   • 著者らは、アトリビューション・マップ $A$ が入力 $X$ とモデル側の変数 $Z$（決定関数および説明器のアイデンティティを表す）から生成されるという構造的因果モデルを用いて、ROARのデータ生成プロセスを定式化している。
   • 著者らは、$X, Y, Z$ に直接アクセスすることなく（$A$ を通じてのみ）、アトリビューション・マップ $A$ を $\tilde{A}$ へと変換する後処理関数 $k(\cdot)$ を導入している。
   • 定理 3.1 は、このような非依存的な後処理に対して、条件付き相互情報量 $I(Z; \tilde{A} | X)$ は $I(Z; A | X)$ 以下であることを確立している。これは、後処理によってマップがモデルについて保持する情報を増やすことはできないことを裏付けている。
   • 定理 3.2 は、修正された入力とラベルの間の相互情報量 $I(\tilde{X}'_t; Y)$ が $I(X'_t; Y)$ よりも厳密に低くなるような後処理 $k$ を構築できることを示す反例を提供している。ROARの文脈において、$I(\cdot; Y)$ の低下は再学習精度の低下に対応し、これは「より優れた」スコアと解釈される。これは、ROARの改善が、アトリビューションがモデルに関してより情報量豊かであることを必ずしも意味しないことを証明している。

2. 経験的インスタンス化:

   • マスクの形状（例：空間的なぼけ）がROARスコアを向上させるという仮説を検証するため、著者らはアトリビューション・マップに対して2つの単純で非依存的な後処理関数、**ガウス平滑化（Gaussian smoothing）と最大プーリング（Max-pooling）**を適用している。
   • これらの操作は、構造化されたコンテンツをより効果的に除去する「BlockRandom」ベースラインと同様に、空間的に一貫した、「ぼけた」、あるいはブロック状のマスクを生成する傾向があるため選択された。
   • 実験では、CIFAR-10、SVHN、および CUB-200 の3つのデータセットに対して、ROARおよびROAD (RemOve-And-Retrain with Drop) プロトコルを用いている。
   • 様々なアトリビューション手法（Input-Gradient, Grad*Input, Integrated Gradients, SmoothGrad, VarGrad, Grad-CAM）が、オリジナル形式および二乗形式の両方で評価されている。

主な結果

• 理論的知見: 著者らは、非依存的な後処理が、アトリビューション・マップが決定関数について保持する情報を減少または消失させているにもかかわらず、ROARスコアを厳密に改善（再学習精度を低下）させ得ることを証明した。
• 経験的知見:
  • 実験の結果、マスクの「ぼけ具合」とROAR/ROADのパフォーマンス向上との間に一貫した関連があることが示された。
  • アトリビューション・マップにガウス平滑化または最大プーリングの後処理を適用すると、大多数のケースにおいて再学習精度が低下した。具体的には、ROARベンチマークにおいて、最大プーリングは 74/81 の比較で精度を低下させ、ガウス平滑化は 76/81 で低下させた。同様の傾向はROADのバリアントでも観察された。
  • これらの結果は、ベンチマークがアトリビューションのモデル内部ロジックへの忠実度だけでなく、マスクの空間構造（ブロック状またはぼけた除去を好む傾向）に対して敏感であることを示している。

主な貢献

1. 理論的証明: 本論文は、データ処理不等性に根ざした形式的な証明を提供し、モデル/データに依存しない後処理が、決定関数に関する情報を追加することなくROARスコアを改善し得ることを示した。
2. 構造的因果モデル: 著者らは、ベンチマークの失敗モードを分離するために、形式的な反例とROARのデータ生成プロセスの構造的因果モデルを構築した。
3. ぼけバイアスの特定: 本研究は、ROA（およびROAD）メトリックにおける、空間的にぼけたマスクに対する持続的なバイアスを明らかにし、これらのメトリックが、メカニスティックな理解を強化しない変換によって最適化され得ることを示した。
4. 実践的なガイドライン: 著者らは、解釈可能性手法のより慎重なベンチマークのためのガイドラインを提示し、ROARの結果を解釈する際に、マスクの幾何学的特性を考慮するようコミュニティに促している。

意義と主張

本論文は、改善されたROARのランキング自体は、アトリビューション・マップがモデルに関するより多くの情報を保持している証拠にはならないと主張している。代わりに、そのような改善は、単にマスク生成パイプラインがデータ分布とどのように相互作用するか、具体的には構造化されたコンテンツを効率的に除去するマスクを好む性質を反映している可能性がある。

本研究の意義は、メカニスティックな理解の検証に対する警告的な立場にある。著者らは、これらの落とし穴に対処しない限り、研究者は、真に決定に関連する構造を明らかにする手法と、単に視覚的に魅力的なだけで情報を持たないサリエンシー・マップを生成する手法を、信頼を持って区別することはできないと論じている。これらの知見は、現在のベンチマークが、真のアトリビューションの忠実度よりも特定のマスク幾何学を不当に評価してしまう可能性があることを示唆しており、安全性に関わるモデル監査や回路発見における、より微細なアプローチの必要性を提起している。