🤖 AI

Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI

本論文では、追加の学習を必要とせずに、より堅牢で転移性の高い説明を生成するために、入力への摂動に代わってモデル内部の非活性化を用いる新しい事後的な説明可能性フレームワークであるActivation-Deactivation（AD）を提案する。

原著者： Akchunya Chanchal, David A. Kelly, Hana Chockler

公開日 2026-07-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Akchunya Chanchal, David A. Kelly, Hana Chockler

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、写真を見てそれが何であるかを教えてくれる（例えば「これはアイベックスです！」や「これはカモノハシです！」のように）、非常に賢いけれど謎めいたロボットを想像してみてください。問題は、そのロボットが「ブラックボックス」であり、どのように考えているのかが見えないことです。あなたはその疑問を持っています。「画像のどの部分が、ロボットに『アイベックス』と言わせたのか？」

これが、**説明可能なAI（XAI）**という問題です。この論文では、この問いに答えるための新しい手法として、活性化・非活性化（Activation-Deactivation: AD）、およびそのための特定のツールである convad を紹介しています。

仕組みを、簡単な比喩を使って説明します。

旧来の方法：「悪い隣人」問題

現在、ほとんどの手法は、画像を**変形（mutate）**させることで、ロボットの決定を説明しようとします。

比喩： あるシェフの有名なスープが、ニンジンのおかげでおいしいのかを知りたいとしましょう。それをテストするために、スープの一匙を取り、そのニンジンを……トイレットペーパー、砂、あるいは青い絵の具に置き換えてみます。
問題： もしスープの中にトイレットペーパーを入れたら、そのスープはもはや「スープ」ではありません。それは奇妙で、分布外（out-of-distribution）のめちゃくちゃなものです。もしシェフが「これは美味しくない」と言ったとしても、ニンジンが足りなかったからなのか、それとも単にトイレットペーパーでスープを台無しにしたからなのか、判断がつきません。
論文における表現： これは「分布外のミュータント（out-of-distribution mutants）」を使用していると呼ばれます。古い手法は、画像の一部をランダムな値（ゼロ、グレー、あるいはノイズなど）でマスク（隠蔽）します。何を何でマスクするかによって、得られる答えは全く異なり、しばしば混乱を招きます。例えば、雪の結晶の画像を、間違った色でマスクしただけで、ロボットがそれを羊だと勘違いしてしまうこともあります。

新しい方法：「静かなスイッチ」（活性化・非活性化）

著者たちはこう言います。「材料を変える必要はありません。ただ、ロボットにそれらを無視するように伝えればいいのです。」

比喩： ニンジンをトイレットペーパーに置き換える代わりに、キッチンのニンジンがあるセクションの明かりを消すことを想像してください。ニンジンはそこに存在していますが、シェフの目（ロボットのセンサー）には見えません。残りのスープは完全に正常なままです。
仕組み： convad というツールは、画像自体を一切変更しません。代わりに、ロボットの脳（ニューラルネットワーク）の中に入り込み、スイッチを切り替えます。もし画像の一部が「マスク」されるべき場合、このツールはその部分からの情報がロボットの脳の中を伝わっていくのを阻止します。これは、画像データを実際に変更することなく、「この画像の部分は存在しないものとして扱え」と効果的に指示しているのです。

なぜこちらの方が優れているのか？

推測ゲームの排除： 古い手法では、「黒でマスクすべきか？グレーか？白か？」という推測が必要です。論文では、あなたの推測によって答えが完全に変わってしまうことが示されています。convad は推測を必要としません。ただ信号をオフにするだけです。
安定性： 奇妙な「トイレットペーパー」のようなピクセルを導入しないため、ロボットの反応ははるかに信頼できるものになります。論文では、多くの異なる種類のロボット（モデル）と画像（データセット）を用いてテストが行われました。
「ゴルディロックス（ちょうど良い）」ゾーン： 研究者たちは、convad による説明が「ちょうど良い」状態であることを発見しました。領域が広すぎたり（無関係なピクセルまで無駄に含めてしまう）、ノイズが多すぎたり（混乱を招く）せず、非常に**堅牢（robust）**です（背景をプレーンなものに変えても、依然として機能します）。

結果

論文では、convad を現在の最高水準の手法（LayerMask、LIME、Grad-CAMなど）と比較テストしました。

堅牢性（Robustness）： 背景が変わっても、ロボットが実際に信頼する説明を与える能力において、convad は30〜40%優れていました。
転移性（Transferability）： もし convad を使ってある種類のロボットに対して画像の「重要な部分」を見つけた場合、それと同じ部分が別の種類のロボットに対しても通常は有効に機能します。他の手法では、これが失敗することがよくあります。
学習不要： すでに学習済みのロボットであれば、どんなものでも、convad を差し込むだけで即座に動作します。ロボットを再学習させる必要はありません。

弱点（制限事項）

内部へのアクセス： convad を使用するには、ロボットの脳を開き、中の配線に触れる（モデルの内部レイヤーにアクセスする）必要があります。中が見えない（真のブラックボックスである）ロボットには使用できません。
漏洩（Leakage）： 「オフ」のスイッチが完璧でない場合、ドアの下から漏れる光のように、わずかな情報が「漏れて」くることがあります。著者らはこれを認めていますが、これは稀なエッジケースであるとしています。

まとめ

この論文は、AIの決定を理解するための新しい方法を提案しています。入力画像を奇妙な値（トイレットペーパーのようなもの）でめちゃくちゃにする代わりに、convad はモデル内部の信号を遮断することで、AIに画像の一部を無視するように伝えます。これにより、AIがなぜその決定を下したのかについて、より明確で、信頼性が高く、信頼に足る説明が可能になります。

技術要約：堅牢な事後説明可能AIのための活性化・非活性化（AD）

1. 問題提起

LIME、SHAP、REXといった現在の摂動ベースの説明可能AI（XAI）手法は、特定の特徴量をマスクまたは遮蔽することで、入力データの「変異体」を作成することに依存しています。これらの手法は通常、マスクされたピクセルを事前定義された値（例：ゼロ、平均値、ガウスぼかし、またはランダムノイズ）で置き換えます。著者らは、このアプローチが分布外（o.o.d.）入力を生成し、その結果得られる説明の忠実性に疑念を抱かせるものであると主張しています。

マスク値の選択は説明の品質に大きな影響を与えます。本論文で示されているように、異なるマスク値（例：ゼロ vs 最大値）は、全く異なる最小十分ピクセル集合（MSPS）をもたらすことがあり、その中には人間の直感やモデルの実際の決定境界と一致しないものもあります。さらに、既存の手法は多くの場合、「正しい」マスク値を選択するためにドメイン固有の適応や専門知識を必要とし、それが主観性と不整合性を導入しています。

2. 手法：活性化・非活性化（AD）

本論文では、入力の摂動を完全に排除する新しいフォワードパス・パラダイムである**活性化・非活性化（Activation-Deactivation: AD）**を導入しています。入力を修正する代わりに、ADは推論中にモデルの内部状態を修正します。

コアメカニズム:

概念: ADは、意図された摂動に対応するモデルの一部を「オフ」にします。これは、遮蔽された入力特徴量に関連する活性化の伝播を制限し、入力分布を変更することなく、モデルにそれらの領域を無視させることを効果的に強制します着ます。
実装 (convad): 著者らは、convadと呼ばれるアルゴリズムを通じて、畳み込みニューラルネットワーク（CNN）に対するADを実装しました。
- チェックポイント: アルゴリズムは、特定の層（例：次元変更操作の前、または畳み込み層の間）にチェックポイントを挿入します。
- 位置属性: 位置属性関数 $\Phi_i$ を利用して、特定の活性化に寄与するマスク済み特徴量と未マスク済み特徴量の比率を計算します。
- 閾値処理: ハイパーパラメータ $\tau$ が非活性化の閾値を決定します。マスクされた特徴量の比率が $\tau$ を超える場合、対応する活性化はゼロに設定されます。
- マスクの伝播: マスクは更新され、ネットワークを通じて伝播されます。形状を保持する操作については、平均値カーネル畳み込みを使用してマスクを更新します。次元を変更する操作については、特定の操作（例：1または0によるパディング）に基づいてマスクを調整します。

理論的保証:
本論文は、入力マスクが「空」（すべて1）である場合、convadを組み込んだモデル $N'$ は元のモデル $N$ と同一の挙動を示すことを証明しています。これにより、フレームスワークがマスクされていない条件下ではモデルのベースラインの挙動を変更しないことが保証されます。著者らは、LayerMaskのような同様のツールにはこの保証が欠けていることを指摘しています。

3. 主な貢献

新しいパラダイム: 入力摂動を内部の活性化非活性化に置き換え、モデルの入力特徴量を厳密に分布内に維持するADの導入。
アルゴリズムの実装: 追加の学習、ファインチューニング、またはマスク値に関するドメイン固有の知識を必要としない、訓練済みCNNのための「ドロップイン」メカニメントであるconvadの開発。
理論的枠組み: ADフレームワーク内における位置関数および位置属性関数の形式的な定義、ならびに未マスク条件下での元のモデルとの挙動の等価性の証明。
包括的な評価: 複数のアーキテクチャ（ResNet-50, RegNetY-12GF, EfficientNet-V2）およびデータセット（ImageNet-1k, ImageNet-v2, PASCAL-VOC）にわたる、最先端（SOTA）のブラックボックス手法およびホワイトボックス手法（LIME, Grad-CAM, REX）およびLayerMaskツールとの厳格な比較。

4. 実験結果

著者らは、堅牢性（Robustness）、転移性（Transferability）、サイズ（Size）、冗長性（Redundancy）、および**重複（Overlap）**に基づいて説明の品質を評価しました。

堅牢性: convadは、すべてのマスキング戦略を一貫して上回りました。単色背景において、convadによる説明は、正しい分類を大幅に高い頻度で維持しました。分布内（i.i.d.）背景において、convadは高い信頼度閾値で約20%の堅牢性を示し、他の手法を平均して30〜40%上回りました。
転移性: convadによって生成されたMSPSは、他の手法と比較して、異なるモデルアーキテクチャ間で最大22%優れた転移性を示しました。これは、それらがショートカットではなく、真に判別的な特徴に依存していることを示唆しています。
ゴールドリックス・ゾーン（適度な領域）: 堅牢性、説明のサイズ、およびノイズの関係に関する分析により、convadの説明は「ゴールドリックス・ゾーン」を占めていることが明らかになりました。すなわち、これらは非常に堅牢であり、ノイズ（冗長性）が少なく、サイズがコンパクトです。他の手法は、少なくとも一つの次元において失敗する傾向がありました。
マスク値からの独立性: 選択されたマスク値（例：Zero vs Max）によって結果が劇的に変化する摂動法とは異なり、convadは遮蔽値の選択を必要とせずに一貫した結果を生み出しました。

5. 意義と主張

本論文は、ADが摂動ベースのXAIの根本的な欠陥である「分布外入力の生成」に対処していると主張しています。活性化を非活性化することで入力を変異させるのではなく、convadは以下の特性を持つ説明を提供します：

より堅牢: 特定の摂動戦略の選択に対して敏感ではない。
より転移可能: 重要であると特定された特徴は、異なるモデルアーキテクチャ間で一貫している。
モデルに依存しない（アーキテクチャ内において）: アルゴリズムは同じアーキテクチャ（CNN）のすべてのモデルに対して同一であり、再学習を必要としない。
忠実: 説明は、マスキング値による人工的なアーティファクトを導入することなく、モデルの信頼度閾値と決定ロジックに厳密に従う。

著者らは、現在の実装はCNNに限定されており、内部層を修正するためにホワイトボックスへのアクセスが必要であるが、ADフレームワークは、事後説明の信頼性を大幅に向上させる原理的な代替案を提供するものであると結論付けています。今後の課題として、このフレームワークをトランスフォーマーおよびアテンションベースのモデルへ拡張することが計画されています。