🤖 machine learning

Decomposition of Evidence, Contradiction, and Fragility in Perturbation Responses

本論文は、摂動に基づくモデルの説明を、根拠（evidence）、矛盾（contradiction）、および脆弱性（fragility）という明確な成分へと分解する新しいフレームワークであるDECAFを紹介し、この軌跡を考慮したアプローチが、多様なビジョンおよびテーブルデータのタスクにおいて、従来の大きさに基づく属性付け手法よりも精度、効率、および解釈性の面で大幅に優れていることを実証する。

原著者： Lei You

公開日 2026-08-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lei You

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

例えば、ある友人がなぜ特定の選択をしたのか（例えば、青いシャツではなく赤いシャツを選んだ理由など）を理解しようとしている場面を想像してみてください。あなたなら、「彼らはその色に対してどれくらい反応したのだろうか？」と問いかけるかもしれません。もし彼らが即座に赤いシャツを掴んだとしたら、あなたは「わあ、すごい反応だ！」と言うでしょう。しかし、ここからが厄介なところです。大きな反応が必ずしも同じ意味を持つとは限らないのです。もしかしたら、彼らは赤いシャツを「大好き」だったのかもしれません（良い理由）。あるいは、青いシャツがあまりにも「嫌い」だったので、そこから逃れるために赤いシャツを掴んだだけかもしれません（悪い理由）。あるいは、混乱して赤いシャツを掴んだものの、途中で実は青い方が良かったと気づいたのかもしれません（一時的で脆い反応）。

これは「AIの説明可能性（AI explainability）」という分野の世界であり、科学者たちがコンピューターモデルの「ブラックボックス」の内部を覗き込み、モデルが何を考えているのかを知ろうとしている領域です。長い間、主要なツールは反応の「大きさ（magnitude）」を測定することでした。つまり、入力を少し変えたときに、AIの答えがどれほど大きく変化したかという指標です。それは、ドアがどれほど激しく閉まったかを測るようなものです。しかし、この新しい論文が指摘しているように、ドアが激しく閉まったという事実を知るだけでは、それが怒りによるものか、喜びによるものか、あるいは単に風が吹いて閉まっただけなのかを知ることはできません。著者のLei You氏（デンマーク工科大学）率いる研究チームは、私たちが「音の背後にある意味」を無視してきたと主張しており、それを分類するための新しい手法を構築しました。

この論文では、DECAF（Evidence, Contradiction, and Fragilityの分解：証拠、矛盾、および脆弱性の分解）と呼ばれる手法を紹介しています。DECAFを、単にドアが閉まる音を聞くだけでなく、その人がドアにどのように近づいていったかという物語全体を見守る、非常に賢い探偵だと考えてください。

DECAFの仕組みを、簡単な物語を使って説明します。あなたが、マジシャンがカードをキングからクイーンに変える手品を見ていると想像してください。

Evidence（証拠）: マジシャンがカードを見せる際、その変化が最終的な結果（クイーン）に向けて積み上がっていくように感じられる場合、DECAFはこれを**Evidence（証拠）**と呼びます。これは、最終的な決定を支持する反応の部分です。
Contradiction（矛盾）: 時には、カードが一瞬キングのように見え、次にクイーンになり、またキングに戻り、最後にようやくクイーンに落ち着くことがあります。もし反応が、どの時点においても最終的な結果に「逆行」する場合、DECAFはこれを**Contradiction（矛盾））**と呼びます。これは、AIが最終的に考えを変える前に、「あれ、キングだと思ったのに！」と言っているような状態です。
Fragility（脆弱性）: 最後に、マジシャンがクイーンのようなカードを振ってみせますが、よく見ると最後にはただの白紙のカードだった、という場面を想像してください。カードは変化したように見えましたが、最終的な結果は「無」でした。もしAIがトリックの最中に強い反応を示したものの、最終的な答えが実質的にゼロである場合、DECAFはこれを**Fragility（脆弱性）**と呼びます。これは、経路によって生じただけであり、実質的な違いによるものではない反応です。

著者は、このアイデアをいくつかの異なる方法でテストしました。まず、AIが何をすべきかが正確に分かっている制御されたビデオゲームやパズルを作成しました。その結果、DECAFはAIが「ショートカット（近道）」（例えば背景の色に基づいて推測すること）に頼っているのか、それとも実際の物体に基づいているのかを見分けることができることが分かりました。もしAIがショートカットを使っていた場合、DECAFの「Evidence（証拠）」スコアはその挙動と完璧に一致しました。もしAIが混乱したり考えを変えたりしていた場合、「Contradiction（矛盾）」スコアが急上昇しました。

次に、彼らはこれを現実世界へと持ち込み、ImageNet-9データセット（さまざまな背景を持つ画像のコレクション）の画像を用いた、72種類の異なるAIモデルによる大規模なテストを行いました。彼らは、全く同じ「反応の大きさ（loudness）」を持ちながら、根底にある挙動が異なるケースを比較しました。

結果: もし「大きさ（magnitude）」だけを見ていた場合、正しい挙動を予測できる確率はわずか**35.0%**でした。これはほぼコイン投げと同じです。
DECAFによる解決: 反応の「種類」（Evidence vs. Contradiction vs. Fragility）を見るためにDECAFを使用したところ、**96.4%**の確率で正解を導き出しました。

また、この論文は、私たちがAIに情報をどのように提示するかについても、驚くべき発見をしました。彼らは画像を提示する方法として、画像がゆっくりとフェードインしていく方法（ブレンド）と、パズルのように断片ごとに露出させていく方法の2つをテストしました。その結果、画像の提示方法を変えることで、反応の総「大きさ（loudness）」が80%近くも変化することが分かりました。しかし、「Evidence（証拠：確かな理由）」はほとんど変化しませんでした。代わりに、「Fragility（脆弱性：経路依存のノイズ）」が爆発的に増加し、4倍以上に膨れ上がりました。これは、反応の総サイズがいかに誤解を招きやすいかを示しています。それはしば der 画像そのものではなく、画像の「見せ方」に対するAIの敏感さを物語っているに過ぎないのです。

最後に、著者はDECAFが極めて効率的であることを示しました。10億のパラメータを持つ巨大なAIモデル（DINOv2モデル）において、DECAFは他の一般的な手法と同等の成果を上げつつ、4.75倍短い時間と2.36倍少ないメモリでその任務を遂行することができました。

要約すると、この論文は、私たちがAIの反応の「量」に集中しすぎて、その反応が「何を意味しているか」を軽視してきたことを示唆しています。反応をEvidence（支持）、Contradiction（反対）、Fragility（一時的なノイズ）へと分解することで、DECAFは、これらのデジタル脳が実際に何を考えているのかについて、より明確で誠実な姿を提示してくれます。これは、単にドアが閉まる音を測るだけでなく、なぜドアが閉まったのかという理由までも理解させてくれるツールなのです。

技術要約: DECAF – 摂動応答における証拠、矛盾、および脆弱性の分解

1. 問題提起

摂動ベースの説明手法は、入力の変化に伴う予測の変化を測定することでモデルの決定を解釈する。しかし、根本的な意味論的ギャップが存在する。標準的な指標である応答振幅（response magnitude）（予測の絶対差）は、モデルが「どの程度」反応したかを定量化するが、「その反応が何を意味するか」を説明することには失敗する。

本論文は、同一の応答振幅が以下の3つの異なる行動レジームから生じ得ることを指摘している：

整合（Alignment）: 反応が最終的な事実的・反事実的な差異を支持している状態。
反対（Opposition）: 反応が最終的な差異に逆行している状態（例：中間ステップではある結果を示唆するが、最終状態では別の結果を示す）。
脆弱性（Fragility）: 反応は摂動パスに沿って強力であるが、終点では消失する状態。これは、意味のある最終的な効果ではなく、情報の開示プロセスに対する感度であることを示している。

これらの異なる挙動を同等に扱うことは、重要な解釈情報を隠蔽してしまう。既存の手法は、複雑な軌跡を単一のスカラーに集約したり、勾配ベースの内部信号に依存したりすることが多く、最終的なコントラストに対する中間応答の意味的な役割を見落としている。

2. 手法: DECAF

著者は、ペアとなる摂動応答を3つの意味的成分に分解する、モデルに依存しないフレームワークであるDECAF（Decomposition of Evidence, Contradiction, And Fragility）を導入する。

定式化

スコア関数 $q$ 、事実的入力 $x^+$ 、および反事実的入力 $x^-$ が与えられたとする。最終的なコントラストを $d = q(x^+) - q(x^-)$ とする。ペアとなる開示軌跡（paired reveal trajectory） $(x^+(t), x^-(t))$ は、 $t \in [0, 1]$ において無情報な状態 $x^0$ から始まり、終点へと進行する。符号付きステージ応答を $r(t) = q(x^+(t)) - q(x^-(t))$ とする。

意味論的ルーティング

DECAFは、最終的なコントラスト $d$ を意味的な参照として用い、中間応答 $r(t)$ をルーティングする：

ゲート ( $a$ ): バイナリゲートが、最終的なコントラストが意味を持つか（ $|d| \ge \epsilon$ ）を判定する。
方向性 ( $s$ ): $d$ の符号（ $s = \text{sign}(d)$ ）が「正しい」方向を定義する。
分解: 応答は以下の3つの成分にルーティングされる：
- 証拠 ( $E$ ): 最終的なコントラストが有効なときに、最終的な方向と一致する応答（ $a=1, s \cdot r(t) > 0$ ）。
- 矛盾 ( $C$ ): 最終的なコントラストが有効なときに、最終的な方向と逆行する応答（ $a=1, s \cdot r(t) < 0$ ）。
- 脆弱性 ( $F$ ): 最終的なコントラストが無視できるレベルのときに発生する応答（ $a=0$ ）。これは、終点まで持続しない感度を表す。

この分解は**ロスレス（損失なし）**である： $|r(t)| = e(t) + c(t) + f(t)$ 。集計メトリクスは、軌跡およびデータセットにおけるこれらの成分の期待値である。

理論的基礎

本論文では、3つの操作的公理――保存（Conservation）（振幅は失われない）、終点ゲーティング（Endpoint Gating）（脆弱性は無視できる終点に隔離される）、および方向的支持（Directional Support）（証拠と矛盾は符号によって分離される）――の下で、このルーティングが一意的であることを証明している。さらに、DECAFは通常の振幅の**厳密な精緻化（strict refinement）**である。すなわち、振幅はDECAFから導出できる（$Abs = E + C + F$）が、その逆は不可能である。なぜなら、異なる行動プロファイル（例：純粋な証拠 vs 純粋な矛盾）が同一の振幅を生じさせることがあるからである。

3. 主な貢献

問題の特定: 摂動による説明において、振幅が「整合」「逆転」「パス依存的な感度」を区別できないという、意味論的なギャップを明示的に定義した。
ペア開示インターフェース: 情報が段階的に開示される過程で、事実的・反事実的なコントラストを追跡するフレームワークを導入した。
DECAFアルゴリズム: 終点相対の意味論に基づき、応答を証拠、矛盾、脆弱性にロスレスかつ一意に分解する。これは勾配、内部活性化、または学習された説明モデルを必要としない。
行動検証: ニューラル、線形、および決定木モデルにおいて、これらの成分が独立して測定された挙動（ショートカットへの依存、効果の逆転、およびパス依存の感度）を追跡することを実証した。
実用的有用性: 振幅が一致している場合でも、DECAFが応答のセマンティクスを回収できること、および安定したクロスプロトコル診断を提供することを示した。

4. 実験結果

制御された検証 (3D Shapes & Covertype)

証拠: 相関のあるショートカット（例：物体の形状 vs 壁の色）を含むビジョンタスクにおいて、証拠成分（ $E$ ）はモデルのショートカット逆転に対する脆弱性と強く相関した（Spearman $\rho = 0.936$ ）。
脆弱性: 中間状態への感度を誘発するように設計されたタスク（例：床の色変化）において、脆弱性成分（ $F$ ）は終点 null ペアにおける予測変化率を追跡した（ $\rho = 0.974$ ）。
矛盾: 文脈の変化によって効果の方向が逆転するタスクにおいて、矛盾（ $C$ ）はラベル入れ替え率を追跡したが（ $\rho = 0.961$ ）、通常の振幅は失敗した（ $\rho = -0.036$ ）。
表形式データの転移: Covertype データセットにおいて、DECAF 成分は135の分類器（線形、決定木、ニューラル）にわたって保存、反転、および終点 null 変化を正常に追跡し、SHAP や他のベースラインを上回るメカニズム特定能力を示した。

実世界の監査 (ImageNet-9)

セマンティックの回収: 72個のモデル・ズー（24個の既製品の ImageNet-1k モデルと48個の微調整された ImageNet-9 モデル）において、DECAFは、モデルがほぼ同一の応答振幅を持つケースにおいて、支配的な行動的役割（証拠、矛盾、または脆弱性）を**96.4%の精度で正しく特定した。対照的に、振幅のみでは35.0%**の精度しか達成できなかった。
パス感度: 開示パス（例：グローバルなブレンドからパッチごとの開示へ）を変更すると、総応答振幅はほぼ80%増加したが、この増加はほぼすべて脆弱性と矛盾によって引き起こされたものであり、証拠は安定していた。これは、高い振幅が必ずしも強い証拠を意味しないことを示している。
ランキングの安定性: 通常の振幅に基づくモデルのランキングは、異なる開示パス間で非常に不安定であった（ $\rho \approx 0.17$ ）が、証拠と矛盾に基づくランキングは安定していた（ $\rho > 0.77$ ）。

属性ベンチマークとスケーリング

パフォーマンス: FunnyBirds および ImageNet-1k において、短期間のフォワードのみの DECAF 軌跡（3〜9 ステージ）は、テストされた汎用的な属性ベースライン（DeepLIFT, Integrated Gradients, SmoothGrad, RISE）を上回った。
効率性: 10億パラメータの DINOv2 モデルにおいて、短い DECAF 軌跡は、勾配ベースの強力なベースライン（Integrated Gradients）と同等の品質を、4.75倍低い壁時間（wall time）および2.36倍低いピークメモリで実現した。これは、DECAF がフォワードパスのみを必要とするためである。

5. 意義と主張

本論文は、DECAF が摂動手法に内在する意味論的な曖昧さに対処することを主張している。応答の軌跡を最終的なコントラストに対して分解することで、与えられた振幅が「どのような種類の」応答によって生成されたのかを明らかにする。

解釈可能性: モデルが特定の機能に一貫して依存しているのか（証拠）、混乱または決定の逆転が起きているのか（矛盾）、あるいは終点には影響しないが特定の開示パスに対して敏感なのか（脆弱性）を区別する。
堅牢性: 各成分は、生の振幅よりも異なる摂動プロトコル間で安定した診断を提供する。
効率性: 勾配や内部アクセスを必要とせず、大規模モデルに対しても効率的にスケールする、高品質でモデルに依存しない説明手法を提供する。

著者は、これらの役割は選択された反事実的ペア、スコア、および開示パスに相対的なものであることを強調している。これらは潜在的な因果メカニズムを推論するものではなく、特定の介入に対するモデルの観察可能な挙動を記述するものである。本研究は、将来の説明の取り組みが、スカラーの振幅を超えて、応答のセマンティックな構成を考慮する方向に進むべきであることを示唆している。