DEX-AR: A Dynamic Explainability Method for Autoregressive Vision-Language Models

この論文は、従来の手法では扱いが難しかった自己回帰型ビジョン・ランゲージモデルの意思決定プロセスを、トークンごとの生成過程における注意マップの勾配を計算し、動的なヘッドフィルタリングとシーケンスレベルの集約によって画像領域の重要度を可視化する新しい説明可能性手法「DEX-AR」を提案し、ImageNet、VQAv2、PascalVOC での評価で既存手法を上回る性能を示したことを述べています。

要約

DEX-AR: AI の「目」が何を見ているかを解き明かす新技術

こんにちは！今日は、最新の AI 技術である「ビジョン・ランゲージモデル（VLM）」という、**「画像を見て、それについて話すことができる AI」**が、いったい何を見て判断しているのかを解き明かす、画期的な新しい方法「DEX-AR」についてお話しします。

🤔 問題：AI は「なぜ」その答えを出したの？

最近の AI は、写真を見て「これは犬と猫が芝生で遊んでいるね」と言ったり、質問に答えたりするのがとても上手です。しかし、**「なぜ AI はその部分に注目したのか？」**という理由を説明するのは、実はとても難しいんです。

これまでの説明方法（既存の技術）は、AI が「分類（これは犬か猫か？）」をするためのものとして作られていました。でも、今の AI は「文章を一つずつ単語（トークン）を組み立てていく」ように文章を作ります。
これは、**「料理のレシピを一つずつ書き足していく」**ようなものです。

• 従来の方法の限界： 従来の説明方法は、完成した料理全体を眺めるだけで、「どの材料が重要だったか」を大まかに推測しようとするので、**「『犬』という言葉を作った瞬間に、AI は画像のどの部分を見ていたのか？」**という細かい動きを捉えきれません。
• 余計なノイズ： AI が文章を作る時、「犬」「猫」という重要な単語だけでなく、「は」「です」といった文法だけの言葉も作ります。従来の方法だと、「文法だけの言葉」も「犬」も同じように重要視してしまい、結果がぼやけてしまうのです。

✨ 解決策：DEX-AR（デックス・アー）の登場

そこで登場したのが、DEX-ARという新しい技術です。これをわかりやすく例えてみましょう。

🕵️‍♂️ 例え話：探偵と「集中力」のフィルター

DEX-AR は、AI の思考プロセスを**「探偵が事件現場（画像）を調べる様子」**に例えることができます。

1. 瞬間瞬間の追跡（トークンごとの説明）：
   従来の方法は「事件全体を一度に分析」していましたが、DEX-AR は**「AI が『犬』という言葉を書き足す瞬間」「次に『猫』という言葉を書き足す瞬間」**と、一語一語の瞬間に注目します。

   • 「犬」と言う瞬間には、AI の目は画像の「犬」にピタッと集中します。
   • 「です」と言う瞬間には、AI の目は文法ルールに従って移動します。
     DEX-AR はこの**「瞬間ごとの視線」**を熱画像（ヒートマップ）として可視化します。

2. ノイズを消す「フィルター」の魔法：
   ここが DEX-AR の最大の特徴です。AI が文章を作る際、**「本当に画像を見て判断した言葉（犬、猫）」と、「文法だけで決めた言葉（は、です、そして）」**が混ざっています。

   • 従来の方法： 両方を同じように「重要」としてしまい、画像全体が赤く染まってしまい、どこが重要かわからなくなります。
   • DEX-AR の「動的フィルター」：
     • 頭（ヘッド）フィルター： AI の脳内にある「複数の探偵（アテンション・ヘッド）」のうち、「本当に画像を見てる探偵」だけを選び出し、他の「ただ文法を並べている探偵」は黙らせます。
     • 言葉（トークン）フィルター： 生成された文章の中で、「画像に直接関係ある言葉」だけを残し、「文法だけの言葉」は消去します。

   これにより、**「AI が本当に注目している部分だけが、くっきりと鮮明に浮かび上がる」**ようになります。

📊 結果：なぜこれがすごいのか？

この新しい方法を、有名な画像データセット（ImageNet や VQAv2 など）でテストしたところ、驚くべき結果が出ました。

• ノイズ除去： 従来の方法では「9.16」だった「信号対雑音比（SNR：どれくらい正確に狙いを定めているか）」が、DEX-AR では**「96.12」まで跳ね上がりました。これは、「雑音をほぼ完全に消し去り、本物の答えだけを抽出できた」**ことを意味します。
• 正確な場所特定： 「犬」がいる場所を指し示す際、従来の方法は「犬の周りの芝生も一緒に赤く染めてしまう」ことが多かったですが、DEX-AR は**「犬の輪郭」をきっちり捉える**ことができました。
• どんな AI でも使える： 異なる種類の AI モデル（LLaVA や PaliGemma など）すべてで、同じように高い精度を発揮しました。

🎯 まとめ：AI の「心」が見えるようになる

DEX-AR は、単に「AI が何を見たか」を教えるだけでなく、**「AI が文章を作る過程で、どの瞬間に画像のどの部分に集中したか」を、まるで「AI の思考の映画」**のように見せてくれます。

これにより、AI がなぜ間違った答えを出したのか（例：背景の空を見て「鳥」と答えてしまったなど）を分析できるようになり、より安全で信頼できる AIを作るための重要な第一歩となりました。

つまり、DEX-AR は**「AI の黒箱（中身が見えない箱）の扉を開け、その中での思考プロセスを、誰にでもわかるように鮮明に映し出す新しい窓」**なのです。

技術概要

DEX-AR: 自己回帰型ビジョン・ランゲージモデルのための動的説明可能性手法

本論文は、自己回帰型（Autoregressive）のビジョン・ランゲージモデル（VLM）における意思決定プロセスを解釈するための新しい手法**「DEX-AR (Dynamic Explainability for AutoRegressive models)」**を提案するものです。従来の分類タスク向け説明可能性手法が、トークンごとの生成プロセスや視覚・言語モダリティ間の複雑な相互作用を扱う現代の VLM に対して不十分であるという課題に対し、動的なヒートマップ生成とフィルタリング機構を導入することで解決を図っています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 背景と課題 (Problem)

近年、LLaVA や PaliGemma などの VLM は、画像キャプション生成や視覚的推論において高い能力を示していますが、その意思決定プロセスはブラックボックス化されています。既存の説明可能性手法には以下の限界があります。

• 静的な出力への依存: 従来の Grad-CAM などの手法は、固定された出力（分類タスク）を前提としており、トークンごとの動的な生成プロセスを捉えきれません。
• 視覚と言語の混在: 自己回帰モデルでは、生成される各トークンが画像のどの領域に依存しているかが異なります。しかし、既存手法は「視覚的に重要なトークン」と「文法機能のみを持つトークン（Filler words）」を区別できず、ノイズの多い説明マップを生成してしまいます。
• 注意機構の限界: 単に注意重み（Attention Weights）を可視化するだけでは、実際の予測への寄与度（重要度）を正確に反映しないことが知られています。

2. 提案手法：DEX-AR (Methodology)

DEX-AR は、Transformer アーキテクチャの各層における注意マップ（Attention Maps）に対する勾配を計算し、生成された各トークンが画像のどの領域に影響を与えているかを可視化する手法です。

2.1 トークンレベルの説明可能性

VLM がトークンを生成する各ステップ $t$ において、以下の処理を行います。

1. 中間ログイットの計算: 最終層だけでなく、各層 $l$ の隠れ状態からログイットを計算し、そのトークンの予測に対する層ごとの寄与を捉えます（Logit Lens の概念を応用）。
2. 勾配の計算: 選択されたトークンのログイットに対する、注意マップ $A_{l,t}$ の勾配 $\nabla A_{l,t}$ を計算します。
3. 視覚トークンの抽出: 勾配マップから、現在のトークン（最後のトークン）と視覚トークン（画像由来）との間の関係に焦点を当てます。

2.2 動的なヘッドフィルタリング (Dynamic Head Filtering)

すべての注意ヘッドが視覚情報に注目しているわけではありません。DEX-AR は、以下の重み付け機構を導入してノイズを除去します。

• 各ヘッド $i$ について、視覚トークンに対する勾配の最大値 ($S^{img}$) とテキストトークンに対する勾配の最大値 ($S^{text}$) を比較します。
• 重み $w_{l,t,i} = \max(0, S^{img} - S^{text})$ を計算し、視覚情報に特化したヘッドのみを強調します。
• この「最大値ベース」のアプローチは、物体のサイズに依存せず、最も顕著な視覚信号を捉えるのに有効です。

2.3 シーケンスレベルの説明可能性とフィルタリング

生成された文全体を説明する際、すべてのトークンを同様に扱うのではなく、視覚的根拠の有無でフィルタリングします。

• トークン重み付け: 各トークン $t$ について、視覚的依存度 ($\delta_t$) を計算します。$\delta_t = \max(0, \max_{l,i} S^{img}_{l,t,i} - \max_{l,i} S^{text}_{l,t,i})$。
• これにより、「the」や「is」のような文法語（Filler words）の寄与を抑制し、名詞や形容詞など視覚的内容を直接指すトークンのみを強調した最終ヒートマップを生成します。

3. 主要な貢献 (Key Contributions)

1. 自己回帰 VLM 専用の勾配ベース手法の提案: トークンごとの生成特性を考慮し、層ごとの勾配と注意マップを組み合わせることで、動的な説明マップを生成します。
2. 二重フィルタリング機構の導入:
   • ヘッドレベルフィルタリング: 視覚情報に特化した注意ヘッドを動的に選別。
   • トークンレベルフィルタリング: 視覚的根拠を持つトークンと、言語的なみで生成されるトークンを区別。
     これにより、信号対雑音比（SNR）を劇的に向上させます。
3. 新しい評価プロトコルとデータセット:
   • Perplexity ベースの評価: 画像領域を部分的に隠蔽（Perturbation）した際、モデルの困惑度（Perplexity）がどのように上昇するかを測定し、説明マップの精度を定量的に評価します。
   • PascalVOC-QA データセット: 視覚的内容とフィラー語を明示的にラベル付けしたデータセットを構築し、フィルタリング性能を厳密に評価可能にしました。

4. 実験結果 (Results)

著者らは ImageNet、VQAv2、PascalVOC などのデータセットで、LLaVA、BakLLaVA、PaliGemma、Florence-2 などの多様な VLM アーキテクチャに対して DEX-AR を評価しました。

• Perturbation ベースの評価 (ImageNet, VQAv2):
  • 重要領域を削除した際、モデルの性能低下（Perplexity の増加）が最も顕著になることを示し、DEX-AR は既存手法（Grad-CAM, Attention Rollout, RISE など）を凌駕する AUC 値を達成しました。
  • 特に BakLLaVA 上では、正の摂動（重要領域削除）における AUC が 18.10 と、次点の手法より 5.5 ポイント高い結果となりました。
• セグメンテーションベースの評価 (PascalVOC):
  • Ground Truth マスクとの一致度（IoU, Soft-IoU, EPG）において、DEX-AR は他手法を大幅に上回りました（例：LLaVA-1.5 において Soft-IoU が 17.70% で、次点の GradCAM 10.20% を大きく上回る）。
• フィルタリングの効果を定量化:
  • PascalVOC-QA における実験では、二重フィルタリングを適用することで、視覚的コンテンツとフィラー語の区別能力（SNR）が 9.16 から 96.12 へと劇的に向上しました。
• 計算効率:
  • 既存の摂動ベース手法（RISE など）と比較して、DEX-AR ははるかに高速に実行可能です（1 画像あたり 0.71 秒など）。

5. 意義と結論 (Significance)

DEX-AR は、自己回帰型 VLM の「なぜその単語を生成したのか」というプロセスを、視覚的根拠に基づいて微細に追跡することを可能にしました。

• 信頼性の向上: 高リスクなアプリケーション（自動運転など）における VLM の誤動作（ハルシネーションなど）を検出し、モデルの信頼性を高めるためのツールとなります。
• モデル理解の深化: どの層やヘッドが視覚情報を処理しているか、どのトークンが視覚に依存しているかを可視化することで、VLM の内部動作に関する新たな洞察を提供します。
• 汎用性: Transformer ベースのアーキテクチャに共通する注意機構の勾配を利用するため、モデルに依存せず（Model-agnostic）、多様な VLM に適用可能です。

本論文は、VLM の説明可能性において、静的な手法から動的で構造化されたアプローチへの転換点となる重要な研究です。