Grad-CAM for Vision Transformers: A Systematic Taxonomy and Audit of Methodological Ambiguity in Explainable AI
本論文は、Vision TransformerへのGrad-CAMの適応において、広範な手法論的曖昧さと厳密な実装詳細の欠如を暴くために175件の研究に対する体系的な分類と監査を提示し、それをCNNの対応物からの些細な拡張として扱うことは、再現性と解釈に影響を与える重要な選択を覆い隠すことになると主張する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ある天才的で超高速な探偵がどのようにして謎を解くのかを理解しようとしているところだと想像してください。昔、この探偵は特定の道具を使っていました。それは、犯罪現場の非常に小さな、格子状のパッチを一つずつ観察する拡大鏡です。この道具はGrad-CAMと呼ばれていました。それは、写真のどの部分が探偵に「あ、これは猫だ！」とか「これは車だ！」と判断させたのかを、正確に照らし出すことで有名でした。探偵が写真を整然とした格子状に見ていたため、この道具は特定の正方形を指し示し、「この正方形の中に猫の耳を見つけた」と言うことが容易にできました。
しかし最近、この探偵は大幅なアップグレードを遂げました。新しい探偵（Vision Transformer、またはViTと呼ばれます）は、格子を見る代わりに、写真全体を一気に捉え、それを「トークン」と呼ばれる長い一連の小さなメモへと分解します。それは、地図を見るのではなく、物語を読んでいるようなものです。あらゆる言葉が一つの手がかりとなる物語です。問題は、古い拡大鏡（Grad-CAM）は格子のためのものであり、新しい探偵の「メモのリスト」のためのものではないということです。その道具は、リストの中の「単語」を指して、「この単語が重要だ！」と言う方法を知りません。
そこで、科学者たちは古い拡大鏡を新しい探偵のメモのリストに無理やり適合させようとし始めました。彼らは、新しい探偵がなぜその選択をしたのかを知りたいと考えたのです。しかし、問題は、誰も「どのように」それを行うべきかについて合意していなかったことです。ある人は最初のメモを指し、ある人は真ん中を、ある人はリスト全体を、そしてある人はただ推測していました。この論文は、いわば監査のためにやってきた探偵の検査官のようなものです。彼らはこう問いかけています。「私たちは本当にこの道具を正しく使っているのだろうか？ それとも、ただ使っているふりをしているだけなのだろうか？」
監査：体系的な混乱
この論文の著者であるケイシー・ウォールとそのチームは、自分たち自身が探偵となって動くことに決めました。彼らは、新しい「Vision Transformer」探偵に対して古い「Grad-CAM」という道具を使おうとしているあらゆる論文を探し出し、大規模な調査を行いました。彼らは550件以上の膨大な論文の山からスタートしました。非常に慎重なスクリーニングプロセスを経て、この手法を実際に適用しようとした175件の論文に絞り込みました。
そこで彼らが見つけたのは、一種の混乱した状態でした。多くの論文が、新しい探偵の「メモのリスト」を、依然として古い「格子」であるかのように扱っていることが判明したのです。彼らは、どのように適合させているのかを説明することなく、道具を使用していました。
この論文は「タクソノミー（分類学）」を紹介しています。これは、詳細なチェックリストや選択肢のメニューを意味する、少し凝った言葉です。著者は、Vision Transformerに対してGrad-CAMを使おうとすると、いくつかの大きな決断を下さなければならないこと、そしてほとんどの人がそれを書き留めていないことに気づきました。
- どこを見るか： 探偵が書いた一番最初のメモを見るのか？ 真ん中か？ それとも最終的な要約か？
- 何を測定するか： 特定のメモがどれほど重要かを測定するのか、それとも探偵の「主要な思考」（[CLS]トークン）が他のメモをどれほど重視しているかを測定するのか？
- どのように混ぜ合わせるか： もし探偵に多くの異なる「ヘッド（頭部）」（つまり、多くの異なる視点）がある場合、それらすべてを平均化するのか、それとも一つずつ見るのか？
著者らは、これらの選択がいかに重要であるかを示すために、いくつかのテストを実施しました。標準的なモデルを取り上げ、同じ写真を、彼らのチェックリストにある異なる設定を用いて実行しました。その結果はどうだったでしょうか？ 「ヒートマップ（モデルが何を見たかを示す光る画像）」は、どの選択を行ったかによって、全く異なるものになりました。ある設定では写真の中の犬を強調し、別の設定では草を強調し、また別の設定ではほとんど何も表示されないこともありました。
大きな問題：「説明書なしのプラグ・アンド・プレイ」
研究によると、彼らが調査した175件の論文のうち、実に101件（約58%）が、元の格子ベースの探偵に関する論文を引用しただけで、新しいリストベースの探偵にどのように適応させたのかを説明していませんでした。また、17件の論文は、数学的な説明をすることなく、単にコードライブラリ（GitHubリポジトリ）を指し示しているだけでした。実際に自分の具体的な選択を説明したり、あるいはその選択に関する論文を引用したりした論文は、わずか26件（約15%）でした。
著者らは、これが深刻な問題であると主張しています。科学者が「私たちのモデルが公平であることを示すためにGrad-CAMを使用した」と言いながら、どのバージョンのGrad-CAMを使用したのかを伝えていない場合、その結果を信頼することはできません。それは、もしシェフが「私はケーキを焼きました」と言いながら、小麦粉を使ったのか砂を使ったのか、あるいは10分間焼いたのか10時間焼いたのかを教えていないようなものです。結果としてケーキのように見えたとしても、それが皆が話しているのと同じケーキであるかどうかは確信が持てません。
この論文が実際に言っていること（および言っていないこと）
この論文は、「これが唯一の正しい方法である」とは決して言わないよう、非常に注意深く書かれています。代わりに、彼らはまだ、これに対する単一の「正解」は存在しないと示唆しています。彼らは、この分野において、この方法に関する標準的なやり方がまだ定まっていないことを発見しました。
彼らは、単に古い数式をそのまま新しいモデルに当てはめることはできないという考えを明確に否定しています。そうすることは「方法論的な曖昧さ」、つまり「ツールの仕組みに関する混乱」を生み出すことを彼らは示しています。
著者らは、この分野が進歩するためには、研究者がこれらの新しいモデルに対するGrad-CAMを、単なる自動的なステップとして扱うのをやめる必要があると提案しています。彼らは、どの「特徴量（feature）」を選び、どの「勾配（gradient）」を測定し、どのようにデータを元の画像へと「再構成（reshape）」したのかを、正確に記述する必要があると述べています。
なぜこれが重要なのか
これは単なる学術的な揚げ足取りではありません。これらのヒートマップは、医療診断や自動運転車のような重要な仕事において、AIモデルが安全で、公平で、信頼できるものであることを証明するために使用されます。もし説明が曖昧であれば、AIが本当に正しいものを見ているのかどうか、確信が持てません。論文は、科学者が自らの選択について極めて具体的に記述し始めるまで、研究論文で見られる光る画像は、真実を伝えることよりも、単にかっこよく見せるためのものである可能性がある、と結論づけています。
要約すれば、この論文は、私たちが推測することをやめ、レシピを書き記すべきであると示唆しています。それまでは、これらの新しいAIモデルに見られる「Grad-CAM」は一種のミステリーであり、それが実際に何を伝えているのか、私たちは確信を持つことができないのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。