Position: Explanation Stability Is a Property of the Model Method Pair, Not the Model

あなたは、なぜロボットシェフがトーストを焦がしてしまったのか、その理由を突き止めようとしているところだと想像してください。あなたはロボットに「なぜそんなことをしたのですか？」と尋ねました。すると、ロボットは光る指でパンを指しました。しかし、ここには罠があります。ロボットには2種類の「指し方」があるのです。一つは「レーザーポインター」で、パンの最も熱かった正確な場所を強調します。もう一つは「スポットライト」で、トースター全体に広い光を当て、その周辺領域を強調します。もしあなたがレーザーポインターだけを使えば、ロボットは非常に一貫性があるように見えるでしょう。しかし、もしスポットライトに切り替えたら、ロボットは突然、キッチンの全く別の場所を指すかもしれません！これは、人工知能（AI）、特に「説明可能なAI（XAI）」と呼ばれる分野で高まりつつある問題の核心です。

AIの世界では、私たちは「モデル」（超スマートなデジタル脳のようなもの）を構築し、X線写真から疾患を見つけるといった意思決定を行わせます。しかし、これらのモデルはしばしば「ブラックボックス」です。入力と出力は分かりますが、どのように結論に至ったのかというプロセスは必ずしも分かりません。これを解決するために、科学者たちは「アトリビューション手法（属性付与手法）」を使用します。これらはハイライター（蛍光ペン）のような役割を果たし、画像内のどの部分（X線写真の暗い点など）がAIの決定において最も重要であったかを教えてくれます。長い間、研究者たちは、もしAIモデルが安定していて信頼できるのであれば、そのハイライターは、どのツールを使ってハイライトしても常に同じ場所を指し示すはずだ、と想定してきました。この論文は、その仮定が間違っていると主張しています。それは、「説明の安定性」とはAIの脳自体の特性ではなく、むしろ使用している特定のハイライター・ツールの特性であると示唆しています。ツールを変えれば、AIの最終的な答えが変わらなくても、AIが語るストーリーは完全に変わってしまう可能性があるのです。

ハイライターの入れ替え劇

この論文の著者であるKabilan ElangovanとDaniel Tingは、胸部X線を用いた制御実験を用いて、このアイデアを検証することにしました。彼らは、DenseNet201、ResNet50V2、InceptionV3という3つの有名なAIモデルを取り上げ、肺炎やCOVID-19を含む5種類の異なる肺疾患を見分けるよう学習させました。彼らは、これら3つのモデルすべてにおいて、成功率（AUC）が99%を超えるまでモデルを訓練しました。言い換えれば、これらは診断において等しく極めて優秀でした。

ところが、ここに展開があります。研究者たちは、2つの非常に異なるハイライター・ツールを使用して、モデルに「なぜ」その診断を下したのかを説明させました。それが LayerCAM と Grad-CAM++ です。

• LayerCAM は、高精細な顕微鏡のようなものです。ピクセル単位で画像を観察し、微細なディテールや局所的なテクスチャを保持します。
• Grad-CAM++ は、広角レンズのようなものです。複雑な数学を用いて、画像の全体的な重要性に基づいて画像の部分的な重み付けを行い、より大きな全体像を見ます。

研究者たちは、もしモデルをわずかに微調整（これを「ファインチューニング」と呼びます）した場合、ハイライターは安定するかどうかを調べたいと考えました。ハイライターは同じ肺の部位を指し示し続けるのでしょうか？

プロットの急展開：ツール次第である

ここから物語は奇妙な展開を迎えます。結果は、「説明の安定性」がどのハイライター・ツールを使うかに完全に依存していることを示しました。それは、まるで3人の異なる人々に絵画について説明させているようなものでした。一人は「この絵は色が変化しないから安定している」と言い、もう一人は「いや、形が激しく動いている」と言うかもしれません。どちらも正しい可能性がありますが、彼らは異なるルールに基づいています。

• InceptionV3の驚き: 研究者が LayerCAM（顕微鏡）を使用したとき、InceptionV3は最も安定したモデルのように見えました。安定度スコア（IoUと呼ばれる）は 0.777 であり、フォーカスを絞り続けていました。それは完璧で信頼できるAIのように見えました。

• Grad-CAM++の衝撃: しかし、Grad-CAM++（広角レンズ）に切り替えると、InceptionV3は崩壊しました。安定度スコアは 0.643 まで低下し、17.3%もの大幅な劣化が見られました。突然、非常に安定していたように見えたモデルが、単にツールが変わっただけで非常に不安定になったのです。

• DenseNet201というヒーロー: 一方で、DenseNet201は嵐の中の静寂でした。顕微鏡を使っても広角レンズを使っても、その安定度スコアはほとんど変わりませんでした。スコアは 0.699 から 0.690 へと、わずか 1.3%の変動しかありませんでした。このモデルは「メソッド・アグノスティック（手法に依存しない）」な性質を持っている、つまり、どのツールを使っても説明が一貫しているように見えました。

• ResNet50V2の苦闘: ResNet50V2は厳しい状況でした。LayerCAMの下では 0.519 という中程度のスコアで始まりましたが、Grad-CAM++の下では 0.383 まで急落しました。どちらの条件下でも不安定でしたが、その低下は特に劇的でした。

最も衝撃的なことは何でしょうか？3つのモデルすべてが、依然として99%の確率で正しい診断を下していたことです。彼らの「答え」は完璧でしたが、彼らの「理由」は、どのツールを使って見るかによって、砂の城のように形を変えていたのです。

なぜこれが重要なのか：「錯覚的な安全性」の罠

この論文は、この発見がAIに対する信頼の根幹を揺るがすものであると論じています。現在、もし研究者が「私たちのAIモデルは安定しており、信頼できる」と言う場合、彼らは多くの場合、単一のハイライター・ツールによる結果を示すことでそれを証明しています。この論文は、それは科学的に無効であると述べています。それは、特定のタイプのエアバッグを用いた衝突テストには合格したが、別のエアバッグでのテストは一度も行っていない車に対して、「この車は安全だ」と主張するようなものです。

著者らは、InceptionV3をLayerCAMのレンズを通して見るだけでは、それが病院にとって最適な選択であると誤解する可能性があると指摘しています。もし病院が実際にGrad-CAM++を使用していたり（あるいはソフトウェアのアップデートでツールが切り替わったりした場合）、AIの説明は信頼できなくなり、医師を誤導する可能性があります。この論文は、**「説明の安定性はモデル自体の特性ではなく、『モデル＋手法』のペアの特性である」**と示唆しています。この両者を切り離すことはできません。

教訓：ツールを確認せよ

では、私たちは何をすべきでしょうか？著者らは、AIの研究や規制の仕方にいくつかの変更を提案しています。

1. 単一のツールを信じないこと: 研究者は、少なくとも2つの異なるハイライター手法でテストしない限り、モデルが「安定している」と主張すべきではありません。もし結果が激しく変動するなら、そのモデルは安定しているのではなく、単にその一つのツールに対して「運が良い」だけなのです。
2. 規制当局は具体的であること: FDAのような機関によって医療機器が承認される際、説明を生成するために使用される特定のハイライター・ツールを確定させておく必要があります。もし病院が後でツールを変更した場合、AIが提示する「理由」が変わってしまう可能性があるため、そのデバイスは再承認が必要になるかもしれません。
3. 適切なアーキテクチャを選択すること: もし医療用AIを構築しているのであれば、手法に強く依存するInceptionV3よりも、異なるツールに対しても一貫性を保つDenseNet201のようなモデルを選ぶべきです。

要するに、この論文は警鐘を鳴らしています。AIの世界において、説明の「真実」はAIの脳だけでなく、それを見るために使う「眼鏡」によっても決まるということを伝えているのです。医学のような生死に関わる場面でAIを信頼したいのであれば、どのような眼鏡をかけても、その説明が揺るぎないものであることを確認しなければなりません。