Inpainting Insights: Elevating Visual XAI with Photorealistic Perturbations

超スマートなロボットが世界をどのように見ているのかを知ろうとしている場面を想像してみてください。あなたはロボットに「この写真の何がこれを犬に見せているのですか？」と尋ねました。するとロボットは「耳です！」と答えました。しかし、それが単に奇妙な影や特定の色のせいによる推測ではないと、どうすれば分かるのでしょうか？これが**説明可能なAI（XAI）**の世界です。これは、人工知能の内部にある「ブラックボックス」を覗き込み、実際に何が起きているのかを確認することに特化した分野です。この方法の一つとして、**摂動（perturbation）**と呼ばれるものがあります。これは、写真を使った「もしもゲーム」のようなものです。画像のパーツ——例えば犬の耳や尻尾——を隠してみて、ロボットに「これでもまだ犬だと認識しますか？」と尋ねます。もし耳を隠した途端にロボットが犬だと認識しなくなったなら、耳が重要であるということが分かります。

しかし、落とし穴があります。もし耳をただの大きな、無骨なグレーの正方形で隠してしまうと、あなたはロボットの「犬の理解」をテストしているのではなく、「巨大なグレーの塊」に対するロボットの反応をテストしていることになってしまいます。ロボットは不自然な正方形によって混乱し、何が重要かについて間違った答えを出してしまうかもしれません。この論文は、その問題に取り組んでいます。著者は、画像を隠すために退屈で偽物のグレーの正方形を使う代わりに、欠けている部分を、そこにあるべき自然でフォトリアルな詳細で埋める「魔法の消しゴム」を使うべきだと提案しています。こうすることで、ロボットは「奇妙なアーティファクト（人工物）」によって混乱するのではなく、「物体が欠けていること」によってのみ混乱することになり、ロボットが実際に何を見ているのかについて、より明確な答えを得ることができます。

---

問題点：醜い正方形と混乱するロボット

コンピュータビジョンの世界では、AIモデルは物事を特定することにおいて驚異的に進化していますが、同時にその仕組みを理解することも難しくなっています。これを解決するために、研究者はLIME（Local Interpretable Model-agnostic Explanations）のようなツールを使用します。LIMEは、画像を取り込み、「スーパーピクセル」と呼ばれる小さなパズルのピースに切り分け、それらのピースの一部を隠すことで、AIの予測がどのように変化するかを確認する仕組みです。

隠すための伝統的な方法は、グレーや黒などの単色で塗りつぶすことです。この論文の著者たちは、これはケーキのアイシングをコンクリートのブロックに置き換えて、シェフのケーキを見分ける能力をテストしようとするようなものだと主張しています。コンクリートはケーキの一部ではなく、自然な見た目でもありません。AIがこの「コンクリート」を見たとき、ケーキとは全く関係のない予測をしてしまう可能性があり、混乱を招く説明につながります。

この論文は、これらの「醜い正方形」（決定論的なオクルージョン）がしばしば失敗することを示しています。例えば、絆創膏の画像を用いたテストでは、グレーの正方形や他の単純な色の置き換えを用いた標準的な手法は、絆創膏が画像の中で最も重要な部分であることを完全に見逃しました。彼らは、自ら作り出した不自然なグレーの塊に気を取られすぎていたのです。

解決策：「魔法のインペインティング」のトリック

これを解決するために、著者らはLILI（Leveraging Inpainting for Local Interpretability）と呼ばれる新しい手法を導入しました。隠されたパズルピースをグレーの塗料で塗りつぶす代わりに、LILIはLaMaという生成AIモデルを使用して、画像を「インペイント（描き足し）」します。

インペインティングを、写真の中の穴を見て、周囲に基づいた「そこに存在するはずのもの」を正確に描き出す非常に才能のあるアーティストだと考えてみてください。もし絆創膏を隠した場合、LaMaはグレーの正方形を置くのではなく、絆創膏の周りの肌と全く同じに見える肌のパッチを描きます。これにより、「フォトリアルな摂動」が作成されます。AIモデルは、絆創膏は消えているものの、自然に見える画像を見ることになります。これにより、AIは奇妙なグレーの正方形に反応するのではなく、絆創膏の実際の知識に基づいて判断することを強制されます。

しかし、二つ目の問題がありました。魔法のアーティストを使っても、隠された領域の端に、AIが依然として見つけ出せてしまうような、微細で目に見えない手がかり（アーティファクト）が残ることがありました。これを修正するために、著者らは「マスク拡張（mask expansion）」のステップを追加しました。単に絆創膏を隠すのではなく、その周りの皮膚も少しだけ隠すことを想像してください。これにより、魔法のアーティストが領域全体を新しい背景の肌で埋め尽くす必要が生じ、元の物体の痕跡を完全に消し去ることができるようになります。

分かったこと：リアリズムの勝利

チームは、Lも（グレーの正方を用いるLIME）および、別のインペインティングモデルであるDeepFillを使用した初期の試み（LIME-G）に対して、LILIのテストを行いました。彼らはImageNetデータセットの画像を用いて数百回のテストを実施し、認識を行うためにInceptionV3という標準的なAIモデルを使用しました。

1. 画像の質が向上した
著者らは、生成された偽の画像がどれほど「リアル」であるかを、**Fréchet Inception Distance (FID)**というスコアを用いて測定しました。スコアが低いほど、偽の画像が実際の写真に近いことを意味します。

• 旧来のLIME法（グレーの正方形）は 30.532 でした。
• 前身のインペインティング手法（DeepFillを用いたLIME-G）は 56.524 でした（これは、モデルが優れていなかったためか、意外にも悪い結果でした）。
• 新しい LILI手法 は 6.727 でした。
  この大幅なスコアの低下は、LILIが実際のデータ分布に極めて近い画像を作成していることを証明しています。これらは、グレーの塊が貼り付けられた写真ではなく、自然に見えます。

2. 説明の精度が高まった
説明が実際に優れているかどうかを確認するために、「サリエンシー・メトリック（顕著性指標）」を使用しました。これは、説明が画像の最も重要な部分をどれだけ上手く強調できているかを測定するものです。ここでもスコアが低いほど優れています。

• 3ピクセルのマスク拡張を用いたLILIが最高のスコアを記録し、従来のLIMEおよびLIME-Gの両方を上回りました。
• 例えば、絆創膏の例では、LILIのみが絆創膏を最も重要な特徴として正しく特定できました。他の手法は、背景やアーティファクトに気を取られてしまいました。

3. 安定性と速度
研究者たちは、説明が一貫しているかどうかもチェックしました。テストを10回実行したとき、同じ答えが得られるでしょうか？

• 旧来のLIMEが最も安定しており（一致スコア 0.889）、LILIがそれに僅差で続きました（0.852）。
• LIME-Gは安定性に欠けていました（0.723）。
• 著者らは、LILIが「魔法のアーティスト（LaMa）」がマスクの形状に応じてわずかに異なる背景を描くことがあるため、旧来のグレーの正方形による手法よりもわずかに不安定であると述べています。しかし、正しい答えを得るための代償としては小さいものです。
• 速度に関しては、LILIは少し時間がかかります。旧来のLIMEは約 4.4秒 かかったのに対し、LILIは約 12.5秒 かかりました。これは「魔法のアーティスト」が欠けている部分を描くために追加の作業を行うためですが、拡散モデル（diffusion models）を使用する他のハイテクな手法に比べれば、依然として非常に高速です。

まとめ

本論文は、醜くて偽物のグレーの正方形を、AIによって生成されたリアルな背景補完に置き換えることで、AIが世界をどのように見ているかについてのより優れた説明が得られると結論付けています。LILIの手法は、フォトリアルな摂動がAIの学習内容とより良く一致しており、より信頼できる結果をもたらすことを示唆しています。計算能力を少し多く必要とし、アーティファクトを残さないための「マスク拡張」の慎重な調整が必要ですが、そのトレードオフは価値があるものです。著者らは、このアプローチが、不自然なアーティファクトによる混乱を避けることで、特にコンピュータがなぜその決定を下したのかを正確に知る必要がある場面において、AIへの信頼を高めるのに役立つと提案しています。