On the Explainability of Vision-Language Models in Art History

本論文は、CLIP などの視覚言語モデルの芸術史的な視覚推論を解釈可能にするため、ゼロショット局所化実験と人間の解釈性研究を組み合わせて 7 つの説明手法を評価し、その有効性が対象カテゴリの概念的安定性と表現の可用性に依存することを示しています。

要約

この論文は、**「AI が芸術作品を『見る』とき、実際には何を見ているのか？そして、その『見方』を人間に説明できるのか？」**という問いを、美術史の専門家たちの視点から探求したものです。

難しい専門用語を避け、日常のイメージを使って解説しますね。

1. 舞台設定：AI と芸術の「翻訳」

まず、**CLIP（クリップ）**という AI について考えてみましょう。
CLIP は、何百万枚もの「写真」と「説明文」のセットを勉強した天才的な翻訳機のようなものです。

• 普通の AI： 「これは猫だ」「これは車だ」と、ラベルを貼るだけ。
• CLIP： 「悲しげな猫」「速い車」といった、文脈や雰囲気がわかるまで理解したふりをします。

しかし、この AI は**「黒箱（ブラックボックス）」**です。中身がどう動いているか、なぜ「これは蛇だ」と判断したのか、人間には見えません。まるで、魔法の箱が答えを出しているだけのような状態です。

この論文の著者（シュナイダーさん）は、**「この魔法の箱の『中身』を、美術史の専門家が見て納得できる形で説明できるか？」**を試しました。

2. 実験：7 人の「透視図」を探す

著者は、AI の「視線」を可視化する**7 種類の「透視図（XAI 手法）」**を用意しました。
これらは、AI が画像のどの部分を注目しているかを、赤いハイライト（サリエンシーマップ）で教えてくれるツールです。

• イメージ： 7 人の異なる「探偵」が、同じ事件現場（絵画）を見て、「犯人（注目すべき部分）はどこだ？」と指差す場面を想像してください。
  • 一人は「グラデーション」で指差す（グラディエント系）。
  • 一人は「消しゴムで消して様子を見る」系（スコア系）。
  • 一人は「CLIP 専用の特殊なメガネ」をかけた系（CLIP Surgery など）。

3. 実験の結果：2 つのテスト

テスト 1：数字で測る「正確さ」

まず、大量の美術作品データを使って、AI が「蛇」や「聖人」といった特定のモチーフを、どこにハイライトしているかをチェックしました。

• 結果： **「CLIP Surgery」**という最新の探偵が、最も正確に「ここだ！」と指差しました。
• しかし： 美術史の専門的なモチーフ（例えば「キリストの磔刑」や「聖セバスティアン」）になると、どの探偵も迷走しました。AI は「蛇」のような具体的な形はわかりますが、「悲しみ」や「聖性」といった抽象的な概念を、絵のどこに当てはめるか迷ってしまうのです。

テスト 2：人間の「納得感」

次に、美術史を学んだ人たちに、7 種類の「探偵の指差し」を見て、「どれが一番しっくりくるか？」を順位付けしてもらいました。

• 結果： 人間も「CLIP Surgery」や「LeGrad」という探偵の指差しを最も信頼しました。
• 意外な発見： しかし、「何が正解か」が曖昧な絵（例えば、誰が誰なのか分からない複数の聖母像や、抽象的な「欲望」といった概念）になると、人間同士でも意見が割れ、どの探偵も正解を出せませんでした。

4. 重要な気づき：2 つの壁

この研究から、2 つの大きな壁が見えてきました。

1. 「概念の曖昧さ」の壁

   • 美術作品は、単なる「物体」の集合ではありません。「聖母マリア」は、単に「女性」を描いたものではなく、文脈や歴史的背景で意味が変わります。
   • AI は統計的なデータで「女性＝聖母」と学習しますが、その**「文脈」までは理解していません**。そのため、AI が指差す場所が、人間の美術史的な解釈とズレることがあります。

2. 「表現の限界」の壁

   • 仮に AI が「ここが重要だ」と指差したとしても、それが本当に AI の「理解」を表しているとは限りません。
   • メタファー： これは、**「AI の頭の中にある『統計的な残滓（ざんし）』を、人間が『意味』として読み取ろうとしている」**ようなものです。AI は「蛇」の形を認識しているだけで、「悪魔の象徴としての蛇」という深い意味は持っていません。

5. 結論：説明は「対話」である

この論文の結論は、とても哲学的で、かつ現実的です。

• AI の「説明」は、絶対的な真実ではない。
  赤いハイライトは、AI が「どこを見ていたか」のヒントにはなりますが、それが AI の「理解」そのものを透かしているわけではありません。
• 重要なのは「人間と AI の対話」。
  美術史において、XAI（説明可能な AI）は「答え」を出す道具ではなく、**「人間が AI の見方について、さらに深く考えるきっかけ（プロンプト）」**として使うべきです。

まとめると：
この研究は、「AI に芸術を語らせるのは無理だ」と言っているのではありません。むしろ、**「AI がどう見ているかを知ることで、人間は自分の『見る目』を再確認し、AI の限界と可能性の両方を理解する対話が始まる」**と伝えています。

AI は「魔法の箱」ですが、その箱の蓋を少し開けて中を覗くことで、私たちは「機械の視点」と「人間の視点」の間のギャップを埋めるための、新しい対話を始めることができるのです。

技術概要

論文要約：美術史におけるビジョン・言語モデルの説明可能性

「On the Explainability of Vision–Language Models in Art History」

1. 研究の背景と問題提起

近年、視覚情報と言語情報を共有埋め込み空間にマッピングする「ビジョン・言語モデル（VLM）」は、検索やキャプション生成、ゼロショット分類など多様なタスクで活用されています。特に CLIP（Contrastive Language–Image Pre-training）は、ウェブから収集された膨大な画像 - テキスト対で学習されており、美術史分野での検索や分析にも「箱から出してそのまま（out of the box）」利用されるようになっています。

しかし、VLM には以下の重大な問題が存在します。

• 内部メカニズムの不可視性（ブラックボックス化）： モデルが「なぜ」その判断を下したのか、どの視覚特徴に基づいているかが不明確です。
• バイアスと認識論的課題： 学習データ（LAION-400M など）に構造的なバイアスやステレオタイプが含まれており、モデルの「見る」行為が偏った視覚的イマナリ（vector imaginary）を反映している可能性があります。
• 美術史的解釈との乖離： 美術史における視覚的意味は、様式、図像学、物質的実践など文化的に蓄積された文脈に依存しますが、VLM がこれらの複雑な概念をどのように「理解」しているかは不明です。

本研究の核心的な問いは、**「XAI（説明可能な AI）手法を用いて、CLIP の視覚的推論を人間（特に美術史の専門家）が解釈可能な形で可視化することは可能か？また、その限界はどこにあるのか？」**という点にあります。

2. 研究方法

本研究は、ゼロショット条件下（微調整なし）で CLIP の視覚的論理を評価するため、2 つのケーススタディと 7 つの XAI 手法の比較評価を行いました。

評価対象とした 7 つの XAI 手法

3 つの異なるパラダイムに分類される手法を比較しました。

1. 勾配ベース（Gradient-based）： 入力画像の勾配を逆伝播させて特徴量マップを生成。
   • Grad-CAM, Grad-CAM++, LayerCAM, LeGrad
2. スコアベース・勾配フリー（Score-based, Gradient-free）： 画像領域をマスクし、モデルの出力スコアの変化から重要度を推定。
   • ScoreCAM, gScoreCAM
3. CLIP 固有のアプローチ（CLIP-specific）： 推論パイプラインに直接介入し、テキストと画像の相互作用を明示。
   • CLIP Surgery

ケーススタディ 1：定量的評価（局所化精度）

• データセット： 図像学的な注釈を含む 2 つの美術史データセット「IconArt」と「ArtDL」を使用（約 2,000 枚の画像）。
• タスク： ゼロショット条件下で、特定の図像的概念（例：「聖セバスティアン」「蛇」「裸体」など）を画像内でどの程度正確に局所化（Bounding Box 検出）できるかを測定。
• 指標： 閾値依存性を排除するため、IoU（Intersection over Union）閾値を変化させた際の最大 BoxAcc（Bounding Box 検出精度）を評価。

ケーススタディ 2：定性的評価（人間による解釈可能性）

• 実験デザイン： 美術史を学ぶ学生や専門家 33 名を対象としたオンライン調査。
• 手順： 7 点の異なる時代・様式の美術作品に対し、参加者は「重要な領域」を自らマウスで注釈付けを行いました。その後、7 つの XAI 手法で生成されたサリエンシーマップ（注目領域の可視化）を提示し、どのマップが人間の注釈と最も一致するかを順位付けさせました。
• 目的： 機械の「注視」と人間の「美術史的な視線」の一致度を評価し、手法の解釈可能性を検証。

3. 主要な結果

定量的結果（ケーススタディ 1）

• CLIP Surgery の優位性： 全手法の中で、CLIP 固有のアーキテクチャに特化した「CLIP Surgery」が、IoU 閾値 0.30 および 0.50 の両方で最も高い局所化精度を示しました。
• 次点の手法： LeGrad が 2 番目に良い性能を示しましたが、CLIP Surgery に比べると全体的に劣りました。
• 勾配ベース手法の限界： 従来の Grad-CAM や LayerCAM などは、美術史的な図像データにおいて性能が大幅に低下しました。
• データセットによる差異： 一般的な物体（ArtDL の「顔」など）では精度が高かった一方、文脈依存性の高い図像概念（IconArt の「キリストの磔刑」など）では精度が低下しました。また、小物体の検出は全体的に困難でした。

定性的結果（ケーススタディ 2）

• 人間の評価との一致： 参加者の評価においても、CLIP Surgery、LeGrad、ScoreCAM が最も高い評価を得ました。これらは人間の注釈領域とよく一致していました。
• 概念の曖昧さの影響：
  • 具体的で空間的に限定された概念（例：「蛇」「橋」「左足」）では、手法間の順位付けが一致し、人間との相関も高かったです。
  • 抽象的・文脈依存性の高い概念（例：「淫らな」「処女マリア」「スフィンクス」）では、人間の評価自体がばらつき（Inter-rater reliability が低い）、XAI 手法の性能差も明確になりませんでした。
• 表現の限界： モデルが学習データに「盗人（thief）」のような概念を局所的なホットスポットとして明確にエンコードしていない場合、どの XAI 手法を使っても曖昧な結果しか得られないことが示されました。

4. 重要な貢献と知見

1. 手法の比較評価： 美術史という専門領域において、CLIP 固有の手法（CLIP Surgery）が従来の汎用 XAI 手法よりも優れていることを実証しました。
2. 説明可能性の限界の特定： XAI 手法は、モデルが「何に注目しているか」を可視化できますが、それが「意味を理解している」ことを示すわけではありません。特に、図像学的に複雑で文脈依存性の高い概念では、モデル自体の表現能力（埋め込み空間の粒度）がボトルネックとなります。
3. 人間と機械の視線の対話： 説明可能性は単なる診断ツールではなく、人間の解釈的欲求と計算機のアートifacts（人工物）の間の対話的プロセスであるべきだと提言しました。

5. 意義と結論

本研究は、デジタル美術史において VLM を批判的に活用するための方法論的基盤を提供しています。

• 実用的意義： 美術史の研究者が CLIP などのモデルを利用する際、CLIP Surgery などの手法がより信頼性の高い可視化を提供することを示唆しました。
• 認識論的意義： XAI 手法によって得られる「可視化」は、モデルの内部構造を完全に解明するものではなく、単にモデルの「不透明さ」を美的に装飾しているだけかもしれないという警鐘を鳴らしています。
• 今後の展望： 説明可能性は、モデルが「理解」しているかどうかを証明するものではなく、人間がモデルの判断を解釈し、さらに深い hermeneutic（解釈学的）な問いかけを行うための「触媒」として捉えるべきです。

結論として、XAI はモデルの視覚的論理を人間に「読みやすく（legible）」する可能性がありますが、それは概念の安定性や表現の可用性に依存しており、美術史のような文脈が豊かな分野では、技術的な可視化と人間の解釈的深さの間のギャップを埋めることは依然として困難であることが示されました。