Object-Level Explanations for Image Geolocation Models: a GeoGuessr use-case

技術概要：画像地理定位モデルのためのオブジェクトレベル説明

問題提起
画像の視覚内容に基づいて撮影場所を予測する画像地理定位モデルは、深層学習を用いて高い性能を達成している。しかし、これらの予測を駆動する具体的な視覚的証拠を理解することは依然として困難である。人間は GeoGuessr などのゲームにおいて、道路標識、植生、建築的細部といった具体的でオブジェクトレベルの手がかりに依存するのに対し、標準的な帰属手法（Grad-CAM など）は通常、拡散した重なり合うヒートマップを生成する。これらのマップは、一貫した視覚的実体ではなく広範な領域を強調するため、モデルの決定を特定の解釈可能なオブジェクトや知覚可能なパターンと結びつけることが難しい。このギャップは、概念レベルの粒度で地理定位モデルを解釈し、信頼し、分析する能力を制限している。

手法
著者は、帰属マップを離散的でオブジェクトのような要素に分解し、それらの予測的関連性を評価するオブジェクト中心の分析パイプラインを提案する。手法は主に 3 つの段階から構成される。

1. モデル学習と帰属: 国分類のために畳み込みニューラルネットワーク（ResNet50）を学習させる。勾配ベースおよびスコアベースの手法（Grad-CAM、Grad-CAM++、SmoothGrad、Score-CAM）を用いて帰属マップを生成し、予測に影響を与える顕著な領域を特定する。これらのマップは閾値処理を施して上位$p$パーセンタイルのピクセルを保持し、「帰属ガイド領域」を作成する。
2. オブジェクト抽出: これらの顕著な領域内で、セグメンテーションモデル（特に Segment Anything Model のバリエーション：MobileSAM、SAM2、SAM3）を用いて離散的な視覚要素を抽出する。これらの要素には意味ラベルは付与されず、車や標識など、知覚可能な単位として扱われる。
   • スコアリング: 各候補セグメントは、高顕著性ピクセルとの重なり、平均帰属値、および幾何学的中心における帰属値に基づいてスコアリングされる。
   • フィルタリング: 関連性閾値以下のセグメントは破棄される。重複するセグメントは、近接する重複を除去しつつ小さな詳細を保持するために、包含ベースの Intersection over Union（IoU）基準を用いてフィルタリングされる。
   • 出力: 残ったセグメントは、文脈を保持するためにわずかなパディングを施した長方形のバウンディングボックスに変換される。
3. 忠実度評価: 抽出された要素の予測的関連性は、同様のカバレッジを持つランダムに選択された領域に対して、2 つの標準的な XAI 指標を用いてテストされる。
   • 削除テスト: 元の画像から抽出された切り抜きを隠す。分類精度の大幅な低下は、除去された領域に重要な情報が含まれていたことを示す。
   • 挿入テスト: 画像の残りをマスクし、抽出された切り抜きのみを保持する。高い保持精度は、切り抜きに十分な予測情報が含まれていることを示す。

主な貢献

• オブジェクト中心パイプライン: 本論文は、事前定義された概念を必要とせず、また基盤となる分類器を変更することなく、拡散したピクセルレベルの帰属マップと局所的なオブジェクトのような視覚的証拠の間のギャップを埋める事後フレームワークを導入する。
• 定量的検証: 本研究は、帰属ガイドされた切り抜きが、同サイズのランダムな切り抜きよりも一貫して多くの予測情報を保持することを示す厳密な評価を提供する。
• セグメンテーション分析: 本作業は、セグメンテーションの質が解釈可能性に与える影響を調査し、セグメンテーションモデルの選択（例：SAM3 対 SAM2）が抽出された手がかりのカバレッジと有効性に大きく影響することを示している。

結果
実験は、フランス、インド、日本（OSV-5M データセットを使用）の 3 か国からの画像で構成されるベンチマークで行われた。

• 予測的関連性: 全てのテスト設定において、帰属ガイドされた切り抜きはランダムなベースラインを上回った。削除テストでは、これらの領域を隠すことで精度の低下がより大きくなり、挿入テストでは、より多くの予測情報を保持した。
• 手法比較:
  • 帰属手法: Grad-CAM++ および他の勾配ベースの手法は、抽出を導くための効果的な顕著性マップを提供した。
  • セグメンテーションモデル: より多くのセグメントを生成する SAM3 は、SAM2 や MobileSAM と比較して、両方のアブレーション設定でより強力な結果を達成した。著者は、SAM2 が削除テストで性能が低かったのは、おそらく生成されるセグメント数が少なすぎ、意味のある情報を除去するのに十分な空間的カバレッジが得られなかったためであると指摘している。
• 定性的知見: 抽出された要素には、車両、壁、道路標識、道路標示など、多様な視覚パターンが含まれていた。しかし、著者は限界を認め、抽出された要素の中には重複しているもの、より大きな構造の一部にのみ対応するもの、またはセグメンテーションの制約により非定形のまま残るものがあることを指摘している。

意義と主張
本論文は、地理定位モデルにおける帰属マップが、意味のある視覚領域に分解可能な局所的証拠を含んでいると主張する。これは、モデルの予測が人間が使用するのと同様の特定のオブジェクトレベルの手がかりに遡って追跡可能であることを示唆している。著者は、この作業を画像地理定位におけるオブジェクトレベルの解釈可能性と概念ベースの説明への一歩として位置づけている。

著者は、発見の範囲については控えめである。抽出された要素は近似であり、過剰セグメント化されている可能性があることを認めている。さらに、評価は追加のベースラインなしの 3 か国設定に限定されている。今後の作業として、このフレームワークをより大規模で微細なベンチマークに拡張し、地理定位タスクにおける人間の推論との整合性を検証するために人間の評価を組み込むことが提案されている。