技術要約: SketchXplain

問題提起

画像分類における現在の説明可能なAI（XAI）手法、特にサリエンシーマップは、「解釈性のギャップ」に苦しんでいる。サリエンシーマップは関連するピクセルやニューロンを忠実に強調するものの、多くの場合、意味的な文脈に欠け、なぜその領域が重要なのかを伝えることができない「漠然とした塊（nebulous blobs）」として現れる。これにより、ユーザーはモデルの挙動を解釈するために多大な認知努力を強いられ、迅速かつ正確な意思決定が妨げられる。既存の概念ベースの説明は意味的な整合性を改善しているが、特定の画像インスタンスとの視覚的な一貫性に欠けることが多く、単純な線画やエッジ検出では必要な説明的手がかりを捉えきれない。著者らは、AIによる説明は、簡潔さ（明確かつ簡潔であること）、一貫性（ユーザーの知識や証拠と一致していること）、迅速な解釈（迅速な同化を可能にすること）という3つの要件によって定義される直感的なものであるべきだと主張している。

手法: SketchXplain

著者らは、スケッチベースの視覚的説明を生成するディープニューラルネットワークフレームワークであるSketchXplainを提案する。写真を単にスケッチに変換したり、ピクセルを強調したりする手法とは異なり、SketchXplainは、サリエンシー、概念ボトルネック、およびスケッチ最適化を統合することで、抽象的で手がかりを意識した（cue-aware）図形を生成する。

アーキテクチャは、主に3つのモジュールで構成される：

1. 基本予測 (Base Prediction): 画像エンコーダ（$M$）が、入力画像（$x$）からクラスラベル（$\hat{y}$）を予測する。
2. 概念的説明 (Concept Explanations):
   • 概念ボトルネック (Concept Bottleneck): モデルは、中間的で人間が解釈可能な概念（例：顔のAction Unitsや皮膚病変のABCD基準）を、マルチラベル二値分類を通じて予測する（$\hat{\gamma}$）。これらの概念は、最終的なクラスラベルの予測に使用される。
   • 手がかりの局在化 (Cue Localization): Transformerに適応させたGrad-CAMを用いて、各予測概念に対するサリエンシーマップを生成する。これらのマップは、最終的な予測に対する各概念の重要度（$\hat{w}_\gamma$）によって重み付けされ、統合された概念重み付きサリエンシーマップ（$\hat{\epsilon}$）が作成される。
3. スケッチの合理化 (Sketch Rationalization): このモジュールは、2つのステップを経て最終的なスケッチを生成する：
   • ストロークの初期化 (Stroke Initialization): 学習済みの画像から画像への生成器（image-to-image generator）が、写真から詳細な線（エッジ、シワ、テクスチャ）を抽出する。これらの線は、概念重み付きサリエンシーマップによってマスクされ、最も説明的なストロークのみが保持される。
   • ストロークの最適化 (Stroke Optimization): システムは、マスクされた線に基づき、一連のパラメトリックなストローク（二次ベジェ曲線）を初期化する。これらのストロークは、複合損失関数（$L$）を最小化するように勾配降下法を通じて反復的に最適化される：
     $$L = -\cos(\hat{z}_s, \hat{z}_x) - \lambda_t \cos(\hat{z}_s, \hat{z}_y) + \lambda_\kappa \kappa(\hat{s}_x)$$
     ここで：
     • $\hat{z}_s, \hat{z}_x, \hat{z}_y$ は、それぞれスケッチ、入力写真、および予測ラベルのCLIP埋め込みである。
     • 第1項は写真への適合性（画像への忠実度）を保証する。
     • 第2項は意味的適合性（予測ラベルへの忠実度）を保証する。
     • 第3項（$\kappa$）は、高い曲率を罰することで滑らかさ（簡潔さ）を強制する。

主な貢献

1. 新しいモダリティ: 本研究は、視覚的XAIにおいて、単純な属性マップや言語的な概念記述を超え、直感的な説明モダリティとしてスケッチを利用した初めての成果である。
2. SketchXplainフレームワーク: 概念ボトルネック、サリエンシー局在化、および微分可能なスケッチレンダリングを組み合わせることで、簡潔さ、一貫性、および迅速な解釈という要件を満たす技術的手法である。
3. 実証的検証: 以下の2つの異なるドメインにわたる包括的な評価を実施した：
   • 表情認識: ConceptとしてAction Units (AUs) を使用。
   • 皮膚病変診断: ConceptとしてABCD基準（非対称性、境界、色、直径）を使用。

結果

モデリングおよびプロキシ指標

• 簡潔さ: SketchXplainのスケッチは、サリエンシーマップや「顕著な写真（Salient Photos）」と比較して、情報の保持量を単純な輪郭線よりも多く保ちつつ、有意に低い視覚的複雑さ（局所エントロピーおよびJPEG XLファイルサイズで測定）を示した。
• 一貫性: SketchXplainは、CLIPassoやサリエンシーマップなどのベースラインと比較して、AIの予測ラベルおよび説明的概念（AUs/ABCDs）の両方に対して最高の整合性を達成した。ノイズを低減しながら、タスクに関連する手がかりを効果的に保持することに成功した。

ユーザー調査（表情認識）

• 定性的評価: 参加者は、SketchXplainがサリエンシーマップ（意味に欠ける）や単純な輪郭線（詳細に欠ける）よりも直感的であると感じた。ユーザーは、SketchXplainが「顕著な線」（サリエンシーのように）を強調しつつ、認識可能な顔の特徴（輪郭線のように）と表現的な手がかり（CLIPassoのように）を維持していると報告した。
• 定量的評価（時間制約あり）: 短時間の知覚テスト（表示時間 33.3ms ～ 500ms）において、SketchXplainは、サリエンシーマップ、CLIPasso、さらには元の写真と比較しても、有意に高いAI整合性（予測された感情を正しく特定すること）と概念想起（特定のAUを特定すること）を可能にした。サリエンシーマップは、特徴的な文脈の欠如により、最も低いパフォーマンスを示した。

ユーザー調査（皮膚病変）

• 定性的評価: 非臨床の参加者を対象とした調査において、SketchXplainは、ABCD基準の特定およびメラノーマのリスク診断において他の可視化手法を上回った。参加者は、SketchXplainの「断片的な線」や「強調された殴り書き」が、滑らかな輪郭線やぼやけたサリシーマスクよりも、境界の不規則性や非対称性を確認するのに効果的であると指摘した。
• トレードオフ: SketchXplainは解釈性を向上させた一方で、単純な輪郭線よりもわずかに高い認知負荷をもたらしたが、ユーザーは臨床的概念との一貫性が高まることによるトレードオフは価値があると判断した。

意義と主張

本論文は、XAIを純粋な分析的監査から直感的解釈へとシフトさせることで、SketchXplainが解釈性のギャップに対処すると主張している。抽象的なスケッチを迅速に処理する人間の能力（システム1思考）を活用することで、本手法は以下をサポートする：

• より迅速な解釈: ユーザーは、従来のサリエンシーマップよりも、関連する手がかりを同化し、予測を推論することが早い。
• 強化された一貫性: スケッチは空間的な幾何学と意味的な概念の間の溝を埋め、AIの論理と人間の観察を一致させる。
• プライバシー保護: 副次的な効果として、スケッチに内在する抽象化は、診断上の有用性を維持しながら、識別可能な情報（例：個人識別情報、性別）を保護することができる。

著者らは、SketchXplainをすべてのXAI手法に代わるものとしてではなく、視覚的な抽象化を利用してAIの決定をより身近なものにするための、補完的なアプローチとして位置づけている。これは、特に迅速かつ直感的な理解が不可ニとなる領域において重要である。