Beyond $L_2$: Generalizing Abductive Latent Explanations to Diverse Prototype-Based Architectures

技術要約：L2を超えて：多様なプロトタイプベースのアーキテクチャへの仮説的潜在説明（ALE）の一般化

問題提起
プロトタイプベースのニューラルネットワーク（PBN）は、予測を訓練例（プロトタイプ）への類似性に言及することで正当化する「設計による解釈可能性」を備えたアーキテクチャとして認識されている。近年、潜在空間の距離に対してタイトな境界を計算することで、これらのネットワークに対して数学的に保証された厳密な説明を提供する、仮説的潜在説明（Abductive Latent Explanations: ALE）が導入された。しかし、既存のALEの定式化は、ユークリッド潜在空間における$L_2$距離に厳格に限定されている。これは、現代の最先端のPBNが、球面メトリック（コサイン類似度）、ガウス密度、次元投影（ソフトマックス）を含む非ユークリッド表現をますます活用している現状に対し、決定的なギャップを生じさせている。現在の形式的な説明手法は、これらの多様な幾何学的構造と互換性がなく、多様なプロトタイプベースのアーキテクチャの全領域にわたる厳密な解釈可能性分析を妨げている。

手法
著者らは、異なる幾何学的バリアントに対する特定の境界アルゴリズムを導出することにより、非ユークリッドなプロトタイプアーキテクチャをサポートするようにALEフレームワークを一般化する。核心となる目的は同じであり、活性化値の境界を反復的にタイトにすることで、モデルの予測を保証する部分集合最小のプロトタイプ集合を計算することである。

1. コサイン類似度（球面幾何学）： 単位球面上のドット積類似度を使用するTesNetのようなアーキテクチャのために、著者らは球面幾何学への推論を適応させる。コサイン類似度は標準的な三角不等式を満たさないため、彼らは角距離（$d_\angle$）を利用して境界を導出する。彼らは、**球面キャップ交差近似（Spherical Cap Intersection Approximation）**を導入しており、そこでは、パッチと2つのプロトタイプによって定義される2つの球面キャップの交差が、最小半径の包含球面キャップによって境界付けられる。これにより、潜在パッチと未観測のプロトタイプとの間の類似性に関する、タイトな下界および上界の導出が可能になる。
2. 次元投影（単体幾何学）： 活性化をソフトマックス関数を介して確率単体へと写像するPIP-Netのようなアーキテクチャの場合、幾何学的推論は空間的な距離から確率質量の保存へと移行する。著者らは、説明に$\langle \text{patch}, \text{prototype} \rangle$ペアを追加することが確率質量を「消費」し、残りのプロトタイプの値を厳密に制限するという**単体説明（Simplex Explanation）を提案する。また、スパースで非負の分類ヘッドを持つモデルのためのスパース重み説明（Sparse-Weight Explanation）**も導入しており、これにより予測クラスの正確なスコア計算と、競合するクラスに対するタイトな境界付けが可能になる。
3. 等方ガウス類似度： プロトタイプがガウス分布である確率的ネットワーク（例：ProtoGMM）の場合、著者らはこの問題をユニバーサルなユークリッド空間へとマッピングする。等方共分散を仮定することで、彼らは類似度スコアから「真の」ユークリッド距離を復元する。彼らは、このマッピングされたユークリッド空間に標準的な超球面交差近似（HIA）を適用し、その結果得られる幾何学的境界を、モデル固有の活性化空間へと投影する。
4. フォーカル類似度： 背景ノイズを抑制するためにフォーカルプーリングを使用するProtoPoolのようなアーキテクチャに対して、著者らは、基礎となる幾何学的ソルバーを変更することなく、既存の空間ALE境界を、フォーカルプーリング操作に必要な集計統計量（最大値および期待値）を束ねるために集計できることを実証している。

主な貢献

• ALEの一般化： 本論文は、ALEフレームワークを$L_2$ユークリッド空間を超えて拡張し、球面メトリック、ガウス密度、および単体ベースの投影をサポートするように拡張した。
• 新規の境界アルゴリズム： 著者らは、多様なアーキテクチャを既存の境界にマッピングするか、あるいは新しいアーキテクチャ固有の境界アルゴリズム（例：球面キャップ交差、単体質量保存）を構築する方法を体系的に導出した。
• 統一フレームワーク： これらの多様なモデルを単一の形式的フレームワークの下に統合することで、本研究は、厳密なクロスアーキテクチャ比較を可能にする初の研究となっている。
• 実証的検証： 著者らは、複数のデータセット（Oxford Flowers 102, Oxford IIIT Pet, CUB200）およびアーキテクチャ（ProtoPNet, PIP-Net, TesNet, Gaussian ProtoPNet）にわたる、完全に訓練された画像分類器上で、部分集合最小の形式的な説明を計算することで、これらの理論的構成を検証している。

結果
実験により、異なるパラダイム間における説明のサイズ（解釈可能性）と計算コストの間の重要なトレードオフが明らかになった。

• PIP-Net： スパースで非負の線形ヘッドを持つモデル（PIP-Net）は、絶対的な説明サイズが最も小さく、計算時間も最も速い（約0.07秒）結果となり、これらが本質的に形式的検証と高い互換性を持っていることを示唆している。
• 単体パラダイム： 単体説明パラダイム（PIP-Net用）は、相対的な説明サイズが最も小さく（0.1%–0.2%）、潜在空間の次元に対する優れたスケーラビリティを示している。
• ガウスモデル： スケールされたHIAは、ガウスモデルに対して最小の相対的説明サイズ（4.6%–6.2%）を提供するが、高い計算オーバーヘッド（最大142秒）を伴い、一部の構成では大規模なデータセットでタイムアウトが発生する。
• コサイン/球面モデル： 球面HIAは競争力のある相対サイズを実現する一方で、コサインTIおよび球面HIAはともに高い分散とスケーラビリティの問題に直面し、CUB200データセットではしばしばタイムアウトが発生する。
• 指標： 著者らは、異なるパラダイム間で説明サイズを正規化するための「相対サイズ（Relative Size）」指標を導入しており、これはプロトタイプの総数に依存しない、アーキテクチャ固有の解釈可能性の堅牢な指標となる。

意義
本論文は、多様なプロトタイプベースのネットワークにわたる形式的な解釈可能性の最初の定量的比較を提供すると主張している。非ユークリッド空間へとALEを拡張することで、本研究は、形式的XAIの理論的保証と、現代の多様なプロトタイプアーキテクチャの現実的な実態との間のギャップを埋めるものである。本研究は、スパースで非負のヘッドの使用といった、より良い形式的解釈可能性をもたらす具体的な設計原則を浮き彫りにしている。また、幾何学的な精度（例：ガウスまたは球面モデル）がタイトな境界をもたらす一方で、それがしばしば多大な計算コストを伴うことを示しており、解釈可能性の保証とスケーラビリティを両立させるための慎重なアーキテクチャ設計の必要性を強調している。