When Are AI Explanations Recoverable? Identifiability, Stability, and Transfer from an Inverse-Problem Perspective

技術的要約：AIの説明はいつ復元可能なのか？

問題の定式化
本論文は、説明可能な人工知能（XAI）における根本的な欠落、すなわち「予測の類似性が説明の一致を意味する」という仮定に対処している。著者は、異なるモデルが観測上区別がつかない予測を生み出しながらも、実質的に異なる特徴量への属性、感度、またはランキングを支持する場合があることを指摘している。中心となる問いは、逆問題として定式化される。すなわち、観測演算子 $\mathcal{A}$（観測可能なモデルの挙動を表す）と説明関数 $\Psi$（復元すべき量）が与えられたとき、どのような条件下で $\Psi(\theta)$ が $\mathcal{A}(\theta)$ から一意かつ安定に復元可能となるか、という問いである。

本研究では、しばしば混同される以下の3つの現象を区別している：

1. 非識別性（Non-identifiability）: 観測結果が同一であるシステム間において、説明が異なること。
2. 不良設定性（Ill-conditioning）: 説明は一意的であるが、微小な観測の摂動に対して無限に敏感であること。
3. 安定な復元（Stable recovery）: 説明が一意に決定され、観測に対して連続的（リプシッツ安定）に変化すること。

手法
本フレームワークは、説明固有の識別性モジュラス（explanation-specific identifiability modulus） $\omega_{\Psi, \mathcal{A}}(\delta)$ を定義する。これは、観測値が最大 $\delta$ だけ異なる2つのシステム間における、説明関数 $\Psi$ の最大可能な不一致量を定量化するものである。

分析は、以下の4つの理論的段階を経て進められる：

1. 線形ヒルベルト空間論: 問題を、有界線形観測演算子 $A: \mathcal{H} \to \mathcal{Y}$ と線形説明関数 $\Psi_a(\theta) = \langle a, \theta \rangle$ を用いてモデル化する。分析は、零空間 $\ker(A)$ と随伴演算子の値域 $\text{Range}(A^*)$ の幾何学的性質に依拠する。
2. 有限次元への特殊化: 共分散幾何 $\Sigma$ を持つ線形予測器について、モジュラスはムーア・ペンローズの疑似逆行列 $\Sigma^\dagger$ を用いて導出される。
3. 非線形への拡張: 線形演算子 $A$ と局所的にバイリプシッツ比較可能な非線形観測演算子 $F$ へと理論を拡張する。これにより、非線形性のリプシッツ定数によってスケール調整された線形対応物を用いて、非線形モジュラスを境界付けることが可能になる。
4. 摂動分析: 共分散行列の相対的な摂動を分析することにより、説明の復元可能性が分布の変化（ソース $P$ からターゲット $Q$ へ）に対してどのように転移するかを調査する。

主要な結果

• 復元可能性の三分法（線形ケース）:
  線形な説明方向 $a$ に対して、以下の3つのレジームのいずれかが必ず成立する：

  1. 非識別: $a \notin (\ker A)^\perp$ である場合、任意の $\delta \geq 0$ に対してモジュラスは無限大となる。この場合、説明を復元することはできない。
  2. 識別可能だが無限に不安定: $a \in (\ker A)^\perp$ であるが $a \notin \text{Range}(A^*)$ である場合、$\delta=0$ においてモジュラスはゼロであるが、$\delta > 0$ では無限大となる。この場合、ノイズレスな極限では一意的であるが、摂動に対しては復元不可能である。
  3. リプシッツ安定: $a \in \text{Range}(A^*)$ である場合、モジュラスは $\omega_a(\delta) = \delta \|y_a^\dagger\|$ となる。ここで $y_a^\dagger$ は $A^*y = a$ の最小ノルム解である。これは、最適な安定性定数を提供する。

• 有限次元疑似逆行列の公式:
  $\text{Range}(A^*)$ が閉集合である有限次元においては、中間的な不安定レジームは消失する。説明方向が観測可能な範囲内に存在する場合、モジュラスは以下のように与えられる：
  $$\omega_a(\delta) = \delta \sqrt{a^\top \Sigma^\dagger a}$$
  これは、説明の復元可能性が共分散の幾何学と明示的に結びついていることを示す。近接共線性（小さな固有値）は不良設定性（大きなモジュラス）を招き、ランク不足は非識別性を招く。

• 非線形境界:
  微分値の境界 $m \leq g' \leq M$ を持つリンク関数 $g$ を用いた一般化線形モデル（例：ロジスティック回帰）において、非線形モジュラスは、線形ケースによる係数 $1/M$ および $1/m$ によってスケールされた線形モジュラスによって抑えられる。重要な点は、非線形性は識別性を回復させることはできないという点である。つまり、ある方向が線形予測器において観測不能であれば、単調変換の後でも観測不能なままである。

• 転移証明書（Transfer Certificates）:
  本論文は、共分散の幾何学的な相対摂動がスペクトルの崩壊から離れて抑えられている場合にのみ、説明の安定性が分布シフトの下で転移することを確立している。具体的には、$\|E\|_{op} \leq \rho < 1$ （$E$ は相対摂動）である場合、ターゲットのモジュラスは、ソースのモジュラスの $1/\sqrt{1 \pm \rho}$ の範囲内に抑えられる。逆に、絶対的な摂動がいかに微小であっても、ソースシステムがランク欠損の境界付近にある場合、識別性は破壊され得る。

数値検証
4つの制御された実験により、理論的予測を検証した：

1. スペクトル条件付け: 共分散の条件数が $1$から$10^6$ までの範囲において、正確な線形モジュラスが浮動小数点精度で再現された。
2. 零空間の失敗: 零空間の方向への変位は、予測の不一致はゼロであったが、説明の不一致は発散した。これにより、正確な非識別性が確認された。
3. 非線形境界: ロジスティックモデルの数値的モジュラスは、線形ケースから導出された理論的な二側境界内に厳密に留まった。
4. 転移エンベロープ: ランダムな共分散摂動の下でのターゲット対ソースのモジュラス比をサンプリングした結果、相対摂動定理によって予測された理論的なエンベロープ内に収まった。

意義と主張
本論文は、特定の観測演算子に対する特定の説明関数に関する定量的な逆問題理論を提供することを目的としている。その主要な貢献は、新しい属性アルゴリズムの提示ではなく、説明対象が利用可能な予測情報から復元可能であるかどうかを、事前に判断するための数学的フレームワークを提供することにある。

著者は、このフレームワークがアルゴリズムの変動性（説明手法の選択に起因する差異）と、固有の不良設定性および非識別性（データとモデルの構造によって課される根本的な限界）を分離するものであると主張している。研究者は、説明アルゴリズムを選択または比較する前に、まず説明対象が与えられた情報構造の下で識別可能かつ安定であることを判断しなければならない。もし対象が観測範囲の外にあるか、あるいは不安定なレジームにあるならば、アルゴリズムの設計に関わらず、いかなるアルゴリズムもそれを信頼性高く復元することはできない。

本研究は、説明の信頼性は単に問題を解くアルゴリズムの特性ではなく、逆問題自体の特性であると結論付けている。これは、XAIの主張の信頼性を再定義するものである。すなわち、説明量の性質が、観測可能な予測挙動から安定に復元可能である場合にのみ、その主張は支持されるのである。