技術的サマリー：帰属の不可能性

1. 問題定義

本論文は、説明可能 AI（XAI）における根本的な限界、すなわち入力特徴量が共線性を持つ場合の特徴量重要度ランキングの信頼性について取り扱っています。SHAP（SHapley Additive exPlanations）のような手法はモデル予測の解釈に広く用いられていますが、著者らは、共線性を持つ特徴量において、重要度のランキングがモデルとデータの関係の安定した性質ではなく、トレーニングプロセスの確率的な産物であることを実証しています。

具体的には、本論文は、特徴量ランキングが以下の 3 つの望ましい性質を同時に満たすことができるかどうかを調査しています：

1. 忠実性（Faithful）： ランキングは、個々のモデルインスタンスが学習した特定の帰属を反映していること。
2. 安定性（Stable）： 同じモデルアーキテクチャを同じデータで異なるトレーニング実行（例：異なるランダムシード）において再現可能であること。
3. 完全性（Complete）： ランキングはすべての特徴量のペアに対して厳密な順序付けを提供すること（同順位なし）。

中心的なテーゼは、特徴量の共線性（相関 $\rho > 0$）の条件下では、これら 3 つの条件を同時に満たすことが数学的に不可能であるというものです。

2. 手法と理論的枠組み

ラシュモナ性質と不可能性定理

核心的な理論的貢献は、帰属不可能性定理（定理 5）です。証明はラシュモナ性質に依存しており、これは共線性を持つ特徴量に対して、対称的な特徴量を逆順にランク付けする複数の準最適モデル（ラシュモナ集合）が存在することを示唆しています。

• 証明の論理： ランキングが完全であるためには、順序（例：$j \succ k$）を選択しなければなりません。もしそれが安定であるならば、この順序はすべてのモデルで成立しなければなりません。しかし、ラシュモナ性質は、$k \succ j$ となるモデルの存在を保証します。したがって、そのランキングは特定のモデルに対して忠実でありながら、集合全体にわたって安定することはできません。
• 定量的境界： 論文は、異なるモデルクラスにおけるこの不安定性の深刻さに関する定量的境界を導出しています：
  • 勾配ブースティング（GBDT）： 帰属比率（「先手」特徴量の優位性）は $1/(1-\rho^2)$（または深さ補正ありで $1/(1-\alpha\rho^2)$）として発散します。
  • Lasso： 硬い選択により、$\rho > 0$ の任意の値に対して比率は無限大（$\infty$）です。
  • ニューラルネットワーク： 不安定性は初期化とトレーニングダイナミクスに依存しますが、同様の対称性破れのパターンに従います。
  • ランダムフォレスト： 独立したツリートレーニングにより、連続的なブースティングの発散的な不安定性とは対照的に、有界な違反（$1 + O(1/\sqrt{T})$）を示します。

対称ベイズ二分法

著者らは、不変決定理論からの二族定理である対称ベイズ二分法（定理 37）を用いて、この結果を一般化しています。対称な意思決定問題（データ分布が特徴量の置換に対して不変である場合）において、達成可能な解の集合は、正確に 2 つの族に収束することを示しています：

• 族 A（単一モデル）： 忠実かつ完全だが、不安定（対称ペアに対して不忠実度 $U = 1/2$）。
• 族 B（アンサンブル）： 安定かつ集団平均に対して忠実だが、不完全（対称特徴量に対して同順位を報告、$U=0$）。
  第三の選択肢はありません。

構成的解決策：DASH

不可能性を解決するために、論文はDASH（SHAP の多様化集約）を提案しています。これは、$M$ 個の独立してトレーニングされたモデルにわたって SHAP 値を平均化するアンサンブル手法です。

• メカニズム： 平均化により、DASH は個々のモデルに内在するランダムな「先手」バイアスを相殺し、集団期待値に収束します。
• 最適性： DASH は、不偏な集約の中でパレート最適であることが証明されています。ランキングの安定性についてクラメール・ラオの分散限界（$\sigma^2/M$）を達成します。
• トレードオフ： DASH はグループ内完全性（対称特徴量に対して同順位を報告する）を犠牲にして、安定性とグループ間忠実性を獲得します。

形式的検証

手法の重要な部分は、Lean 4を用いた機械的検証を含んでいます。

• 著者らは、不可能性定理、定量的境界、および DASH の最適性証明を含む、理論的枠組み全体を形式化しました。
• 形式化は、54 のファイルにわたる305 の型チェック済み定理から成り、0 の sorry（証明されていない仮定なし）です。
• このプロセスには 16 の公理（14 のドメイン固有、2 のクエリ複雑性用）が関与しました。注目すべきは、核心的な不可能性定理はゼロの行動公理を必要とし、ラシュモナ性質のみに依存していることです。
• 形式化プロセス自体が、元の非形式的公理系における 2 つの論理的矛盾と 1 つの型不一致を特定しました。

3. 主要な結果と実証的検証

実証的知見

論文は、77 の公開データセットと複数のモデル実装（XGBoost、LightGBM、CatBoost、ニューラルネットワーク）にわたって理論を検証しています。

• 普及率： 77 のデータセットの調査において、**68%が相関する特徴量ペアに対して帰属不安定性（反転率 > 10%）を示しました。高次元データセット（$P \ge 20$）では、この率は93%**に上昇します。
• 反転率： 類似した重要度を持つ高い相関ペア（$\rho \approx 0.9$）の場合、再トレーニングシード全体での反転率は理論的最大値である50%（コイン投げ）に近づきます。
• DASH の有効性： $M \ge 25$ のモデルによるアンサンブル平均化は、反転率を 1% 未満に低下させ、不安定性を実質的に解消します。
• 診断： 論文は、不安定なペアを検出するための多モデル Z 検定と（分割頻度に基づく）単一モデルスクリーニングを導入しています。Z 検定は、観測された反転率と強い負の相関（$r \approx -0.89$）を示します。

特定モデルクラスの挙動

• GBDT： 発散的な不安定性を示します。「先手」特徴量が信号を吸収し、他の特徴量には残差信号のみを残すため、最初に選択された特徴量に基づいて大きな帰属ギャップが反転します。
• Lasso： 相関グループから正確に 1 つの特徴量を選択するため、無限の不安定性を示します。
• ニューラルネットワーク： より大きなラシュモナ集合と KernelSHAP の分散に起因し、高い不安定性を示します（乳がんデータではペアの 87% が不安定）。
• ランダムフォレスト： 連続的な残差共有の欠如により、著しく低い不安定性を示します。

拡張

• 条件付き帰属： 特徴量の因果効果が等しい（$\beta_j = \beta_k$）場合、条件付き SHAP に切り替えても不可能性からは逃れられないことを証明しています。
• 公平性監査： 著者らは、単一モデル SHAP に基づく代理差別監査は共線性下で証明的に信頼できないことを実証しています。なぜなら、結論（どの特徴量が代理であるか）はコイン投げだからです。
• 因果識別： この不安定性は、共線性下での因果識別の難しさを反映しており、サンプル複雑性は $1/(1-\rho)^2$ として発散します。

4. 意義と主張

本論文は、説明可能 AI における最初の形式的に検証された不可能性結果を提供すると主張しています。その意義は 3 つの次元で枠組み化されています：

1. 数学的必然性： 不安定性はエンジニアリング上の失敗（例：不適切なハイパーパラメータやバグ）ではなく、損失関数の幾何学とラシュモナ集合に起因する数学的必然です。論文は、「SHAP をどう修正するか」という問題から、「制約条件下で何が達成可能か」という問題へと問題を再定義します。
2. 設計空間の特性化： 帰属設計空間を定義することで、実務家は安定性と完全性の間で選択しなければならないことを確立しています。単一モデルが安定、忠実、かつ完全なランキングを提供する「無料のランチ」はありません。
3. 規制および実用的影響：
   • EU AI 法への準拠： 論文は、帰属不安定性が EU AI 法第 13 条 3 項 (b) (ii) の下で「既知かつ予見可能な状況」を構成すると主張しています。提供者は、恣意的なランキングを事実として提示するのではなく、この不安定性を開示しなければなりません。
   • 公平性： 単一モデルの公平性監査は相関する特徴量に対して信頼できないと見なされ、代理差別の検出において偽陽性または偽陰性につながる可能性があります。
   • 実行可能なツールキット： 論文は、具体的なワークフロー（スクリーニング $\to$ Z 検定 $\to$ DASH）と、所望の安定性レベルを達成するために必要な最小アンサンブルサイズ（$M_{min}$）の式を提供しています。

著者らは、共線性の存在下での説明において、分野は「単一モデルパラダイム」から離れ、誠実で安定し、かつ防御可能な説明を提供するために DASH のようなアンサンブルベースのアプローチを採用しなければならないと結論付けています。