Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

技術的要約：信頼性、忠実性、および不透明な科学モデルにおける事後的な説明の限界

問題提起
本論文は、科学的応用における説明可能なAI（XAI）における決定的な認識論的ギャップに対処している。科学領域（神経科学、物理学、生化学など）において、不透明な機械学習モデルは、単なる予測器としてではなく、それがモデル化している基礎的な現象に対する洞察の源泉としてますます利用されている。支配的な仮定は、もしモデルが十分に信頼可能（その予測が現象の結果と一致している）であり、かつその事後的な説明が十分に忠実（その説明がモデルの内部計算を正確に反映している）であれば、その説明は現象自体の構造に関する正当化された主張を提供する、というものである。

著者らは、この推論は構造的に無効であると主張する。信頼性と忠実性は必要条件ではあるが、それだけでは「モデルを理解すること」と「世界を理解すること」の間の溝を埋めるには不十分である。具体的には、どちらの指標も、モデルの内部構造が現象の因果的、メカニズム的、または反事実的な構造と対応しているかどうかを検証するものではない。

手法と定式化
本論文は、実験的な検証ではなく、形式的な認識論的分析を用いている。現象、モデル、および説明の間の推論関係を分析するために、近似の連鎖を構築する：

1. 現象 ($f$): 自然現象を表す真の関数。
2. モデル ($h^*$): $H$（例：深層ニューラルネットワーク）という空間から選択された仮説であり、$f$ を近似するもの。
3. 説明 ($g^*$): 事後的な手法 $E$（例：SHAP、LIME、アテンション・マップ）によって生成された、 $h^*$ を近似する表現。

この連鎖は $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$ と表記される：

• $\phi$（モデルと世界のリンク）は、$h^*$ が $f$ を追跡する際の信頼性を表す。
• $E$（モデルのモデルへのリンク）は、$g^*$ が $h^*$ を記述する際の忠実性を表す。

著者らは、二種類の認識論的判定を区別している：

• 記述的判定（Descriptive Verdicts）: モデルが何を計算しているかに関する評価（忠実性）。
• 正当化的判定（Justificatory Verdicts）: 現象を追跡するモデルの能力に関する評価（信頼性）。

核心となる方法論的議論は、科学者が求めるのは第三の種類の判定、すなわち現象の構造に関する正当化の主張であるということである。本論文は、記述的判定（$g^*$ について）と正当的判定（$h^*$ について）を合成しても、論理的に現象 $f$ の構造に関する正当的判定を導き出すことはできないことを示している。

主要な貢献と議論

1. 構造的な失敗（The Structural Failure of Composition）:
   本論文は、完全な信頼性と完全な忠実性の極限においても、モデルと世界の間のギャップは閉じないことを主張している。

• 信頼性は出力が結果と一致するかどうかをチェックするが、内部構造の共有を要求しない。モデルは、 spurious correlation（偽相関）や非メカニズム的なショートカット（例：病理ではなく画像の境界線に依存するなど）を通じて、現象を完璧に追跡することができる。
• 忠実性は、説明がモデルの計算と一致するかどうかをチェックするが、それは完全にモデルの内部に限定されたものである。それは、モデルの計算が現象のメカニズムに対応しているかどうかを判断することはできない。
• したがって、「完璧な」連鎖（$f \approx h^* \approx g^*$）であっても、構造的な整合性の問題は未解決のまま残る。この連鎖には、モデルの事実から世界の事実へと移行するために必要な「共有された構造」という前提が欠けている。

2. 誤解を招く連鎖の3つのケース（付録A）:
   著者らは、以下の3つのシナリオを通じて、このギャップが存続することを例証している：

• ケース1（分布シフト）: モデルが偽の特徴量（例：レントゲン写真における左右のマーカー）に依存しており、それが訓練時には機能するが、新たな集団では失敗する場合。忠実性は依存関係を正しく報告するが、信頼性は分布がシフトしたときに初めて失敗する。説明は、間違ったメカニズムに対しては忠実である。
• ケース2（不変の交絡因子）: モデルが、あらゆるテスト可能な集団においてターゲットと相関している偽の特徴量（例：患者のポジショニング）に依存している場合。ここでは信頼性はあらゆる場所で完璧であり、忠実性も完璧であるが、モデルは依然として真のメカニズムを捉えていない。識別可能なデータが同一の予測を生む限り、検証データによって「偽のメカニズムを持つモデル」と「メカニズムを持つモデル」を区別することはできない。
• ケース3（完璧な追跡、乖離した構造）: モデルがあらゆる入力に対して現象を完璧に追跡するが、その内部構造が現象の構造とは全く異なる場合。このモデルに対する忠実な説明は、現象の構造ではなく、モデルの構造を記述する。信頼性と忠実性は、「真の構造」を持つモデルと「乖離した構造」を持つモデルの両方において同一であり、これらの指標は真実と運を区別できない。

3. 「強い」解釈と「弱い」解釈の区別:

• 強い解釈（How-Actually / 実際にはどのように）: モデルの構造が現象の構造であると主張するもの。本論文は、この連鎖単独ではこの主張を支持できないと論じている。
• 弱い解釈（How-Possibly / Objectual Understanding / いかにして可能か、あるいは対象的理解）: モデルが候補となる仮説や、その領域内のつながりの把握を提供するものであるという主張。本論文は、出力が外部的な裏付け（先行理論、独立した証拠、または実験的な介入）に対して位置づけられている限り、この連鎖がこれを支持し得ることを認めている。

結果と主張
本論文は実験的な結果を示すものではなく、限界に関する哲学的・論理的な証明を提示している：

• 自己充足的な正当化の不在: 信頼できるモデルと忠実な説明の組み合わせは、それ自体による合成のみでは、現象の因果的またはメカニズム的な構造に関する主張を正当化しない。
• 外部的な裏付けの必要性: モデルの記述から世界の記述へと移行するためには、外部の前提（独立した理論、既知のメカニズム、または介入）を導入しなければならない。これらの前提は、XAIの連鎖自体からは生成されない。
• 理想化の役割: 本論文は、科学的理想化（Sullivan, Elginなど）の文献と並行しており、不透明なモデルは理想化されたツールとして機能すると示唆している。それらは「対象的理解（つながりや可能性の把握）」を提供し得るが、外部的な検証なしには「説明的理解（実際のメカニズムの特定）」を与えることはできない。

意義
本論文の意義は、科学における事後的なXAIの認識論的な境界を明確にすることにある。モデルの忠実な説明を、科学的現実への直接的な窓口として扱う日常的な慣行に異を唱えている。

• 著者らは、「モデルがどのように機能するか」と「世界がどのように機能するか」を区別できないことは、より優れたアルゴリズムや高い忠実度によって解決される技術的な欠陥ではなく、推論連鎖における構造的な限界であると論じている。
• 本論文は、科学におけるXAIの用途を再定義する。すなわち、説明をメカニズムの決定的な証明と見なすのではなく、厳格な外部テストと理論的統合を必要とする「候補となる仮説の生成器」として捉えるべきであるとしている。
• 結論として、この連鎖は「いかにして可能か（how-possibly）」という主張の生成を支持するが、外部的な裏付けなしには「いかにして実際か（how-actually）」という主張を正当化できない。この区別は、不透明なモデルを用いた科学的発見の誠実さを保つ上で極めて重要である。