技術的要約：物理学における機械学習の「解釈可能性（Interpretability）」と「説明可能性（Explainability）」の解釈

問題提起

ディープニューラルネットワークや大規模言語モデル（LLM）といった、極めて表現力の高い機械学習（ML）モデルの急速な採用は、物理科学（高エネルギー物理学、天体物理学、宇宙論）において、その科学的な信頼性と発見における役割に関する根本的な問いを投げかけている。主要な課題は、物理学コミュニティ内において、解釈可能性（interpretability）、説明可能性（explainability）、信頼性（trustworthiness）、および透明性（transparency）といった用語が混同されていることである。「古典的」な科学モデル（例：ニュートンの法則、標準模型）は、多くの場合、第一原理から導出され、固有の構造的透明性を備えているが、現代のMLモデルはしばしば不透明な「ブラックボックス」と見なされる。

本論文は、解釈可能性と説明可能性を厳密に定義し、両者を区別する必要性を検討し、それらがいつ必要とされるのか、どのように達成できるのか、そしてどのようなトレードオフを伴うのかを明らかにすることを目的としている。著者らは、これらはモデルに固有の性質ではなく、特定の科学的目的と整合させるべき、意図的なモデリング上の選択であると主張している。

手法とフレームワーク

本論文は、新しい実験データや特定のアルゴリズムを提示するのではなく、概念的なレビューと分類学（タクソノミー）のフレームワークを採用している。その手法は以下の通りである：

1. 定義の明確化： モデルの構造と科学的内容を分離し、解釈可能性と説明可能性の明確な定義を確立する。
2. 分類学の構築： モデルを解釈可能性と説明可能性の度合いに基づいてスペクトラム上にマッピングし、4つの象限（解釈可能かつ説明可能、解釈可能だが説明不能、解釈不能だが説明可能、およびそのいずれでもない）を特定する。
3. トレードオフの分析： 以下の間の内在的な緊張関係を分析する：
   • 解釈可能性 vs 表現力： モデルの構造を理解する能力と、複雑なデータパターンに適合する能力。
   • 説明可能性 vs 適応性： モデルをドメイン知識にマッピングする能力と、任意のデータ分布に適合する柔軟性。
4. 手法の分類： これらの特性を実現するための手法を、内在的（Intrinsic）（設計によるもの）および事後的（Post-Hoc）（訓練後の解析）なアプローチに分類する。
5. プロセスの統合： 解釈可能性と説明可能性を、**タスク指定（Task Specification）および介入計画（Intervention Planning）**の前提条件として位置づけ、これらの特性は、それらが下流の科学的意思決定に寄与する場合にのみ価値を持つと主張する。

主要な貢献

1. 明確な定義

著者らは明確な二分法を提案している：

• 解釈可能性（Interpretability）： モデルの構造的透明性に関するものである。これは、「我々はモデル $f_\theta$ の内部構造とその出力に至る仕組みを理解、近似、または読み取ることができるか？」という問いである。これはデータに依存せず、モデルの形式、パラメータ、および計算メカニズム（例：線形係数、決定木の分岐）に関連する。
• 説明可能性（Explainability）： モデルの科学的内容に関するものである。これは、「学習されたパラメータや関数を既存のドメイン知識にマッピングできるか？」という問いである。これには、文脈と意味を提供するための、事前の物理原則、法則、または経験的データへの参照が必要となる。

2. モデルのランドスケープ

論文は、これらの定義に基づいてモデルを分類している：

• 解釈可能かつ説明可能： 古典的な物理モデル（ニュートン重力、標準模型）および単純なMLモデル（線形回帰、浅い決定木）。
• 解釈可能だが説明不能： 構造は明確であるが（例：CNNカーネルの検査）、ドメイン知識や物理的な因果関係との接続が弱い、あるいは定性的であるモデル。
• 説明可能だが解釈不能： 科学的な結果は理解されているが（例：10ループのQCD予測、あるいはそれを模倣するノーマライジングフロー）、内部の計算メカニズムが複雑すぎてメカニズム的に透明ではないモデル。
• いずれでもない： 構造へのアクセスもドメインへのマッピングもできない、独自のブラックボックスまたはモデル。

3. トレードオフ

• 解釈可能性 vs 表現力： 高い表現力を持つモデル（例：Transformer、ディープニューラルネットワーク）は、広範な関数クラスを近似できるが、構造的透明性を犠牲にする。逆に、高度に解釈可能なモデル（例：パラメトリックな適合）は、複雑で非線形なデータパターンを捉える能力において制限されることが多い。
• 説明可能性 vs 適応性： 高い説明性を設計したモデル（物理的な対称性、事前分布、または第一原理を組み込んだもの）は、多くの場合、任意のデータ分布に対する適応性が低下する。逆に、高い適応性を持つモデル（例：ルックアップテーブル）は、あらゆるデータに適合できるが、なぜそのデータがそのように振る舞うのかを説明するための圧縮可能な構造を持たない。

4. 方法論的ツール

これらの特性を実現するためのツールをレビューしている：

• 内在的（設計によるもの）： 物理学に基づいたアーキテクチャ（例：ローレンツ不変ネットワーク）、表現学習（例：もつれのない潜在空間、SciNet）、記号回帰（Symbolic Regression）、およびスパース自己符号化器（Sparse Autoencoders）。
• 事後的（Post-Hoc）： 指標ベースのツール（Shapley値/SHAP、サリエンシーマップ、LIME）および蒸留技術（複雑な「教師」モデルを模倣する単純な「生徒」モデルの訓練）。

5. タスク指定と介入計画

本論文の中心的貢献は、解釈可能性と説明可能性は、タスク指定（科学的な問いと望ましい特性の定義）および介入計画（解釈に基づいてどのような行動をとるかの定義）に関連付けられて初めて意味を持つという議論である。

• 著者らは、もしモデルが解釈されたとしても、その後に下流の決定（例：仮説の変更、不確実性の調整、モデルの棄却）が伴わないのであれば、その努力は無意味である可能性があると主張している。
• また、結果の事後的な正当化を避けるために、介入計画は事前に規定される必要があると強調し、確証バイアスに対して警告を発している。

結果と主張

本論文は特定の実験から数値的な結果を提示するものではなく、この分野の構造的な分析を提供している：

• 問題の普遍性： 著者らは、解釈可能性と説明可能性はML特有の課題ではなく、規模と複雑さが異なるだけで、古典的なモデルも同様の課題に直面していると主張している。
• 文脈の必要性： 解釈可能性と説明可能性の両方が完全に不要な科学的応用は存在しない。しかし、必要な「度合い」はタスクによって異なる（例：科学的発見には両方が必要であるが、速度のためのサロゲートモデリングでは解釈可能性よりも説明可能性を優先する場合がある）。
• 物理学におけるAIの現状： 論文は、MLが測定や発見の可能性（例：LHCにおけるジェット・タギング）を大幅に向上させてきた一方で、説明可能なAIを通じて新しい物理法則を「発見する」という意味での「MLから学ぶ」という段階には、まだ広く到達していないと主張している。現在の進展の多くは、未知のパターンを明らかにするというよりは、感度や境界を改善することに留まっている。
• 設計哲学： 著者らは、解釈可能性と説明可能性は、固有の性質としてではなく、意図的なモデリング上の選択として扱われるべきであると結論付けている。彼らは、これらの特性を後付けの事項として扱うのではなく、特定の科学的目的と一致するように、モデル、損失関数、および訓練技術を設計することを推奨している。

意義

本論文は、物理学コミュニティ（特にVERaiPHYイニシアチブ内）に対し、MLモデルの検証に関する議論を標準化するための基礎的なガイドとして位置づけられている。その意義は以下の点にある：

1. 用語の解明： 解釈可能性（構造）と説明可能性（内容）の厳密かつ操作的な区別を提供し、科学的なコミュニケーションを阻害する用語の混同を防ぐ。
2. パラダイムの転換： 「ブラックボックスをいかに透明にするか」という議論から、「特定の科学的目的を達成するためにどのようなモデリングの選択が必要か」という議論へと移行させる。
3. 標準の確立： MLが真の科学的知識の道具として機能するためには、モデルが古典的なモデルと同様に、妥当性、信頼、およびドメインとの整合性に関する問いにさらされる必要があると主張する。
4. 実践的な指針： 研究者がいつ解釈可能性／説明可能性に投資すべきか、そしてどのようにタスク指定と介入計画を通じてそれらを科学的ワークフローに統合すべきかを判断するためのフレームワークを提供する。

著者らは、事後解析のためのツールは存在するものの、最も堅牢な道筋は、物理的知識をモデルのアーキテクチャに直接組み込む内在的な設計上の選択であると強調しており、それによって得られるモデルが単に予測的であるだけでなく、科学的に根拠のあるものであることを保証すべきであるとしている。