Actionable Interpretability Must Be Defined in Terms of Symmetries

技術要約：実行可能な解釈可能性は対称性によって定義されなければならない

1. 問題提起

本論文は、現在の解釈可能な人工知能（AI）の研究が根本的に**「設定不適切（ill-posed）」**であると主張している。解釈可能性に関する数多くの定義（例：Kim et al., 2016; Miller, 2019; Doshi-Velez & Kim, 2017）が存在するものの、それらは主に非公式的かつ記述的なものである。その結果、分野には以下のものが欠如している：

1. モデルが解釈可能であるかどうかを検証するための形式的な枠組み。
2. 解釈可能なモデルを構築するための設計原則。

既存の定義は、解釈可能性をどのように形式的にテストしたり設計したりできるかを明示していない。著者らは、厳密な基礎がなければ、主要な限界が見過ごされ、この分野は統一された原理ではなく、望ましい特性（例：スパース性、モジュラリティ）のリストへと断片化されたままになると断じている。

2. 手法：対称性に基づくフレームワーク

エルランゲン・プログラム（Klein, 1893）に着想を得て、著者らは、実行可能な解釈可能性の定義は、対称性（構造保存変換）の観点から定式化されなければならないと提案している。彼らは、人間ユーザーとモデルを形式化するために、マルコフ圏（具体的には圏 BorelStoch）を用いた構成的確率論的視点を採用している。

本手法は、これらを満たすことで特定の人間ユーザー $h$ に対して解釈可能なモデルのクラスを特徴づける、4つの具体的な対称性を導入している：

• 対称性 I：推論等変性 (Inference Equivariance)

  • 定義: モデル $P_{Y|X}$ が解釈可能であるとは、ユーザーがモデルの決定プロセスを「シミュレート」できることを指す。形式的には、ユーザーの仮説空間 $H_m$ 内に「メンタルモデル」 $P^{[h]}_{Y|X}$ が存在し、入力をユーザーの空間に翻訳してから予測を行うことと、元の空間で予測してから出力を翻訳することが一致しなければならない。
  • メカニズム: これは、翻訳してから予測する経路と、予測してから翻訳する経路が等しいという可換図式として表される。
  • 限界: 素朴にこれを検証することは、大規模な入力空間に対しては手に負えない（課題 C1）。

• 対称性 II：情報の不変性 (Information Invariance)

  • 定義: この計算不可能性に対処するため、モデルはタスクに十分な入力情報のみを保持し、無関係な詳細を破棄しなければならない。
  • メカニズム: surjective（全射的）な写像 $P_{Z|X}$ が、入力 $X$ を潜在変数 $Z$ へと圧縮し、相互情報量 $I(Y; X)$ が周辺化に対して不変である（$I(Y; X|Z) = 0$）ようにする。
  • 結果: これにより、推論等変性の検証を、指数関数的な空間 $X$ から、扱いやすい空間 $Z$ へと削減する。

• 対称性 III：概念閉包不変性 (Concept-Closure Invariance)

  • 定義: モデルの出力と人間の理解との間の翻訳が「妥当（sound）」であることを保証するため（意味を保存するため）、モデルは人間の意味論と一致する概念に基づいて動作しなければならない。
  • メカニズム: 形式概念分析を用い、「概念」を対象と文の間の関係の固定点として定義する。翻訳 $\tau_C$ は、概念閉包を保存する場合（対象、文、およびそれらの写像の図式が可換である場合）にのみ妥当である。
  • 結果: これにより、モデルが使用する潜在変数が人間の理解可能な概念に対応することを保証し、解釈の矛盾を防ぐ。

• 対称性 IV：構造的不変性 (Structural Invariance)

  • 定義: モデルの内部構造は、ユーザーの認知能力（ユーザーの「メンタルモデル」仮説空間）と互換性がなければならない。
  • メカニズム: もしユーザーが線形にしか推論できないのであれば、モデルも線形でなければならない。形式的には、構造的特性は、解釈可能なモデルの圏から人間のメンタルモデルの圏へと写像する関手 $F$ の下で保存される。
  • 結果: これにより、解釈可能性は明示的にユーザー中心となる。すなわち、モデルの構造的複雑さがユーザーの推論能力と一致する場合にのみ、そのモデルは解釈可能となる。

3. 主な貢献

A. 解釈可能なモデルの形式的定義
著者らは、4つの対称性をすべて満たすモデルを解釈可能なモデルとして定義している。彼らは、BorelStoch の部分圏として解釈可能なモデルの圏 ($I_m$) を構築している。

• 対象: 概念空間 ($C_1, \dots, C_k$)。
• プロセス: 概念ベースの条件付き確率、コピー写像、および破棄写像。
• 合成: 逐次的および並列的な合成規則。
  この圏は、あらゆる解釈可能なモデルを構築するための「レシピ」（ストリング図による）として機能する。

B. ベイズ逆転としての推論タイプの統一
本論文は、このフレームワークの下で、解釈可能性で使用される3つの重要な推論タイプが、ベイズ逆転の一形態として統一されることを示している：

1. 概念のアライメント: 真の概念証拠に対するパラメータの事後分布を計算することによる、人間概念の学習。
2. 介入 (Interventions): 外部からの介入（例：$do$-calculus や真値によるオーバーライド）に基づき、事後推論を通じてモデルの状態を更新すること。
3. 反事実 (Counterfactuals): 外生変数を孤立させるためにモデルを書き換え（アブダクション）、介入を行い、修正されたモデルにおける結果を予測すること。

C. 既存の特性の導出
本フレームワークは、文献で望ましいとされる特性（スパース性、コンパクト性、忠実性、モジュラリティ）が、原始的な公理ではなく、提案された対称性を満たすことによる帰結であることを示している。例えば：

• スパース性とコンパクト性は、情報の不変性から生じる。
• 忠実性とアライメントは、概念閉包不変性から生じる。
• 線形性や単調性の要求は、構造的不変性から生じる。

4. 結果と主張

本論文は、新しい実験的ベンチマークや経験的な結果を提示するものではない。代わりに、その「結果」は理論的かつ構造的なものである：

• 計算可能性: 情報的不変性を強制することにより、高次元空間における推論等変性の検証における困難さを解決すると主張している。
• 妥当性: 概念閉包不変性を強制することにより、妥当な翻訳（例：「黒」 $\to$ 「noir」）と不当な翻訳を区別するための形式的な基準を提供している。
• ユーザー中心性: 構造的不変性を強制することにより、解釈可能性がモデルの固有の性質ではなく、特定のユーザーの仮説空間とモデルとの間の関係であることを形式化している。
• 統一: 分散した推論タスク（アライメント、介入、反事実）を、単一の数学的操作（マルコフ圏内でのベイズ逆転）の下に統一していると主張している。

5. 意義と行動喚起

本論文の意義は、分野を特性の**「非公式な列挙」から、対称性による「形式的な検証」**へとシフトさせることにある。

• 懐疑論への反論: 「普遍的な数学的定義は存在しない」という見解に対し、著者らは、対称性が（$H_m$ を通じて）ユーザー中心性を組み込みつつ、数学的厳密さを損なわない普遍的な枠組みを提供すると主張することで反論している。
• アクセシビリティへの懸念への反論: 彼らは、形式（圏論）は厳密であるが、対称性は直感的かつ例レベルの解釈を許容しており、幅広い聴衆にとってアクセス可能であると主張している。
• 今後の方向性: 著者らはコミュニティに対し、以下のことを求めている：
  1. 既存の解釈可能性の手法を、これら4つの対称性にマッピングすること。
  2. 現在の研究において、どの対称性が暗黙のうちに仮定されているか、あるいは違反されているかを特定すること（例：Concept Bottleneck Models は概念閉否を満たす可能性があるが、制約のない DNN を使用している場合は構造的不変性に失敗する可能性がある、といった指摘）。
  3. 意図されたタスクおよびユーザーに対して、明示的に「対称性完全（symmetry-complete）」な新しい手法を開発すること。

要約すれば、本論文は、実行可能な解釈可能性とは曖昧な性質ではなく、モデルが人間ユーザーに対してどのように情報、概念、および構造を保持するかによって定義される、特定の構造的特性であり、これらは提案された対称性フレームワークを用いて形式的に検証および設計が可能であると断じている。