技術要約：標準解釈可能モデル (Standard Interpretable Model: SIM)

問題提起

人工知能モデルの複雑さが増すにつれ、これらのシステムのデバッグ、制御、および公平性の確保において、解釈可能性（interpretability）が不可欠となっています。しかし、現在の分野には、解釈可能な手法を演繹的に設計するための、一般的かつ体系的な理論が欠けています。既存の文献は断片的であり、評価プロトコルに一貫性がなく、理論的原則と実践的な実装（例：損失関数、アーキテクチャ、指標）との間に乖離があります。現在のアプローチは、抽象的な解釈可能性の原則を具体的な運用手法へと変換することに失敗することが多く、その結果、モデルの系統的な比較、再現、または構築が困難な状況を招いています。

手法：標準解釈可能モデル (SIM)

著者らは、ラグランジュ力学と「不変量（immutables）」（対称性）の概念に基づいた一般的な理論である標準解釈可能モデル (SIM) を提案します。SIMは、ユーザーが定義した前提条件から、解釈可能な機械学習（ML）手法を導出するための演繹的なフレームワークを提供します。

このフレームワークは、以下の6つのステップで動作します：

1. 解釈可能性の前提 (Interpretability Premises): 特定の対象エンティティ $h$（例：限定された推論能力と形式的な語彙を持つ人間）にとって、「解釈可能」とは何を意味するかを定義する。
2. 解釈可能性の対称性 (Interpretability Symmetries): これらの前提を、特定の変換 $g$ の下で不変であり続けるべき特性として定式化する。
3. 解釈可能性の制約 (Interpretability Constraints): 対称性を、対称性の違反を定量化する運用上の制約 $q(z) \leq 0$ へと変換する。
4. ラグランジュ定式化 (Lagrangian Formulation): $\mathcal{L} = T - V$ となるラグランジアンを構成する。ここで $T$ はパラメータの動力学を表し、$V$ は解釈可能性の制約を組み込んだ目的関数（損失）を表す。$V$ の極小値は、最適な解釈可能モデルに対応する。
5. 軌跡（最適化） (Trajectories/Optimization): $\mathcal{L}$ の作用積分を最小化することにより、パラメータ $\theta$ を不透明なモデルから解釈可能なモデルへと更新するための運動方程式（例：慣性を伴う勾配降下法）を導出する。
6. 制約のコンパイル (Constraint Compilation): あるいは、制約をモデルのアーキテクチャに直接コンパイルし、最適化によるペナルティを通じてではなく、構造によって解釈可能性が保持されるようにする。

ケーススタディ：限定された形式的エンティティ

本論文では、固定された語彙、意味論、および計算リソースを持つ対象エンティティ $h$ に対する SIM の具体的なインスタンスを導出しています。この導出により、3つの核となる対称性とそれに対応する制約が得られます：

• 対称性 I (概念不変性 / Concept Invariance): モデルの概念マップは、単調変換の下で、人間の概念意味論の全順序（preorder）（ランキング）を保持しなければならない。
  • 制約: モデルのペアごとの概念スコアの差は、人間が誘導した順序を尊重しなければならない。
• 対称性 II (予測・概念依存性 / Prediction-Concept Dependency): モデルの予測は、共有された概念にのみ依存しなければならない。予測関数の勾配は、概念勾配の張り（span）の中に存在しなければならない。
  • 制約: 予測ヤコビアンの概念勾配部分空間への射影は、不変（すなわち、概念空間の外側の方向に対する感度を持たないこと）でなければならない。
• 対称性 III (限定された推論 / Bounded Reasoning): 概念から予測への合成は、対象エンティティにとって扱いやすい仮説クラス（例：疎な線形関数）に属さなければならない。
  • 制約: 概念の公式は、特定の微分演算子 $K[h]$ の解（例：線形関数の場合、ヘッセ行列が消失すること）でなければならない。

これらの制約が「解釈可能性のランドスケープ」$V$ を形成します。SIM は、解釈可能なアーキテクチャの設計（制約のコンパイル）と、制約付き最適化（損失へのペナルティ項の追加）を統一します。

主な貢献

1. 解釈可能性の一般理論: SIM は、第一原理から解釈可能な手法を導出するための演繹的な方法を提供し、抽象的な理論と運用の設計との間の溝を埋める。
2. 大規模モデルのための運用フレームワーク: 著者らは、大規模なモデルを分析し改善するために SIM を適用し、訓練をやり直すことなく、壊れた概念意味論や予測依存性を特定し修正する方法を示している。
3. 系統的な比較とギャップ分析: 本フレームワークは、既存の解釈可能モデルのファミリー（例：コンセプト・ボトルネック・モデル、プロトタイプ・ネットワーク、スパース・オートエンコーダ）を特殊なケースとして包含し、共有された意味論の欠如や過度に制約された仮説空間などの限界を明らかにする。
4. ソフトウェア実装 (PyTorch Concepts): この理論は、オープンソースライブラリである PyTorch Concepts (PyC) に翻訳されており、理論的な対称性と制約に直接対応するモジュール化されたレイヤー、損失関数、および指標を提供している。

実証結果

本論文は、制御された実験と大規模モデルへの適用を通じて SIM を検証しています：

• 対称性の検証:
  • 対称性 I: 標準的な性能指標（例：平均絶対誤差）は、意味論の保存を捉えることができない。MAEを最小化するモデルは、しばしば人間が誘導した概念の順序を違反するが、制約をコンパイルしたモデル（アーキテクチャ I）は意味論を完全に保持する。
  • 対称性 II: 最適化ベースの制約強制（損失へのペナルティの追加）は、予測と概念の間の局所的な整合しか達成できない。予測が概念の関数であることを保証するには、アーキテクチャによるコンパイル（予測を概念の関数に強制すること）が必要である。
  • 対称性 III: SIM は、ラグランジュ乗数を用いて、概念の公式の複雑さ（例：線形 vs 非線形）を調整することを可能にし、柔軟な適合と限定された推論の間を補間する。
• 大規模モデルへの適用:
  • 視覚言語モデル (VLMs): 学習済みの VLM（CLIP, Moondream2, Qwen2）は、しばしば概念（例：「赤」）のペアごとのランキングに一貫性がなく、対称性 I を違反する。しかし、著者らは、ラベルフリーの概念意味論は、順序付けられたプロトタイプを使用して正しいランキングを回復することで、訓練なしで修正できることを示している。
  • 思考の連鎖 (CoT): Qwen2.5 に関する実験により、CoT による説明は実際の予測計算とは大部分が独立している（高い対称性 II の違反）ことが示され、これらが忠実な説明ではないことを示唆している。
  • 概念ベースの LLM (Steerling-8B): 分析によれば、大規模な概念ベースのモデルにおける予測は、教師あり概念のわずか約 1.5% に依存している。この依存関係は推論時にさらに疎化することが可能であり、これらのモデルが設計によって制御可能（steerable）であることを裏付けている。

意義と主張

本論文は、SIM が解釈可能性の視点を、非公式な手法の集合から、厳密で演繹的な研究分野へと転換させるものであると主張しています。

• 統一: 断片的な形式、損失、およびアーキテクチャを調和させるための単一の言語（ラグランジュ力学）を提供する。
• ユーザー意識: 解釈可能性をターゲットユーザーの特性によって明示的にパラメータ化し、異なる前提が異なる、内部的に一貫した理論を生み出すことを認めている。
• 反証可能性: フレームワークは、分析的なチェック（不変性）、経験的なテスト（制約違反）、および認識論的な評価（ユーザー調査）を通じて、解釈可能性の主張を反証可能にする。
• 教育的価値: 解釈可能性を幾何学、物理学、および論理学の確立された原則に根ざすことで、SIM は高等教育における解釈可能性の教授のための基礎を提供する。

著者らは、SIM がすべての解釈可能性の問題を解決すると主張しているのではなく、解釈可能な手法を導出し、現在のアプローチの限界を特定し、将来のプログラミング・インターフェースや研究の方向性を導くための体系的なレシピを提供するものであると強調しています。