技術的概要：メカニズム的解釈可能性のためのテンソル類似性

問題定義

メカニズム的解釈可能性は、ニューラルネットワークを意味のある構成要素に分解し、その内部計算を理解することを目的としている。この分野における重要な前提条件は、2 つの分解されたコンポーネント（または 2 つの異なるモデル）が同じ基盤となる関数を実装しているかどうかを厳密に検証できる能力である。現在の評価手法は、主に 2 つの制限に悩まされている：

1. 経験的・行動的類似性: 特定のデータセット上のモデル出力や活性化を比較する手法は、分布外（OOD）のメカニズムに対して盲目である。特定の入力でのみ発動するバックドアのような問題を検出できないか、分解が真の関数ではなく近似ヒューリスティックに依存している場合に、一般化に失敗する。
2. パラメータベースの類似性: 重み行列を比較する手法（例：行列コサイン類似度）は、重み空間の対称性（置換やスケーリングなど）に対して極めて敏感である。モデルが異なって訓練された場合や、メカニズムが単一のニューロンに集中するのではなく層全体に分散している場合に、機能的同等性を認識できない。

これらの対称性に対して不変であり、かつグローバルな機能的同等性を捉えることができる、厳密でデータセットに依存しない指標が存在しない。

手法

著者らは、テンソルベースのニューラルネットワーク（特に双一次トランスフォーマーなどの多線形モデル）向けに設計された重みベースの指標であるテンソル類似性を提案する。このアプローチは、標準的な非線形活性化関数の代わりに多項式（多線形）アーキテクチャを採用することで、重みの代数的分析を可能にする。

中核的なアーキテクチャの転換

この手法は、活性化関数が乗法的ゲート（例：双一次層や双一次アテンション）に置き換えられた多線形モデルに依存している。

• 双一次層: 持ち上げられた入力 $\tilde{x} = (1, x)$ を、2 次多項式 $A(x) = D((L\tilde{x}) \odot (R\tilde{x}))$ を介して出力に写像する。
• 多線形表現: これらの層は、$n$ 個の入力コピーとのテンソル積 $\text{in}^{\otimes n} \tilde{x}$ と重みテンソル $A$ の縮約として表すことができる：$A(x) = A \cdot \text{in}^{\otimes n} \tilde{x}$。
• 深層モデル: 深層多線形ネットワークは、グローバルテンソルの木構造分解として構築され、指数関数的に巨大なグローバルテンソルを具体化することなく効率的な計算を可能にする。

テンソル類似性指標

この指標は、2 つの重みテンソル $A$ と $B$ の間の一般化された内積として定義され、誘導ノルムによって正規化される：
$$\text{sim}_M(A, B) = \frac{\langle A | M | B \rangle}{\|A\|_M \|B\|_M}$$
ここで、$M$ はメトリックテンソルである。

この指標が対称性不変とデータセット非依存の基準を満たすことを保証するため、著者らは $M$ の特定の形式を導出した：

1. 対称化: 極化同型写像に基づき、2 つの多線形モデルが機能的に同等であるのは、その重みテンソルが対称部分空間内で同じ代表元を持つ場合に限られることを著者らは確立した。この指標は、入力置換対称性に関連する自由度を除去するために、テンソルをこの対称部分空間に射影する。
2. ガウスメトリック: 指標をさらに洗練し、行動的類似性との関連付けを行うため、著者らは標準ガウス分布 ($x \sim \mathcal{N}(0, I)$) における入力テンソルの期待値を用いて $M$ を定義する。Isserlis の定理を用いることで、サンプリングされたデータセットではなく、ガウス入力空間全体にわたる活性化の内積を計算する閉形式の指標が得られる。
3. 効率的な計算: グラムに基づく再帰的アルゴリズムにより、深層ネットワークにおけるこの類似性の計算が可能となる。これは、層ごとに局所テンソルを処理することで、完全なグローバルテンソルをインスタンス化する必要性を回避する。

主要な貢献

1. 原理的な重みベースの指標: 本論文は、重み空間の対称性（置換、スケーリング）に対して不変であり、入力データセットに依存しない指標を導入する。2 つのモデルが同じ多項式論理を実装しているかどうかを検証することで、機能的同等性を形式的に検証する。
2. 閉形式・データフリー分析: 行動的指標とは異なり、テンソル類似性はデータのサンプリングを必要としない。ガウス入力空間全体にわたって積分を行うため、標準的な性能指標では見えない OOD メカニズム（バックドアなど）を検出する能力を持つ。
3. 局所化能力: この指標は、特定の出力次元に焦点を当てるために「スライス」したり、チェックポイント間の機能的変化を分離するために「差分」テンソルを計算したりすることが可能であり、特定のメカニズムを特定の出力に帰属させることを可能にする。
4. スケーラビリティ: 再帰的アルゴリズムにより、この指標は深層ネットワークに対して計算的に実行可能であり、モンテカルロサンプリングに関連する指数関数的または二次的な収束制約を回避する。

結果

著者らは、既存の指標（CKA、行列コサイン、行動的類似性）に対するテンソル類似性の優位性を示すため、4 つの異なるドメインでこれを検証した：

1. 破滅的忘却（ビジョン）: SVHN における逐次訓練設定において、テンソル類似性は、データセットが削減された際に特定の数字（例：数字「9」）の知識喪失を正確に局所化する。影響を受けたクラスでは類似性が急激に低下するのに対し、他のクラスでは安定しており、行動的指標が曖昧なシグナルを示すのと対照的である。
2. グロッキング（モジュラ算術）: モジュラ加算タスクにおいて、テンソル類似性は、モデルが特定のフーリエ周波数へと連続的に再編成される過程を追跡する。精度が完璧に跳躍した後でも構造的再編成が継続していることを明らかにし、精度曲線単独よりも訓練ダイナミクスをより読みやすく示す。
3. バックドア検出（OOD）: SVHN にバックドア（黒い菱形のパッチで発動）を注入した際、クリーンデータ上の標準的な行動的指標は変化を検出できなかった。しかし、テンソル類似性はクリーンデータのみからバックドアを特定し、変化を特定の攻撃されたクラス（「9」）に局所化し、OOD メカニズムを検出する能力を実証した。
4. 言語モデリング: The Pile で訓練された 2 層の双一次アテンショントランスフォーマーに適用したところ、テンソル類似性は既存の指標では曖昧になる明確なブロック構造と訓練レジームの急激な遷移を明らかにした。これは、行動的代理指標よりも効果的に複雑な n-gram 統計の形成を追跡する。

意義と主張

本論文は、テンソル類似性をメカニズム的解釈可能性のための基礎的なツールとして位置づけている。その主な意義は、類似性の測定と忠実性の検証という問題を、経験的な近似問題から解決済みの代数的問題へと還元することにある。

• 忠実性: 多線形モデルの代数的性質に依存することで、この指標は分解が近似ヒューリスティックではなく、真の基盤となる関数を捉えていることを保証する。
• ロバスト性: 完全な分布に適用することで、特定の入力でのみ発動するメカニズム（バックドアなど）を実質的に排除し、より強力なロバスト性の主張を提供する。
• 限界: 著者らは控えめに、この手法は現在、非多項式非線形性を使用するほとんどの最先端アーキテクチャを除外する多線形モデルに依存していると認めている。しかし、多線形モデルは解釈可能性のための重要なテストベッドとして機能し、それらが標準的なアーキテクチャと同等のパフォーマンスを発揮できるという証拠があることを主張している。
• 将来展望: この研究は、多線形モデルへの制限が実行可能な代数的分析のための必要なトレードオフであることを示唆しているが、将来の帰属手法（例：深層トランスフォーマー内のパス間の類似性を計算するなど）への道を開き、多線形アーキテクチャが通常の深層ネットワークよりも透明性が高いという見方を支持している。