技術的サマリー：Attributions All the Way Down? 解釈可能性のメタゲーム

問題定義

帰属（アトリビューション）手法は機械学習の解釈可能性の根幹をなすもので、特定の变量（例：入力トークン、訓練データ）がモデルの振る舞いにどのように影響するかを定量化する。一次元手法（例：シャプレー値、統合勾配、アテンション）は広く利用されているが、これらは単一变量の影響を捉えることに限定され、相乗効果や非相乗効果といった高次ダイナミクスを見落とす傾向がある。

既存の相互作用手法は、二次元的影響（例：シャプレー相互作用、統合ヘッシアン）を測定することでこの課題に対処しようとする。しかし、これらのアプローチには重大な限界が存在する：

1. 相互作用の漏洩（Interaction Leakage）: 自身の出力に対して帰属手法を適用する逐次的手法は、純粋な個別効果と相互作用効果を明確に分離できず、相互作用項が個別成分に漏れ込む。
2. 方向性: 集合ベースの相互作用指標（例：シャプレー相互作用）は、相互作用を方向性を持たない部分集合 $\{i, j\}$ として扱うため、ある特徴量が別のものの帰属にどのように影響するかという方向性の階層性を捉え損なう。
3. 計算および構造的制約: 入力ヘッシアンに依存する手法はアーキテクチャの変更を必要とし、大規模入力に対しては計算コストが許容不可能なほど高くなり、標準的な ReLU ネットワークではしばしばゼロに消滅する。
4. 組み合わせ的複雑性: 相互作用項の数は組み合わせ的に増加する（$O(d^k)$）ため、高次相互作用の解釈が困難となる。

本論文は、任意の一次元帰属手法を第一原理から一般化し、これらの限界なく高次相互作用を捉えることができるかどうかを問う。

手法：METAGAME フレームワーク

著者は、帰属手法そのものを協力ゲームとして扱い、二次元的相互作用効果を定量化する概念フレームワークであるMETAGAMEを導入する。

中核概念：メタ帰属

モデル $f$ を説明する任意の一次元帰属 $\phi_i(f)$ に対し、このフレームワークは特徴量 $j$ が特徴量 $i$ の帰属に及ぼす方向的影響を表すメタ帰属 $\phi_{j \to i}(f)$ を定義する。

1. メタゲームの構築:

   • モデル $f$ を直接評価するのではなく、フレームワークは一次元帰属 $\phi_i$ を新たな協力ゲームの価値関数として評価する。
   • このゲームにおける「プレイヤー」は入力特徴量（またはトークン）である。
   • メタゲームにおける提携 $S$ の価値は、$S \cup \{i\}$ に含まれる特徴量が存在し、他の特徴量が（ベースラインを用いて）マスクされた状態での、特徴量 $i$ の帰属として定義される。

2. 方向性分解:

   • メタ帰属 $\phi_{j \to i}$ は、このメタゲーム内における特徴量 $j$ のシャプレー値として計算され、$i$ が固定されている条件下で、$\phi_i$ に対する $j$ の限界貢献を厳密に測定する。
   • 階層的効率性: このフレームワークは、元の一次元帰属が、その純粋な個別効果と方向的相互作用の和に等しいことを証明する：
     $$\phi_i(f, x) = \phi_{i \to i}(f, x) + \sum_{j \neq i} \phi_{j \to i}(f, x)$$
   • この分解により、純粋な個別効果（対角項）を相互作用効果（非対角項）から分離し、逐次的手法で観察される漏洩を解決する。

3. 理論的統合:

   • 著者は、既存の集合ベース相互作用指標が、一次元帰属の暗黙的な階層的分解であることを証明する。
   • 具体的には、メタシャプレー値はシャプレー・テイラー相互作用指標（STII）の方向性変種であり、メタ統合勾配はパワーの和（SOP）指標の方向性変種であることが示される。
   • 集合ベース手法とは異なり、メタ帰属は方向性を保持する（例：勾配ベース手法では $\phi_{j \to i} \neq \phi_{i \to j}$）、非対称な影響を明らかにする。

実用的実装

このフレームワークは、既存の帰属手法（例：AttnLRP、Grad-ECLIP、ConceptAttention）に対する汎用ラッパーとして設計されている。

• 効率性: 小規模なゲーム（$d < 20$）では、正確なシャプレー値が計算される。大規模なゲームの場合、著者は最先端の近似器（例：モンテカルロサンプリング、または shapiq ライブラリからの回帰ベース推定量）を推奨する。
• トランスフォーマー: この手法は、現代のアーキテクチャ向けに調整されており、LLM では生成されたシーケンス全体にわたってトークン帰属を集約し、ビジョン・ランゲージエンコーダーではテキストトークンと画像パッチ間のクロスモーダル相互作用を計算する。

主要な貢献

1. 原理的な一般化: シャプレー値を通じて、任意の一次元帰属を一般化して二次元的相互作用を定量化する手法。これをメタ帰属と呼ぶ。
2. 階層的分解: 帰属を方向的相互作用に分解することで組み合わせ的複雑性を克服する視点。シャプレー相互作用や統合ヘッシアンといった既存の指標が、暗黙的にこの分解を実行していることを証明する。
3. 方向性拡張: 既存の集合ベース相互作用指標（STII および SOP）の方向性拡張であることが証明された、新たな方向的相互作用指標としての METAGAME およびメタ帰属の導入。
4. 実証的検証: 3 つの異なる AI ドメインにおけるフレームワークの有効性の実証：
   • 指示微調整された大規模言語モデル（LLM）におけるトークン相互作用の定量化。
   • ビジョン・ランゲージエンコーダーにおけるクロスモーダル類似性の説明。
   • マルチモーダル拡散トランスフォーマーにおけるテキストから画像への概念の解釈。

実験結果

本論文は、3 つの応用シナリオにおいて METAGAME を検証する：

1. 言語モデル（Gemma 3）:

   • メタ AttnLRPを用いることで、一次元手法では見逃される方向的トークン相互作用（例：ベジタリアン文脈において「蜂蜜」が「バター」の帰属にどのように影響するか）を特定する。
   • モデルが「塞栓症」が存在する際に「肺」により多くの注意を払うこと、そして「肺」を除去すると「塞栓症」の重要性が増すことを検出する。
   • 定量的評価により、一次元ベースラインと比較して、人間がラベル付けしたトークン相互作用の検出におけるリコールが向上することが示された。

2. ビジョン・ランゲージエンコーダー（CLIP、SigLIP-2、MetaCLIP-2）:

   • メタ Grad-ECLIPおよびメタ MaskSigLIPを適用して類似度マップを説明する。
   • ImageNet-1k ポインティング相互作用認識指標において、メタ帰属は一次元手法（アテンション、MaskCLIP、Grad-ECLIP）および二次元的ブラックボックスベースラインである FIxLIP さえも一貫して上回った。
   • 特に、メタ MaskSigLIP は SigLIP-2 に対して最高レベルの忠実度（faithfulness）を達成し、メタアテンションは大型の MetaCLIP-2 モデルにおいてメタ Grad-ECLIP を上回った。

3. マルチモーダル拡散トランスフォーマー（FLUX.1）:

   • メタ ConceptAttentionを用いて、テキストから画像への生成における概念を解釈する。
   • この手法は、元の ConceptAttention の文脈依存性の限界を緩和した。
   • Pascal VOC および MS COCO セグメンテーションベンチマークにおいて、メタ ConceptAttention は、コンテキスト内の概念数が増加しても、精度、mIoU、mAP のすべての指標において元の手法をパレート支配した。

意義と主張

本論文は、METAGAME フレームワークが、先行手法の漏洩や方向性の問題なしに二次元的相互作用を理解するための数学的に原理的な道筋を提供すると主張する。帰属を協力ゲームとして扱うことで、離散的なゲーム理論的原理と現代の解釈可能性手法の連続的ダイナミクスとの間のギャップを埋める。

著者は、この研究をより信頼性の高い機械学習システムへの一歩として位置づける。フレームワークは計算コストと認知的負荷を増加させるが、特徴量が互いの貢献にどのように影響するかを正確に明らかにする、厳密な階層的分解を提供すると強調する。この研究は範囲について謙虚であり、言語モデルの分析は例示的な応用であること、およびより広範な比較のための厳密な忠実度測定（例：挿入/削除曲線）は将来の課題として残されていることを指摘する。このフレームワークは、提供された具体的な例を超えて、任意の一次元帰属手法に適用可能な汎用ツールとして提示されている。