論文「Sparse but not Simpler: A Multi-Level Interpretability Analysis of Vision Transformers」の技術的サマリー

本論文は、ビジョン・トランスフォーマー（ViT）における重みの疎化（スパース化）が、モデルの「解釈可能性（Interpretability）」を本当に向上させるのかを検証した研究です。従来の仮説では、疎なネットワークは密なモデルに比べて計算回路がコンパクトになり、解釈が容易になると考えられていましたが、本論文は多角的な評価枠組みを用いて、この仮説が視覚モデルでは必ずしも成り立たないことを示しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義と背景

• 背景: 機械的解釈可能性（Mechanistic Interpretability）の分野では、重みの疎化が言語モデルにおいてコンパクトな計算回路（Circuit）を生み出し、解釈を容易にするという知見があります。
• 課題: しかし、この「構造上の単純さ（スパース性）」が、必ずしも「意味的な明確さ（Semantic Clarity）」や「解釈可能性の向上」に直結するかどうかは、特に自然画像を扱う大規模なビジョンモデル（ViT）においては未解明です。
• 仮説の検証: 単に接続数（エッジ数）が減るだけで、ニューロンレベルの選択性や特徴の解離（Disentanglement）が改善されるのか、それとも計算が単に再分配されるだけなのかを多面的に検証する必要があります。

2. 手法：IMPACT フレームワーク

著者は、解釈可能性を多層的に評価するための新しいフレームワーク**「IMPACT (Interpretability Multi-level Pipeline for Assessing Computational Transparency)」**を提案しました。このフレームワークは、以下の 4 つの補完的なレベルで評価を行います。

1. ニューロンレベル (Neuron Level):
   • 個々のニューロンの機能集中度や多義性（Polysemanticity）を評価。
   • 指標：アブレーション影響度、選択性（Selectivity）、クラス分散、ラベルエントロピー。
2. レイヤーレベル (Layer Level):
   • 中間表現の解離度を評価するために**スパース・オートエンコーダー（SAE）**を使用。
   • 指標：再構成精度、死んだ潜在変数の割合、SAE 特徴量に対する上記の 4 つの指標。
   • 手法のバイアスを防ぐため、BatchTopK SAEを採用。
3. 回路レベル (Circuit Level):
   • 特定のクラス予測に必要な最小限の計算回路を抽出。
   • 指標：エッジ数、ノード使用率、そして新規提案指標**「正規化回路品質（NCQ: Normalized Circuit Quality）」**。NCQ は、忠実度（精度維持率）と圧縮率（ノード削減率）の両方を考慮した指標です。
4. モデルレベル (Model Level):
   • 入力画像に対するアトリビューション（寄与度）マップの忠実度を評価。
   • 指標：Transformer Attribution 法を用いた挿入（Insertion）と削除（Deletion）の AUC。

実験設定:

• モデル: DeiT-III B/16（教師あり学習済み ViT）。
• 疎化手法: Wanda（重みの絶対値と入力アクティベーションのノルムの積でスコア付けし、剪定する手法）と Magnitude Pruning を比較。
• データセット: ImageNet-1K。
• 評価点: 70% のスパース化（精度低下が許容範囲内であるため）を主要な評価点とし、10%〜90% の範囲でも評価を実施。

3. 主要な結果

A. 回路レベル：構造的な縮小はあるが、機能の単純化はない

• エッジ数の削減: 70% 疎化モデルは、密モデルに比べて約2.5 倍少ないエッジ数で同様のタスク（クラス分類）を達成しました。
• ノードの再分配: しかし、回路を構成するアクティブなノードの割合は増加しました（密モデル：約 29% → 70% 疎化モデル：約 41.6%）。
• 結論: 剪定は接続を減らしますが、計算を少数の機能モジュールに集中させるのではなく、残存するより多くのコンポーネントに計算を分散（Representation Spreading）させていることが示されました。

B. ニューロン・レイヤーレベル：解釈可能性の向上は見られない

• ニューロンレベル: 疎化しても、ニューロンの選択性（Selectivity）やラベルエントロピーに系統的な改善は見られませんでした。ニューロンは依然として多義的（Polysemantic）であり、特定のクラスに特化した単一の意味を持つわけではありません。
• SAE 特徴量: 疎化モデルで学習された SAE 特徴量も、密モデルと比べてより解離された（単義的な）特徴を示すことはなく、超位置（Superposition）の減少は確認されませんでした。

C. モデルレベル：アトリビューションの忠実度は限定的

• 低スパース域でのみ改善: 10%〜30% の軽い剪定では、アトリビューションマップの忠実度（Insertion/Deletion AUC）がわずかに向上しましたが、これは正則化効果によるものと考えられます。
• 高スパース域での停滞: 50% 以上の高いスパース化では、忠実度の改善は頭打ちとなり、70% 疎化では挿入スコアが低下しました。
• 視覚的評価: 生成されたアトリビューションマップは、空間的な局在性や意味的な根拠において、密モデルと比べて一貫して明確になることはありませんでした。

4. 主要な貢献

1. ビジョン領域への拡張: 言語モデルで行われてきた「スパース性＝解釈可能性」という仮説を、ビジョン・トランスフォーマーに初めて体系的に適用し、検証しました。
2. IMPACT フレームワークの提案: ニューロン、レイヤー、回路、モデルの 4 つのレベルで解釈可能性を包括的に評価するパイプラインと、回路の質を評価する新しい指標（NCQ）を提案しました。
3. 仮説の否定: 構造的なスパース性が、機械的な透明性（Mechanistic Transparency）や意味的な解釈可能性を保証しないことを実証しました。単に重みを剪定するだけでは、モデルは「より単純」にはならず、計算が再分配されるだけであることを示しました。

5. 意義と結論

本論文の結論は、**「構造的なスパース性だけでは、ビジョンモデルの解釈可能性は向上しない」**というものです。

• 重要な示唆: 回路が小さくなる（エッジ数が減る）ことは、必ずしも「理解しやすい回路」を意味しません。計算がより多くのニューロンに分散されている場合、その背後にある論理は依然として複雑で多義的である可能性があります。
• 今後の方向性: 解釈可能性を真に高めるためには、単なる事後の剪定（Post-hoc pruning）ではなく、意味的な構造を明示的に促進する学習目的やアーキテクチャの事前知識が必要であることが示唆されました。

この研究は、モデルの効率化（圧縮）と解釈可能性の向上が同義ではないことを警告し、機械的解釈可能性の研究において、構造的指標だけでなく、意味的な解離や忠実度を含む多面的な評価の重要性を浮き彫りにしました。