🤖 AI

Can Cross-Layer Transcoders Replace Vision Transformer Activations? An Interpretable Perspective on Vision

本論文は、Vision Transformer の最終層表現を解釈可能で忠実な層別構成に変換し、ゼロショット分類精度を維持・向上させながら、従来のスパースオートエンコーダでは捉えきれなかった層間計算構造を解明する新しい代理モデル「Cross-Layer Transcoder（CLT）」の導入とその有効性を示しています。

原著者： Gerasimos Chatzoudis, Konstantinos D. Polyzos, Zhuowei Li, Difei Gu, Gemma E. Moran, Hao Wang, Dimitris N. Metaxas

公開日 2026-04-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gerasimos Chatzoudis, Konstantinos D. Polyzos, Zhuowei Li, Difei Gu, Gemma E. Moran, Hao Wang, Dimitris N. Metaxas

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI が画像を見る仕組みを、もっとわかりやすく、そして信頼できるようにする新しい方法」**を提案しています。

専門用語を避け、日常の比喩を使って説明しましょう。

1. 問題：AI は「魔法の箱」すぎる

今の最先端の画像認識 AI（Vision Transformer）は、非常に優秀ですが、中身が**「黒箱（ブラックボックス）」**になっています。
「なぜこの画像を『猫』だと判断したのか？」と聞いても、AI は「なんとなくそう感じた」としか答えられません。中では、何層もの複雑な計算が行われており、どの部分の計算が最終的な判断に一番効いたのか、人間には見えません。

これまでの研究では、AI の「ある一層」だけを見て説明しようとしていましたが、それは**「映画の一場面だけを見て、ストーリー全体を説明しようとする」**ようなもので、不十分でした。

2. 解決策：新しい「翻訳機」を作る

この論文では、**「クロスレイヤー・トランスコーダー（CLT）」**という新しい仕組みを提案しています。

これを**「AI の思考過程を、人間が読めるノートに書き起こす翻訳機」**と想像してください。

従来の方法（スパース・オートエンコーダー）：
各層（各フロア）ごとに、その部屋で何が起こっているかだけをメモする。しかし、1 階のメモが 10 階の結論にどう影響したかはわからない。
新しい方法（CLT）：
**「1 階から 10 階までのすべてのメモを、最終的な結論（10 階の部屋）にどう貢献したかを、すべてつなげて書き直す」**ことができます。

CLT は、AI の複雑な計算を「足し算」の形に変換します。

「最終的な『猫』という判断は、**1 階の『耳の形』のメモ（30%）＋ 3 階の『ひげ』のメモ（20%）＋ 10 階の『全体の雰囲気』のメモ（50%）でできている」というように、「誰が、どれだけ貢献したか」**を明確に示せるようになります。

3. 驚きの発見：AI の「二つの顔」

この新しい翻訳機を使って AI を分析すると、面白いことがわかりました。AI には大きく分けて 2 つのタイプの「思考」があるのです。

パッチトークン（画像の細かな部分）：
- 比喩： 「職人」
- 特徴： 自分たちが担当する部分（例えば「目の部分」）の処理を、自分たちだけで完結させようとする傾向があります。他の階層の助けをあまり借りず、**「自分の仕事は自分でやる」**というスタイルです。
CLS トークン（画像全体の要約）：
- 比喩： 「プロジェクトマネージャー」
- 特徴： 全体の結論を出すために、1 階から 10 階までのすべての職人の意見を聞き、集約します。 特定の階層に頼るのではなく、全階層の情報をバランスよく取り込んでいます。

4. 性能は落ちない？「置き換え実験」

「こんな複雑な仕組みを、わかりやすい『ノート』に書き換えても、AI はちゃんと動けるのか？」という疑問に対し、実験を行いました。

実験： AI の元の複雑な計算回路（MLP）を、この新しい「CLT（翻訳機）」に全部置き換えてみました。
結果：
- **「プロジェクトマネージャー（CLS）」**の部分は、ほぼ完璧に置き換えられました。性能は落ちず、むしろ少し良くなることさえありました。
- **「職人（パッチ）」**の部分は、特に最初の段階（1 階〜3 階）を置き換えると、少し混乱して性能が落ちました。しかし、後半の階層を置き換えるのは大丈夫でした。

これは、**「最終的な判断を下す『司令塔』は、実は非常にシンプルで説明しやすい仕組みで動いている」**ことを意味しています。

5. この研究のすごいところ

この論文が示した最大の成果は以下の 3 点です。

信頼性： AI の中身を「誰が、どう貢献したか」を数値で証明できるため、AI の判断を信頼しやすくなりました。
効率性： 重要な貢献をしているのは、実は全階層のうち**「上位 4 つの階層」**だけであることがわかりました。つまり、AI は無駄な計算をたくさんしているのではなく、重要な部分に集中して判断しているのです。
可視化： 「なぜ猫だと判断したのか？」という問いに対して、「1 階で耳を認識し、3 階でひげを認識し、最後にそれらを統合したから」というストーリーを、具体的な画像例と一緒に示すことができました。

まとめ

この論文は、**「AI という魔法の箱の中身を開けて、その中にある『貢献者の名簿』を明らかにする」**ことに成功しました。

これにより、私たちは AI がどう考えているかを理解できるようになり、より安全で、コントロールしやすい AI を作れるようになるはずです。まるで、複雑なオーケストラの演奏を、一人ひとりの楽器の役割がわかるように楽譜に書き起こしたようなものです。

論文「Can Cross-Layer Transcoders Replace Vision Transformer Activations? An Interpretable Perspective on Vision」の技術的サマリー

本論文は、ビジョン・トランスフォーマー（ViT）の内部活性化を解釈可能にするための新しいアプローチとして、クロスレイヤー・トランスコーダー（Cross-Layer Transcoders: CLT）の導入と検証を提案しています。従来の手法の限界を克服し、ViT の最終層表現がどのように形成されるかを「層ごとの寄与」という観点から解明することを目指しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題設定 (Problem)

ビジョン・トランスフォーマー（ViT）は多様なタスクで高い性能を示していますが、その内部表現は「ブラックボックス」であり、解釈可能性が課題となっています。

既存手法の限界: 従来の解釈手法、特に疎なオートエンコーダー（Sparse Autoencoders: SAE）は、単一のレイヤー内でのみ特徴を学習するため、トランスフォーマーの層間（Cross-Layer）や、最終層の表現形成における各レイヤーの相対的な重要性を捉えることができません。
研究課題:
1. 機能的置換: CLT を用いて、ViT の MLP ブロックを忠実に再構築・置換できるか？（性能低下なく代替可能か？）
2. 解釈可能性: CLT が提供する層間寄与スコアは、ViT の内部表現に対する信頼性の高い帰属（Attribution）を提供できるか？

2. 手法 (Methodology)

クロスレイヤー・トランスコーダー (CLT)

CLT は、Transformer の MLP ブロックを置き換えるための、疎で深さ（Depth）を考慮した代理モデル（Proxy）です。

構造: エンコーダー - デコーダー方式を採用します。
- エンコーダー: 各レイヤー $i$ の事前 MLP 活性化（ $x_i$ ）を、学習された疎な埋め込み（ $z_i$ ）に変換します。
- デコーダー: 目標レイヤー $j$ の MLP 出力（ $y_j$ ）を、それ以前のすべてのレイヤー（ $i \le j$ ）からの疎な特徴 $z_i$ の線形和として再構築します。
- 式: $\hat{y}_j = \sum_{i=1}^{j} z_i W^{dec}_{i \to j}$
特徴: この三角構造（Triangular architecture）により、情報の漏洩を防ぎつつ、各レイヤーが最終表現にどの程度寄与しているかを明示的にモデル化します。
スパース化関数: JumpReLU、ReLU-Top-k、Abs-Top-k の 3 種類を比較検討しました。

評価プロトコル

再構築精度: CLIP ViT-B/32 および ViT-B/16 を教師モデル（Teacher）とし、CIFAR-100、COCO、ImageNet-100 上で CLT を訓練。MSE、 $R^2$ 、コサイン類似度で評価。
カスケード置換モデル: 訓練された CLT を用いて、ViT の MLP ブロックを逐次的に置換し、ゼロショット分類精度への影響を測定。
帰属分析とアブレーション: 再構築スコアに基づき、どのレイヤーが重要かを特定し、重要なレイヤーを削除（Drop Top-1）または上位 4 つのみ保持（Keep Top-4）することで、スコアの信頼性を検証。

3. 主要な貢献 (Key Contributions)

ビジョン領域への CLT の適用:
ViT における MLP ブロックの疎な層間再構築を可能にし、従来の単一レイヤー手法では得られなかった「深さ全体にわたる構造」を可視化しました。
高精度な MLP 置換の実現:
後段のレイヤーや、すべてのレイヤーにおける [CLS] トークンに限定した場合、CLT は元の MLP を置換してもゼロショット分類精度を維持、あるいは一部で向上させることが示されました。これにより、CLT は元のモデルの信頼性の高い代理モデルとして機能します。
層間帰属による解釈性の解明:
- パッチトークン: 各レイヤーの出力は主に「自己のレイヤー」によって説明される（対角優位性）。
- [CLS] トークン: 最終表現は、深い層だけでなく、多くの先行レイヤーから広く情報を集約して形成されている（分散型）。
  この非対称性は、従来の手法では見逃されていた重要な知見です。
忠実なアブレーション検証:
寄与スコアに基づいたアブレーション実験により、最終表現は少数の支配的なレイヤー（上位 4 層など）によって大部分が決定されていることが示されました。重要なレイヤーを削除すると性能が大幅に低下し、逆に少数の重要レイヤーのみを保持しても元の精度を回復できることから、スコアの信頼性が実証されました。

4. 実験結果 (Results)

再構築精度:
- CLT は教師モデルの MLP 出力を非常に高い精度で再構築しました（平均コサイン類似度 0.92–0.97、 $R^2$ 0.89–0.95）。
- ViT-B/16（パッチサイズ小）の方が ViT-B/32 よりも再構築が容易でした。
- 再構築誤差は中間レイヤーでやや増加する傾向がありましたが、最終層では極めて低く抑えられました。
分類性能への影響:
- [CLS] トークンの置換: 全レイヤーを CLT に置換しても、ゼロショット精度はベースラインとほぼ同等（例：ImageNet-100 で 84.34% → 84.54%）を維持しました。
- パッチトークンの置換: 初期レイヤーからの全置換では精度低下が見られましたが、後段レイヤー（7→11 など）からの置換では性能を維持しました。
解釈性の定量的評価:
- 上位 1 つのレイヤーを削除すると精度が顕著に低下し（例：ImageNet-100 で -5.6%）、上位 4 つのレイヤーのみを保持するとほぼ元の精度に回復しました。これは、寄与スコアが機能的な重要性を正しく反映していることを示しています。
- 可視化（リトリーブ）により、浅い層は色やテクスチャなどの低次元特徴を、深い層はセマンティックな概念（例：「サーフィング」という活動）を捉えていることが確認されました。

5. 意義と結論 (Significance & Conclusion)

本論文は、CLT をビジョンモデルの解釈可能性を高めるための強力なフレームワークとして確立しました。

信頼性の高い代理モデル: CLT は ViT の性能を損なわずに内部構造を分析できるため、モデルの信頼性向上や制御に寄与します。
新しい洞察: ViT において、[CLS] トークンが「深さ全体にわたる情報の集約」によって機能し、パッチトークンが「局所的な層内変換」に依存しているという構造的な非対称性を明らかにしました。
将来の展望: このアプローチは、階層的な概念発見、アテンションヘッドを含む完全な回路分析、およびマルチモーダル大規模言語モデル（MLLM）への拡張へと発展させる可能性があります。

総じて、CLT は ViT の「ブラックボックス」を、層ごとの寄与という透明性のある構造へと変換し、機械学習モデルの解釈可能性と信頼性を飛躍的に向上させる画期的な手法です。