🤖 AI

Can Cross-Layer Transcoders Replace Vision Transformer Activations? An Interpretable Perspective on Vision

该论文提出跨层编解码器（CLTs）作为 Vision Transformer 中 MLP 块的可靠代理模型，通过利用前序层的稀疏嵌入重构激活值，实现了可解释的线性分解与忠实归因，在保持甚至提升分类性能的同时揭示了最终表征主要由少数主导层贡献的机制。

原作者： Gerasimos Chatzoudis, Konstantinos D. Polyzos, Zhuowei Li, Difei Gu, Gemma E. Moran, Hao Wang, Dimitris N. Metaxas

发布于 2026-04-16

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gerasimos Chatzoudis, Konstantinos D. Polyzos, Zhuowei Li, Difei Gu, Gemma E. Moran, Hao Wang, Dimitris N. Metaxas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：我们能否像“翻译”一样，把复杂的视觉 AI（Vision Transformer）内部那些让人看不懂的“黑盒”操作，变成人类能读懂的、清晰的“说明书”？

为了让你轻松理解，我们可以把这篇论文的核心内容想象成**“给一位天才厨师（AI 模型）配备一位懂行的翻译官（CLT）”**的故事。

1. 背景：天才厨师的“黑盒”厨房

想象一下，你有一位天才厨师（Vision Transformer，简称 ViT）。他做菜的技艺登峰造极，能瞬间认出图片里是“猫”还是“狗”，准确率极高。
但是，他的厨房是全封闭的黑盒：

他切菜、炒菜、调味（也就是 AI 的“层”和“激活值”）的过程，外人完全看不懂。
以前，人们试图用“稀疏自编码器（SAE）”这种工具去观察，但这就像只盯着厨师的某一个动作（比如切土豆），却看不出切土豆和最后那道菜（最终结果）之间，到底是谁的功劳，谁又是在后面默默配合的。
结果就是：我们知道菜很好吃，但不知道哪一层刀工、哪一次调味才是决定性的。

2. 主角登场：跨层翻译官（Cross-Layer Transcoder, CLT）

这篇论文提出了一种新工具，叫跨层翻译官（CLT）。它的作用不是去“切菜”，而是重新编写菜谱。

它的核心魔法是：
它不只看当前这一步，而是把前面所有步骤（从第 1 层到第 N 层）的“稀疏笔记”收集起来，然后像拼积木一样，重新组合出厨师最后端出来的那道菜（最终输出）。

简单比喻：
以前的方法是：“这道菜是第 10 步炒出来的。”（只看局部）
CLT 的方法是：“这道菜其实是第 1 步切的洋葱 + 第 3 步加的盐 + 第 8 步的火候，共同作用的结果。”（跨层视角）

3. 两大核心发现

发现一：翻译官能完美替代厨师（功能替换）

研究人员做了一个大胆的实验：他们把厨师原本复杂的“炒菜步骤”（MLP 模块）全部拆掉，换成了翻译官（CLT）生成的“简化版菜谱”。

结果惊人：换上新菜谱后，厨师做出来的菜（AI 的分类结果）味道几乎没变，甚至有时候更好吃！
这意味着：翻译官不仅懂行，而且非常精准。我们可以放心地用这个“透明版”的菜谱来替代原本那个“黑盒”厨师，用来研究 AI 到底是怎么思考的，而不会牺牲它的智商。

发现二：不同角色的“功劳”大不同（可解释性）

这是论文最精彩的部分。通过翻译官的“功劳簿”（跨层贡献分数），他们发现了两个截然不同的模式：

普通食材（Patch Tokens，图片的小块碎片）：
- 特点：它们很“独”。每一层主要只负责处理自己那一层的信息。
- 比喻：就像流水线上的工人，第 1 个工人只管切菜，第 2 个工人只管洗菜，大家各干各的，谁也别想抢谁的功劳。
- 结论：如果你把第 5 层的工人换掉，第 5 层的菜就乱了，但前面的工人不受影响。
总指挥（CLS Token，图片的全局总结）：
- 特点：它很“博爱”。最终的那个“总指挥”信号，其实是所有前面步骤共同积累的结果。
- 比喻：就像乐队的指挥。虽然指挥站在最后，但他听到的音乐是从第一小节到最后一小节所有乐手共同演奏的。如果前面的任何一个乐手（层）走调了，指挥的声音就会受影响。
- 结论：最终的决定性信号，其实是由少数几个关键层（比如前 4 层中的某几层）主导的。如果你把这几层“抽走”，AI 就傻了；但只要保留这几层，AI 就能认出东西。

4. 总结：我们得到了什么？

这篇论文就像给 AI 世界装了一扇**“透视窗”**：

它证明了：我们可以用一种简单、稀疏的数学模型（CLT），完美地“翻译”并替代复杂的 AI 内部操作，而且不降低 AI 的智商。
它揭示了：AI 的“大脑”里，局部细节（Patch）是各自为战，而全局决策（CLS）是全员协作。
它的价值：以前我们只能猜 AI 为什么这么想，现在我们可以指着“功劳簿”说：“看，是因为第 3 层和第 7 层共同作用，才让你认出了这是一只猫。”

一句话总结：
这篇论文发明了一种**“透明化滤镜”**，让我们不仅能看懂 AI 最后的答案，还能看清它是如何一步步、由哪些关键步骤共同“拼凑”出这个答案的，而且在这个过程中，AI 依然聪明如初。

这是一份关于论文《Can Cross-Layer Transcoders Replace Vision Transformer Activations? An Interpretable Perspective on Vision》（跨层转码器能否替代 Vision Transformer 激活？——一种可解释的视觉视角）的详细技术总结。

1. 研究背景与问题 (Problem)

背景：
Vision Transformers (ViTs) 在视觉任务中表现出色，但其内部工作机制（特别是多层 Transformer 的激活值）通常被视为“黑盒”，缺乏可解释性。现有的可解释性方法（如稀疏自编码器 SAEs）通常仅在单层内操作，学习该层内的特征，无法捕捉 Transformer 跨层（Cross-Layer）的计算结构，也难以量化每一层对最终表示的相对贡献。

核心问题：

功能替代性 (Functional Replacement)： 能否利用跨层转码器（Cross-Layer Transcoders, CLTs）作为可解释的代理模型，替代 ViT 中的 MLP 块？即，能否仅利用前序层的稀疏特征，精确重构目标层的 MLP 输出，同时保持下游任务（如零样本分类）的性能？
可解释的跨层贡献 (Interpretable Cross-Layer Contribution)： CLT 能否提供忠实的归因（Attribution）和过程级可解释性？即，能否量化每一层对最终表示的贡献，揭示信息是如何在深度网络中转换和聚合的？

2. 方法论 (Methodology)

论文提出了一种名为跨层转码器 (Cross-Layer Transcoders, CLTs) 的框架，用于替代 ViT 中的 MLP 模块。

2.1 核心架构

CLT 采用编码器 - 解码器方案，旨在从前序层的稀疏嵌入中重构目标层的 MLP 后激活值。

稀疏特征编码 (Sparse Feature Encoding)： 对于每一层 $i$ $i$ ，使用线性编码器 $E_i$ $E_{i}$ 将激活值 $x_i$ $x_{i}$ 映射为稀疏向量 $z_i$ $z_{i}$ 。论文支持三种非线性激活函数：
- JumpReLU： 学习每个特征的阈值。
- ReLU-Top-k： 保留每个 Token 前 $k$ 个正值特征。
- Abs-Top-k： 保留每个 Token 前 $k$ 个绝对值最大的特征（保留符号）。
跨层传输 (Cross-Layer Transport)： 对于目标层 $j$ ，其重构输出 $\hat{y}_j$ 是所有源层 $i \le j$ 的稀疏编码 $z_i$ 通过解码器 $W^{dec}_{i \to j}$ 的加权和：
$\hat{y}_j = \sum_{i=1}^{j} z_i W^{dec}_{i \to j}$
这种三角解码器结构强制了因果性（仅利用前序层信息），形成了一个有向的归因图。

2.2 训练目标

CLT 在冻结的 ViT 教师模型（Teacher Model）上进行训练，最小化重构损失和稀疏性惩罚：
$\mathcal{L} = \sum_{\ell} \| \hat{y}_\ell - y_\ell \|_2^2 + \lambda \sum_{\ell} R_{sparse}(z_\ell)$
其中 $y_\ell$ 是原始 ViT 的 MLP 输出， $R_{sparse}$ 根据选择的非线性函数不同而不同（JumpReLU 使用 Tanh 惩罚，Top-k 则直接通过算子保证稀疏性）。

2.3 级联替换模型 (Cascaded Replacement)

为了验证功能替代性，论文构建了“替换模型”：在推理阶段，将 ViT 中特定层范围（如 $7 \to 11$ ）的 MLP 块替换为训练好的 CLT 输出。替换后的输出通过残差连接传递到下一层，允许重构误差在深度中累积，从而测试 CLT 在级联模式下的鲁棒性。

2.4 跨层归因分析

利用 CLT 的线性分解结构，定义投影归因分数 (Projection-based Attribution Scores)：
$C^{proj}_{i \to j} = \mathbb{E}_x \left[ \frac{1}{T} \sum_{t=1}^T \frac{\langle c^{(t)}_{i \to j}(x), \hat{y}^{(t)}_j(x) \rangle}{\| \hat{y}^{(t)}_j(x) \|_2^2} \right]$
该分数量化了源层 $i$ 对目标层 $j$ 重构的贡献比例。

3. 关键贡献 (Key Contributions)

将 CLT 引入视觉领域： 首次将跨层转码器应用于 Vision Transformers，实现了从早期层稀疏特征到后期层激活值的稀疏、跨层重构。
高精度的 MLP 替代： 证明了 CLT 可以在不降低（甚至在某些情况下提高）零样本分类精度的情况下，替代 ViT 的 MLP 块。特别是在替换 [CLS] Token 或仅替换深层 MLP 时，性能几乎无损。
揭示非对称的跨层贡献结构：
- Patch Tokens (图像块)： 表现出强烈的对角主导 (Diagonal-dominant) 归因，即每一层主要解释其自身的输出，信息主要在层内转换。
- [CLS] Token (全局标记)： 表现出广泛的跨层归因，其最终表示是许多前序层语义信号的深度聚合，而非仅依赖最后一层。
忠实的归因验证： 通过消融实验（Ablation）证明，仅保留贡献分数最高的前 4 层即可恢复原始模型的精度，而移除最高分的单层会导致性能显著下降。这证实了 CLT 的归因分数能真实反映各层的重要性。

4. 实验结果 (Results)

数据集与模型： 在 CIFAR-100, COCO, ImageNet-100 上，使用 CLIP ViT-B/32 和 ViT-B/16 进行实验。
重构质量：
- CLT 实现了极高的重构保真度。平均余弦相似度在 0.92–0.97 之间， $R^2$ 值在 0.89–0.95 之间。
- ViT-B/16（小补丁）比 ViT-B/32（大补丁）更容易被近似。
- ReLU-Top-k 在大多数情况下表现最佳。
替换后的分类性能：
- CLS 替换： 即使替换所有层（ $0 \to 11$ ），仅针对 [CLS] Token 的替换模型仍能保持与基线几乎一致的准确率（例如 ImageNet-100 上 ViT-B/16 保持 84%+）。
- Patch 替换： 早期层的 Patch 替换会导致误差累积和性能下降，但替换深层（如 $10 \to 11$ ）时性能恢复良好。
- 结论： CLT 是分析 ViT 内部表示的可靠代理，特别是针对全局分类任务。
归因分析发现：
- 热力图显示，Patch 的归因集中在对角线（自身层），而 [CLS] 的归因分布在整个深度。
- 这解释了为什么 [CLS] 替换更鲁棒：因为其信息分散在多层，单层误差影响较小；而 Patch 依赖特定层，误差更敏感。

5. 意义与未来展望 (Significance & Future Work)

理论意义： 该工作打破了传统单层解释方法的局限，提供了一种深度感知 (Depth-aware) 的视角，揭示了 ViT 中不同 Token 类型（全局 vs 局部）在信息聚合机制上的根本差异。
实用价值： CLT 提供了一个无需微调原始模型即可进行内部机制分析的框架，能够生成忠实的归因图，帮助理解模型决策过程。
未来方向：
1. 利用 CLT 的层分解进行分层概念发现，追踪视觉原语如何演变为语义抽象。
2. 将注意力头（Attention Heads）纳入跨层分解，构建统一的稀疏代理以进行端到端的电路分析。
3. 探索 CLT 在更广泛的视觉任务和多模态大语言模型（MLLMs）中的应用。

总结：
这篇论文通过引入跨层转码器（CLTs），成功地将 Vision Transformers 的 MLP 块替换为可解释的稀疏代理模型。这不仅证明了 CLT 在保持模型性能方面的有效性，更重要的是揭示了 ViT 内部信息流动的深层结构：全局标记（[CLS]）依赖于全深度的信息聚合，而局部图像块（Patches）则主要依赖层内转换。这一发现为构建更透明、可控的视觉基础模型提供了新的方法论和理论依据。