💻 computer science

Beyond Semantics: Disentangling Information Scope in Sparse Autoencoders for CLIP

该论文提出了“信息范围”这一新维度及上下文依赖评分（CDS）指标，用于量化稀疏自编码器中特征聚合视觉证据的广度（从局部到全局），揭示了不同信息范围特征对 CLIP 预测和置信度的系统性影响，从而为理解 CLIP 表征提供了超越语义的新视角。

原作者： Yusung Ro, Jaehyun Choi, Junmo Kim

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yusung Ro, Jaehyun Choi, Junmo Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是在给 AI 的“大脑”做了一次全新的体检。以前，科学家们主要关注 AI 脑子里的每一个神经元（特征）到底代表什么（比如：这是“狗”，那是“猫”）。但这篇论文发现，光知道“是什么”还不够，我们还需要知道这些神经元是怎么工作的，特别是它们关注的范围有多大。

作者提出了一个非常有趣的新概念：“信息范围”（Information Scope）。

为了让你更容易理解，我们可以把 AI 看成一个正在看画展的侦探，而这篇论文就是侦探的工作手册。

1. 核心发现：侦探有两种“看”的方式

在 AI 的“大脑”里，有两种截然不同的侦探（特征）：

A 类侦探：微观观察员（低 CDS 特征）
- 怎么工作？ 他们像拿着放大镜的人。不管画展怎么移动，或者你稍微换个角度，他们死死盯着画里的具体细节，比如“这只狗的毛发纹理”或“那个红苹果的表皮”。
- 特点： 非常稳定。只要画里有狗毛，他们就亮灯。不管狗在画左边还是右边，他们的反应都很一致。
- 比喻： 就像你用手机拍一张特写照片，无论你怎么移动手机，镜头里的“猫鼻子”始终清晰可见。
B 类侦探：宏观观察员（高 CDS 特征）
- 怎么工作？ 他们像拿着望远镜看全景的人。他们不关心具体的毛发，而是关心整个画面的氛围、背景、或者“这是一张什么样的图”。
- 特点： 非常敏感且不稳定。如果你把画稍微挪动一下，或者把画框切掉一点点，他们的反应就会剧烈变化。他们可能会因为背景变了，或者狗的位置变了，就突然“熄灭”或“乱跳”。
- 比喻： 就像你在看一场足球赛。如果摄像机稍微偏一点，原本聚焦在“全场欢呼”的镜头可能瞬间就切到了“空荡荡的看台”，这种观察员对上下文极其依赖。

2. 他们是怎么发现的？（神奇的“平移实验”）

作者设计了一个聪明的实验，叫**“平移语境裁剪”（Shifted Context Crop）**。

想象一下，你有一张巨大的海报。

你剪下海报的左上角（图 A）。
你把海报往右下角挪一点点，再剪下同样大小的区域（图 B）。
你会发现，图 A 和图 B 中间有一大块是完全重叠的（内容一模一样）。

实验结果：

对于微观观察员（A 类）：在图 A 和图 B 的重叠区域里，他们的反应几乎一模一样。因为他们只认“毛发”，不认“位置”。
对于宏观观察员（B 类）：在图 A 和图 B 的重叠区域里，他们的反应却大相径庭！因为虽然内容一样，但周围的“邻居”变了，或者它们在整张图里的“绝对位置”变了，导致他们觉得“情况不同了”。

作者给这种“不稳定性”起名叫**“语境依赖分数”（CDS）**。分数越高，说明这个特征越依赖大环境，越不稳定；分数越低，说明它越扎根于局部细节。

3. 为什么要关心这个？（这对 AI 有什么用？）

作者发现，把这两种侦探分开，能让我们更清楚地理解 AI 是怎么做决定的：

做分类任务（比如猜这是猫还是狗）：
- 如果你把宏观观察员（B 类）关掉，AI 猜得反而更准了！
- 为什么？ 因为宏观观察员有时候会“想太多”或者被背景干扰。去掉他们，AI 就只剩下最纯粹的“猫毛”或“狗脸”特征，反而更专注、更准确。
- 比喻： 就像考试时，如果你把那些喜欢分析“考场气氛”、“监考老师表情”的杂念去掉，只专注于题目本身，成绩反而更好。
做精细任务（比如给图片里的每个像素涂色，或者测深度）：
- 如果你把微观观察员（A 类）关掉，AI 就彻底废了。
- 为什么？ 因为要画好一张图，必须知道每一根头发、每一个像素点在哪里。宏观观察员帮不上忙，只有微观观察员能提供这种精细的“地图”。
- 比喻： 就像你要修手表，必须依赖那些能看清齿轮的显微镜（微观），光靠看整个钟表的外壳（宏观）是修不好的。

4. 总结：这篇论文告诉我们什么？

以前我们研究 AI，就像是在给它的神经元贴标签：“这是狗，那是树”。
这篇论文告诉我们，除了贴标签，我们还得给它们分类：

有些神经元是“死脑筋”的：只认局部细节，非常稳定，是 AI 的基石。
有些神经元是“敏感多疑”的：非常依赖周围环境，容易受干扰，但它们提供了全局视野。

一句话总结：
这篇论文就像给 AI 的大脑装了一个**“稳定性过滤器”**。它告诉我们，AI 并不是只有一个大脑，而是由“死磕细节的工匠”和“顾全大局的指挥家”共同组成的。理解这两者的区别，不仅能让我们更懂 AI，还能帮我们要把 AI 训练得更好、更聪明。

简单类比：
如果把 AI 比作一个餐厅：

微观特征是厨师：不管外面天气如何，只要给你做牛排，他们就会精准地切肉、调味（稳定、局部）。
宏观特征是大堂经理：他们关注的是餐厅的灯光、音乐、客人的整体情绪（依赖全局、易变）。
这篇论文发现：如果你想让餐厅菜做得好吃（分类任务），有时候把大堂经理的干扰去掉，厨师反而发挥得更好；但如果你想装修餐厅（精细任务），那就必须依赖厨师的精细操作，大堂经理帮不上忙。

这是一篇关于可解释性人工智能（XAI）的学术论文，主要探讨了稀疏自编码器（Sparse Autoencoders, SAEs）在 CLIP 视觉编码器中的应用。文章提出了一种超越传统语义分析的新维度——信息范围（Information Scope），并设计了相应的度量指标来量化 SAE 特征的空间稳定性。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现有局限： 目前利用 SAE 解释视觉模型（如 CLIP 和 ViT）内部表示的研究，主要集中在特征的语义含义（即特征代表什么概念，如“狗”或“纹理”）。然而，仅靠语义标签无法完全理解特征的功能角色。例如，一个标记为“狗”的特征，可能是基于全局图像整合的证据，也可能是仅基于局部纹理（如毛发）的响应。随着 SAE 字典变大，特征变得极其细粒度，单纯的语义解释变得脆弱且不一致。
核心问题： 现有的分析方法缺乏对特征信息范围（即特征聚合视觉证据的空间广度）的量化。我们需要区分哪些特征依赖于局部线索（Local cues），哪些特征依赖于全局上下文（Global context）。
观察现象： 论文注意到 Vision Transformers (ViT) 中存在异常值 Token（Outlier Tokens），这些 Token 具有极高的范数，通常与全局信息聚合有关。在**移位上下文裁剪（Shifted Context Cropping, SCC）**实验中发现，这些异常值 Token 的位置在微小的上下文变化下表现出极大的不稳定性，而局部信号则相对稳定。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了一套完整的框架来量化特征的信息范围：

A. 移位上下文裁剪 (Shifted Context Crop, SCC)

原理： 为了测试特征对上下文的依赖程度，作者设计了一种受控实验。将原始图像 $I_{orig}$ 调整为更大的尺寸，然后生成两个重叠的裁剪图像 $I_1$ 和 $I_2$ 。
操作： $I_2$ 是 $I_1$ 在水平和垂直方向上平移一个 Patch 步长（ $s$ 个像素）的结果。
目的： 这两个图像包含大量像素级相同的 Patch 网格，但它们的绝对位置编码和自注意力机制中的非重叠上下文不同。如果某个特征或 Token 的位置在两个图像中发生剧烈变化，说明它高度依赖上下文（全局信息）；如果位置稳定，则说明它依赖局部内容。

B. 上下文依赖分数 (Contextual Dependency Score, CDS)

定义： CDS 是衡量 SAE 特征空间激活稳定性的核心指标。
计算步骤：
1. 图像选择： 为每个 SAE 特征 $f_j$ 选择激活最强的 $k_{CDS}$ 张图像。
2. 生成裁剪： 对每张图像应用 SCC 生成 $I_1$ 和 $I_2$ 。
3. 提取激活图： 将图像输入 ViT，提取重叠区域的 Patch 嵌入，并通过训练好的 SAE 编码器得到特征 $f_j$ 的激活图 $M_{j,1}$ 和 $M_{j,2}$ 。
4. 计算距离： 将激活图归一化为概率分布，计算两者之间的推土机距离（Earth Mover's Distance, EMD）。
5. 归一化与平均： 为了消除不同模型分辨率的影响，将 EMD 除以网格对角线距离，并在 $k_{CDS}$ 张图像上取平均值。
公式：
$\text{CDS}_j = \frac{1}{k_{CDS} \cdot D_{grid}} \sum_{m=1}^{k_{CDS}} \text{EMD}(\mathcal{N}(M_{j,1}^{(m)}), \mathcal{N}(M_{j,2}^{(m)}))$
含义：
- 低 CDS： 特征激活位置稳定，对应局部信息范围（Local Scope）。
- 高 CDS： 特征激活位置随上下文剧烈变化，对应全局信息范围（Global Scope）。

C. 特征分组与消融实验

根据 CDS 分布的双峰特性，将 SAE 特征划分为低 CDS 组和高 CDS 组。
通过线性探针（Linear Probing）在图像分类、语义分割和单目深度估计任务上，分别移除这两组特征，观察模型性能的变化，以验证其功能角色。

3. 主要贡献 (Key Contributions)

提出新维度： 引入了**信息范围（Information Scope）**作为 SAE 特征解释的新维度，补充了传统的语义分析，关注特征聚合证据的空间广度。
提出度量指标： 设计了上下文依赖分数（CDS），能够量化特征对上下文变化的敏感度，将特征科学地划分为局部和全局两类。
揭示功能差异： 通过实验证明，低 CDS 特征和高 CDS 特征在模型预测和置信度中起着系统性的不同作用，并发现异常值 Token 主要由高 CDS 特征驱动。

4. 实验结果 (Results)

A. 异常值 Token 的不稳定性

在 SCC 实验中，**异常值 Token（Outlier Tokens）**的注意力图在微小位移下表现出极高的不稳定性（EMD 值显著高于非异常值 Token）。这证实了异常值并非 Patch 的固有属性，而是高度依赖全局上下文的产物。

B. 特征分组与 Token 的关联

高 CDS 特征在异常值 Token 上表现出极强的激活，而在非异常值 Token 上激活较弱。
低 CDS 特征则相反，主要激活于非异常值 Token。
这表明高 CDS 特征组确实捕捉了全局上下文信息，而低 CDS 特征组捕捉了局部 Patch 级信息。

C. 下游任务性能分析（特征移除实验）

图像分类 (ImageNet)：
- 移除高 CDS 特征后，分类性能在大多数模型中提升或持平。这表明线性分类器更容易利用局部特征，而全局特征可能引入了噪声或难以被线性层直接利用。
- 移除低 CDS 特征后，小模型性能显著下降，但在大模型（如 CLIP-L/14-336px）中性能反而提升。这说明随着模型规模增大，全局信息的编码方式变得更加有效和具有判别力。
密集预测任务 (语义分割 ADE20K & 深度估计 NYUd)：
- 移除低 CDS 特征导致性能严重下降。这证明了局部特征对于像素级任务（需要精细的空间细节）是至关重要的。
- 移除高 CDS 特征对性能影响较小，甚至在某些情况下略有提升。说明全局上下文信息在这些任务中主要起辅助作用，而非核心决定因素。

D. 泛化性

该现象不仅在 CLIP 中存在，在 DINOv2、SigLIP2 和 DeiT3 等其他 ViT 架构中也得到了验证，表明这是一种通用的机制。

5. 意义与结论 (Significance & Conclusion)

超越语义： 这项工作表明，理解 SAE 特征不能仅看“它是什么”（语义），还要看“它在哪里起作用”（信息范围）。
诊断工具： CDS 提供了一种新的诊断视角，帮助研究人员理解模型是如何在局部细节和全局结构之间进行权衡的。
异常值解释： 论文为 ViT 中广泛存在的“异常值 Token"现象提供了新的解释：它们是模型为了聚合全局信息而形成的、对上下文高度敏感的机制，主要由高 CDS 特征驱动。
应用价值： 这种区分对于模型优化、特征工程以及理解模型在不同任务（如分类 vs. 分割）中的行为差异具有重要指导意义。例如，在进行线性探针分类时，可能需要抑制高 CDS 特征以获得更清晰的决策边界；而在进行密集预测时，必须保留低 CDS 特征。

总结： 该论文通过引入“信息范围”概念和 CDS 指标，成功解耦了 CLIP 中 SAE 特征的局部与全局属性，揭示了异常值 Token 的本质，并为理解视觉 Transformer 的内部工作机制提供了新的、结构化的视角。