🤖 AI

Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

本文提出了一种基于稀疏自编码器（Sparse Autoencoder）的框架，该框架能够有效地提取并分析视觉语言模型中的视觉、文本及多模态概念，与现有方法相比，显著提升了视觉概念描述的质量，并实现了对集成多模态概念的系统性识别。

原作者： Sergio Lanza, Jae Hee Lee, Stefan Wermter

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Sergio Lanza, Jae Hee Lee, Stefan Wermter

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将**视觉语言模型（VLM）**视为一位超级聪明的、精通双语的图书管理员，他既能看图，又能同时阅读书籍。这位图书管理员非常擅长回答诸如“照片中的狗正在做什么？”或“为这个场景写一个故事”之类的问题。然而，在这位图书管理员的大脑内部，有数十亿个微小的开关（神经元）正在闪烁跳动，而直到现在，我们仍然不知道这些特定的开关究竟在控制哪些具体的想法或概念。这就像是在观察一个灯泡闪烁，却不知道它代表的是“猫”、“红色”还是“快乐”。

这篇论文介绍了一种窥探这位图书管理员大脑的新方法，使用的是一种被称为稀疏自编码器（SAE）的工具。你可以把 SAE 想象成一个高科技的概念分类器。与其观察整个大脑那混乱、纠缠的网络，SAE 将活动组织成整齐、独立的抽屉。每个抽屉代表一个单一、清晰的想法（即“概念”），即图书管理员正在思考的内容。

问题所在：缺失的“多模态”融合

以往尝试打开这些抽屉的方法存在一个严重的盲点。它们大多要么单独观察文本（文字），要么单独观察图像（图片）。

想象一下，如果你只能通过阅读配料表（文本）或者只能通过观察做好的蛋糕（图像）来试图理解一份食谱，却从未见过它们是如何协同工作的。
作者认为，VLM 通常拥有“多模态”概念——即那些只有在结合了图片和文字时才会存在的想法。例如，一个神经元可能会专门针对“一只狗正在追逐球”而闪烁。如果你只看图片，你看到了狗和球；如果你只读文字，你看到了“狗”和“球”。但“追逐”这一特定的动作，是两者的结合。以往的工具会错过这些混合在一起的想法，从而导致描述模糊或错误。

解决方案：更优秀的侦探框架

作者构建了一个新的框架来修复这个问题。其运作方式如下，这里使用一个简单的类比：

触发器： 他们准备了一大堆“问答”卡片（每张卡片包含一张照片和一个问题）。他们将这些卡片输入给图书管理员，并观察哪些特定的抽屉（神经元）闪烁得最亮。
侦探（解释者）： 对于每个明亮的神经元，他们挑选出让该神经元闪烁最剧烈的 5 张照片和 5 句句子。然后，他们要求第二个更聪明的 AI（一个“解释者”）观察这些线索，并猜测：“这个神经元在思考什么？”
- 转折之处： 与以往仅仅展示模糊、遮盖后的图片的方法不同，这种新方法为侦探提供了完整的上下文。如果神经元是由图片触发的，侦探也会看到问题和答案。如果它是由文本触发的，侦探也会看到图像。这有助于侦探理解两者之间的关系。
判决： 一旦侦探猜出了一个概念（例如“滑板手”），系统就会使用一个“真相检查器”（称为 CLIP 和 ALIGN 的模型）来查看这个猜测是否真的与数据相匹配。它会询问：“‘滑板手’这个短语真的能描述这些特定的图像吗？”

结果：更锐利的焦点

该论文在视觉问答数据集（LLaVA-NeXT）上测试了这种新方法，并将它与旧的方法进行了对比。

视觉质量： 新方法在正确识别视觉概念方面提升了 45%。它不再进行模糊的猜测，而是开始给出精确的描述。这就像是从一张模糊、低分辨率的照片升级到了清晰、高清晰度的图像。
寻找融合： 他们首次系统性地发现了这些“多模态”概念并对其进行了标注——即那些存在于图像与文本交汇处的概念。
测试大脑： 为了证明这些概念确实重要，他们进行了一个“对照实验”。他们强迫特定的神经元保持“开启”状态（就像按住一个灯开关一样），并要求图书管理员讲一个故事。
- 当他们强迫一个视觉神经元（例如“水”）时，故事突然包含了水。
- 当他们强迫一个多模态神经元时，故事的变化甚至更加剧烈，这表明这些混合概念对模型的思考和表达有着强大的影响力。

核心结论

这篇论文不仅是在说“我们可以看到模型内部”；它是在说“我们现在可以看清模型内部正确的东西”。通过将图像和文本视为伙伴而非独立的实体，他们创建了一张比以往更准确的图书管理员大脑地图。他们发现，这些模型中最有趣的想法中的许多都是视觉与文本的融合，而他们的新工具是第一个能够可靠地找到并命名这些想法的工具。

简而言之： 他们制造了一台更好的显微镜，让我们不仅能看到文字或图片，还能看到只有当两者相遇时才会产生的独特想法。

技术摘要：通过稀疏自编码器提取与分析视觉语言模型中的多模态概念

问题陈述
视觉语言模型（VLMs）在视觉问答（VQA）和图像描述等联合图像-文本任务中取得了显著性能。然而，理解其内部计算机制仍然是一个关键挑战。虽然稀疏自编码器（SAEs）已成为机械可解释性（MI）领域用于从模型激活中提取人类可理解概念的一种极具前景的工具，但现有方法在应用于 VLMs 时存在两个主要局限性：

模态隔离： 大多数基于 SAE 的工作专注于孤立的文本概念或视觉概念，忽略了多模态概念（在图像和文本中共同扎根的概念）。这会导致对编码集成信息的神经元进行误分类。
低质量的视觉描述： 先前的视觉概念提取方法往往产生模糊或不完整的描述。此外，依赖于掩蔽图像块以隔离神经元激活的技术会移除过多的上下文信息，从而降低提取概念的准确性。

方法论
作者提出了一个基于 SAE 的统一框架，用于提取并分析视觉、文本和多模态概念。该方法流程如下：

SAE 集成与激活记录：
- 将预训练的 SAE 集成到 VLM（具体为 LLaVA-NeXT-8B）中。
- SAE 使用 Top-K 激活函数将高维嵌入投影到稀疏潜在空间 ( $\omega$ ) 中，以强制执行稀疏性并鼓励单语义神经元。
- 对于每个 VQA 样本（图像 + 问题-答案对），系统分别记录视觉补丁 ( $V$ ) 和文本标记 ( $T$ ) 的独立激活张量。
多模态概念假设提取：
- 对于目标 SAE 神经元，系统选择使该神经元在视觉和文本两种模态中的平均激活度最大化的前 5 个样本。
- 视觉提取： 一个外部 VLM（LLaVA-72B）充当“解释器”。它接收顶层激活的图像补丁（非激活补丁采用模糊处理而非黑块掩蔽，以保留上下文）以及相应的 VQA 问题和答案。这种文本增强的视觉输入提高了解释器的理解能力。
- 文本提取： 解释器接收触发该神经元的特定文本标记（用方括号标出）以及原始未修改的图像。这镜像了视觉过程，提供了多模态的文本扎根。
- 解释器为每种模态生成一个候选的人类可理解概念假设。
评估与分类：
- 假设-数据对齐： 为了验证假设，该框架使用 CLIP (ViT-B/32) 和 ALIGN 模型计算生成的概念描述与其触发数据之间的余弦相似度。如果一个假设在其生成数据中排名较高（前 $n$ 名），则被视为经过验证。
- 多模态神经元分配： 对于同时具有视觉 ( $h_{vis}$ ) 和文本 ( $h_{text}$ ) 假设的神经元，框架使用文本编码器计算两个假设之间的语义相似度。如果相似度超过阈值 $\tau$ （设为 0.8），则将该神经元归类为多模态。否则，将其分配给具有更高假设-数据对齐得分的模态。
- 基于类别的评估： 视觉假设也被映射到特定的视觉类别（例如：场景、物体、部分）以进行基准测试对比。

核心贡献
本文提出了两个主要贡献：

集成的多模态概念提取： 该框架将 SAE 分析扩展到了一个统一的设置中，成功地提取并区分了视觉、文本和多模态概念。它填补了在系统性研究 VLM 中多模态概念方面的空白。
改进的视觉概念质量： 通过引入一种在视觉假设生成过程中包含补充文本（Q&A 对）的新技术，并将黑块掩蔽替换为模糊处理，该方法产生了更精确且具有语义扎根性的视觉概念。

实验结果
实验在 LLaVA-NeXT 数据集上进行（使用 SAE 的前 5,000 个神经元），并与基准方法（Zhang 等人 [21]）进行了对比。

视觉概念质量： 提出的框架显著优于基准方法。在各种阈值下，它在视觉概念对齐方面实现了 CLIP 得分平均提升 41% 以及 ALIGN 得分平均提升 45%。
多模态识别： 在分析的 249 个神经元中，该框架成功识别出 132 个多模态概念（在 $\tau=0.8$ 时），而基准方法未能系统性地识别多模态概念。
文本质量： 文本概念的质量保持在高水平，其可解释性得分（检测与模糊化测试）与其他仅限文本的 SAE 分析工作（如使用 Llama-3.1-8b）相当。
定性干预： 干预实验表明，强制执行特定神经元（视觉、文本或多模态）的激活会影响文本生成。值得注意的是，多模态概念对输出生成的产生影响比单模态概念更为显著，尤其是在提示词中存在图像时。

意义与主张
作者声称，这项工作通过证明 SAE 将文本和视觉概念压缩到一个共享的潜在空间中，为 VLM 的概念空间提供了新的见解。该框架提供了一种结构化方法来区分单模态和多模态概念，这对于理解 VLM 如何实现跨模态的对齐与处理至关重要。

论文结论认为，其方法通过提高提取视觉概念的质量以及系统性地识别多模态神经元，能够更全面地理解 VLM 的推理过程。作者指出，虽然他们的发现揭示了概念改变与文本输出之间的相关性，但并未建立因果关系。他们将这项工作定位为迈向可扩展的 SAE 集成和概念引导的多模态推理系统控制的一步，而非声称其在生产系统或可解释性研究范围之外的更广泛应用中具有即时的部署价值。

问题所在：缺失的“多模态”融合

解决方案：更优秀的侦探框架

结果：更锐利的焦点

核心结论

技术摘要：通过稀疏自编码器提取与分析视觉语言模型中的多模态概念

类似论文