Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking

本文提出了首个用于视觉语言模型的透明电路追踪框架，通过利用转码器、归因图和注意力机制揭示了模型如何分层整合视觉与语义概念，并验证了这些电路在数学推理和跨模态关联中的因果性与可控性。

要点

这篇论文就像是为黑盒子里的“超级大脑”做了一次X 光透视，让我们第一次看清了人工智能（特别是那些既能看图又能读文的“多模态模型”）到底是怎么思考的。

想象一下，以前的 AI 就像一个神秘的魔术师：你给它一张图和一个问题，它变出一个答案。我们知道它很厉害，但完全不知道它脑子里的“戏法”是怎么变的。这篇论文就是要把魔术师的袖子掀开，看看里面的机关。

以下是用大白话和生动的比喻对这篇论文核心内容的解读：

1. 核心任务：给 AI 画一张“内部电路地图”

以前的研究主要盯着只懂文字的 AI，而这篇论文专门研究既能看又能读的 AI（比如 Gemma-3）。

• 比喻：以前的 AI 像是一个只会听指令的翻译官，现在的 AI 像是一个双语导游。这篇论文就是要把这个导游脑子里的“视觉区”和“语言区”是怎么连线的，画成一张详细的电路图。

2. 他们用了什么“黑科技”？

为了看清这些电路，作者们发明了一套组合拳：

• 翻译官（Transcoders）：

  • 问题：AI 内部的神经元太乱了，一个神经元可能同时代表“猫”、“红色”和“危险”，这叫“多义性”，很难懂。
  • 解决：作者训练了一种叫“翻译官”的小工具。它把那些乱糟糟的信号，拆解成一个个清晰的、单一含义的“小概念”。
  • 比喻：就像把一锅大杂烩（混合了肉、菜、汤）通过一个特殊的滤网，分离成纯肉、纯菜和纯汤。现在我们可以单独研究“肉”是怎么被处理的了。

• 因果追踪器（Attribution Graphs）：

  • 作用：一旦信号被拆解清楚，他们就开始追踪：是哪个“小概念”在起作用？它是怎么一步步传递到最终答案的？
  • 比喻：就像侦探在案发现场画出的线索图。从“看到火星图片”这个起点，到“回答这是红色星球”这个终点，中间经过了哪些房间（神经元），谁推了谁一把。

• 注意力热力图（Attention Maps）：

  • 作用：专门看 AI 在看图片的哪个部分。
  • 比喻：就像给 AI 戴上了一副热成像眼镜，我们能看到它盯着图片的哪里看（是盯着火星的红色，还是盯着旁边的飞船）。

3. 他们发现了什么惊人的秘密？

通过这张“电路图”，作者们发现了一些以前不知道的秘密：

• 秘密一：先分家，后合体

  • 发现：AI 在处理的早期阶段，视觉（看图）和语言（读字）是各干各的，互不干扰。只有到了深层（大脑的后半部分），它们才开始真正融合。
  • 比喻：就像两个来自不同国家的翻译，刚开始各说各的话，最后才坐在一起，把意思融合成一句通顺的话。

• 秘密二：AI 也会“数学幻觉”

  • 发现：当让 AI 做简单的看图算术（比如数手指）时，如果图片里画了 6 根手指，AI 可能会说是 5 根。
  • 原因：这是因为 AI 脑子里的“手”的概念太强了，压过了“数数”的逻辑。它脑子里的电路认为“手”通常就是 5 根，所以强行把第 6 根给“抹掉”了。
  • 比喻：就像你看到一个长得像鸭子的鸟，你的大脑先入为主觉得“这是鸭子”，结果数腿的时候，大脑自动帮你把多出来的腿“忽略”了。

• 秘密三：视觉也能做数学

  • 发现：有些简单的数学题，AI 并不是在脑子里算数字，而是直接在“视觉空间”里算的。
  • 比喻：如果你问"1+2 等于几”，AI 可能不是把"1"和"2"变成数字相加，而是直接在脑海里把"1 个苹果”和"2 个苹果”的图像拼在一起，直接看到了"3 个苹果”的图像。

• 秘密四：火星和航天飞机的“脑补”

  • 发现：当 AI 看到火星的图片时，它脑子里不仅想到了“红色星球”，还自动联想到了“航天飞机”。
  • 比喻：这就像你看到“月亮”，脑子里自动跳出“嫦娥”和“玉兔”。AI 的电路里，这些概念是物理连接在一起的，哪怕你只给它看火星，它也会激活航天飞机的电路。

4. 这个研究有什么用？（不仅能看，还能改！）

最酷的是，作者不仅能看，还能动手改（干预实验）：

• ** steering（转向）**：如果我想让 AI 把“火星”看成“地球”，我可以强行修改它脑子里的电路，把“火星”的信号关掉，把“地球”的信号打开。结果，AI 真的就开始描述地球了！
• Circuit Patching（电路移植）：就像给电脑换零件。如果把 A 模型里处理“数数”的电路，移植到 B 模型里，B 模型突然也会数数了。

总结

这篇论文就像是给 AI 做了一次精密的“人体解剖”。
它告诉我们：AI 不是魔法，它是由无数个小零件（电路）组成的。只要找到了这些零件，我们就能：

1. 解释它为什么犯错（比如为什么数错手指）。
2. 修复它的毛病（通过修补电路）。
3. 控制它的行为（让它更听话、更安全）。

这为未来制造更透明、更可靠、更像人类一样可理解的 AI 打下了坚实的基础。简单来说，以前我们只能猜 AI 在想什么，现在我们可以拿着图纸，看着它怎么想了。

技术摘要

1. 研究背景与问题 (Problem)

• 背景：视觉 - 语言模型（VLMs，如 LLaVA, GPT-4o 等）在视觉问答、图像描述和复杂推理任务中表现卓越，但它们本质上仍是“黑盒”。
• 核心问题：
  • 现有的可解释性研究主要集中在纯文本语言模型（LLMs）上，缺乏对 VLMs 内部机制的系统性理解。
  • VLMs 需要整合统计特性和语义截然不同的视觉与语言模态，其如何绑定视觉特征、实现跨模态推理以及协调注意力机制尚不清楚。
  • 缺乏可解释性使得在医疗、自动驾驶等高 stakes 领域难以诊断错误、消除偏见或确保模型与人类价值观对齐。
• 目标：建立首个针对 VLM 的**电路追踪（Circuit Tracing）**框架，以系统性地分析多模态推理的内在计算机制，揭示视觉与语义概念是如何被分层整合的。

2. 方法论 (Methodology)

该论文提出了一套完整的框架，将自然语言处理中的可解释性技术（如转码器、归因图）扩展到多模态领域。主要包含以下三个核心组件：

2.1 转码器 (Transcoders)

• 目的：将 VLM 中 MLP 层的激活值分解为可解释的、单语义（monosemantic）的特征。
• 实现：
  • 在 VLM 的每一层 MLP 中插入并训练一个转码器（由编码器和解码器组成）。
  • 使用 Top-K 稀疏化策略（而非 L1 惩罚）来确保特征的稀疏性，仅保留前 $k$ 个最大激活值。
  • 训练目标是最小化重构误差（FVU），同时保留原始 MLP 的计算行为。
  • 残差追踪：由于转码器是近似替代，模型会显式追踪重构残差 $e(x) = MLP(x) - TC(x)$，并将其作为电路图中的独立误差节点，以处理近似误差。

2.2 归因图 (Attribution Graphs)

• 目的：捕捉特征之间的因果关系，构建从输入到输出的计算图。
• 实现：
  • 基于 Lindsey 等人提出的方法，针对 VLM 进行适配。
  • 将模型在特定提示词（Prompt）下的行为局部线性化（冻结非线性层，如 ReLU 和 Attention Softmax）。
  • 计算源节点（Token 嵌入、激活的转码器特征）到目标节点（上层激活或输出 Logits）的归因值 $A_{s \to t}$。
  • 构建有向图 $G=(V, E)$，其中节点包括 Token、特征和 Logits，边权重为归因值。通过剪枝（忽略微小归因）生成稀疏、可解释的图。

2.3 特征解释与注意力分析

• 特征激活分析：收集激活特定特征的前 $k$ 个图像 - 文本对，分析其共性（如激活频率、幅度、位置分布）。
• 视觉注意力图 (Vision Encoder Attention)：
  • 针对 SigLIP 视觉编码器，计算注意力展开图（Attention Rollout Maps）。
  • 通过聚合最后 $K$ 层中熵最低的注意力头，生成热力图，可视化模型在视觉塔中关注的图像区域，解决图像 Token 激活不可解释的问题。

2.4 电路发现与干预 (Circuit Discovery & Intervention)

• 电路发现：结合归因图和人类专家标注，将具有相似功能的特征聚合成节点，构建简化的计算子图（电路）。
• 干预实验：
  • 特征导向 (Steering)：修改特定特征的激活值，观察对输出的影响。
  • 电路修补 (Circuit Patching)：将一个电路中的特征激活模式（Patch）移植到另一个电路中，验证其因果性（例如，将“火星”电路中的地球特征激活，看模型是否产生地球相关的输出）。

3. 关键贡献 (Key Contributions)

1. 首个 VLM 电路追踪框架：首次将转码器和归因图技术成功应用于视觉 - 语言模型，实现了从视觉输入到推理输出的端到端电路追踪。
2. 多模态推理的因果机制揭示：
   • 证明了发现的电路具有因果性（通过干预实验验证）。
   • 揭示了视觉特征电路如何独立处理数学推理并支持跨模态关联。
3. 新工具与资源：开源了代码和模型，提供了分析 VLM 内部机制的新工具（如针对 Gemma-3 的转码器训练和归因图生成）。

4. 主要发现与结果 (Key Results & Empirical Findings)

通过对 Gemma-3-4B-it 模型的实验，研究得出了以下核心洞察：

• 视觉与语义概念的分层整合 (Hierarchical Integration)：
  • 早期层主要处理模态特定的信息（如纹理、边缘）。
  • 高层（约第 20 层之后）：出现了同时编码视觉和语义概念的特征。这支持了“跨模态关联随深度逐渐组装”的假设。
• 视觉空间中的数学推理：
  • 对于图像算术（如 $1+2$），模型部分在视觉空间内进行计算。中间层存在对应结果数字（如"3"）的视觉特征，且这些特征在不同上下文中被激活。
• 幻觉的成因分析 (Six-Finger Problem)：
  • 针对“六指”幻觉案例，研究发现幻觉并非单一故障，而是感知偏差与内部电路动力学相互作用的结果。
  • 视觉编码器生成的嵌入过度强调通用的“手”语义，内部电路进一步放大了这些特征，导致数字"6"的视觉特征被抑制，而“五”的电路被过度激活。
• 独立的视觉潜在空间：
  • VLM 的语言模型组件保留了独特的视觉表示空间。视觉上相似的对象（如海獭、海豹、河狸）即使在语义类别不同，也会聚类并共同激活。
  • 发现了并行路径：视觉关联（如看到火星联想到“航天飞机”）在高层独立于语义存在，最终在最后一层合并为统一的多模态表示。
• 干预验证：
  • 通过电路修补实验（例如在火星电路中激活地球特征），成功改变了模型的输出，证明了这些电路是可控且因果相关的。

5. 意义与局限性 (Significance & Limitations)

意义

• 科学价值：首次打开了 VLM 的“黑盒”，揭示了多模态思维的内部算法，为理解视觉与语言如何交互提供了科学依据。
• 工程应用：为调试模型、缓解幻觉（Hallucination）、消除偏见以及设计更可靠、可解释的 AI 系统提供了实用工具。
• 可控性：证明了通过操纵内部电路可以精确控制模型行为，为未来的模型微调和安全对齐提供了新思路。

局限性

• 视觉注意力图的可读性：有时难以精确定位相关区域，限制了特征标注的效用。
• 跨层超位置 (Cross-layer Superposition)：当前使用逐层转码器，可能无法完全捕捉跨层的特征超位置现象（图像嵌入密度高，导致特征重复）。
• 计算成本：电路发现目前高度依赖人工标注，自动化程度低，计算开销大。
• 模型通用性：目前仅在 Gemma-3 上验证，其 SigLIP 编码器和双向注意力机制可能带来特殊性，需在其他 VLM 上验证。

总结

这篇论文是 VLM 可解释性领域的开创性工作。它通过引入转码器和归因图，成功构建了 VLM 的电路追踪框架，不仅揭示了多模态推理的分层整合机制和视觉空间计算特性，还通过干预实验证明了这些机制的因果性。这项工作为构建更透明、可控和安全的下一代多模态 AI 奠定了坚实基础。