💬 NLP

Towards Robustness against Typographic Attack with Training-free Concept Localization

本文提出了一种新颖的、无需训练的机械可解释性方法，该方法能够识别并干预负责编码词汇信息的特定视觉 Transformer 电路，从而在无需额外训练的情况下，显著增强基于 CLIP 的大规模视觉语言模型针对排版攻击的鲁棒性。

原作者： Bohan Liu, Wenqian Ye, Guangzhi Xiong, Zhenghao He, Sanchit Sinha, Aidong Zhang

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Bohan Liu, Wenqian Ye, Guangzhi Xiong, Zhenghao He, Sanchit Sinha, Aidong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题所在：猫身上的“鹅”

想象一下，你有一个非常聪明的保安（一个被称为 CLIP 的计算机模型），他的工作是观察图片并告诉你它们是什么。如果你给他看一张猫的照片，它会说“猫”。

然而，这个保安有一个奇怪的盲点。如果有人用记号笔在猫的脸上写下大大的 “GOOSE”（鹅）这个词，保安就会感到困惑。他不再看到猫，而是突然认为：“噢，那是一只鹅！”

这被称为**“排版攻击”（Typographic Attack）**。这个保安太擅长阅读文字了，以至于他忽略了实际的图像。这在现实生活中是非常危险的（例如对于自动驾驶汽车），如果一个“停止”标志被涂在了“限速30”标志之上，可能会让汽车误以为可以加速行驶，从而导致车祸。

解决方案：一位“无需训练”的侦探

本文作者的目标是修复这个问题，而无需重新教导这个保安（那需要耗费大量的时间和数据）。相反，他们扮演了机械侦探的角色。他们并没有试图改变保安的性格；他们只是窥视其大脑内部，观察混乱究竟发生在何处，然后调低了那个特定部分的音量。

他们称之为**“无需训练的概念定位”（Training-free Concept Localization）**。

他们是如何做到的：“随机彩票”

为了找到问题所在，作者利用了模型大脑构建方式的一个巧妙技巧。

大脑结构： 该模型使用一种称为**多头自注意力机制（Multi-Head Self-Attention）**的系统。你可以把它想象成一个由 12 个不同侦探（称为“头”）组成的团队，他们在处理同一个案件。每个侦探都从略微不同的角度观察图片。
问题所在： 其中一些侦探对文字非常痴迷。当他们看到“GOOSE”这个词时，他们会大喊：“这是一只鹅！”声音大到让其他正在观察毛发和胡须的侦探无法被听到。
彩票券： 通常，要找出哪个侦探对文字痴迷，你需要训练他们数周。作者意识到他们可以跳过训练。他们把搜索过程看作一场彩票抽奖。
- 他们向模型的脑部投掷了数千个随机的“概念飞镖”（随机向量）。
- 大多数飞镖都落空了。但偶尔，一个飞镖会击中大脑中一个特定的“插槽”，而当模型看到文本时，这个插槽就会亮起。
- 由于模型的脑部结构是特定的，他们不需要投掷数百万个飞镖。他们只需要在正确的“房间”（大脑的一个较小部分）里投掷足够的飞镖，就能找到那张中奖的彩票。

修复方法：让嘈杂的侦探闭嘴

一旦找到了那些对文字痴迷的特定“侦探”（注意力头），他们并没有解雇他们，而只是将他们静音。

对于简单的图像分类： 他们调节了那些特定侦探的音量旋钮，让他们无法叫得那么大声。这样，其他观察实际情况（看到真正的猫）的侦探终于能被听到了。
对于复杂的 AI（LVLMs）： 他们直接完全关闭了这些特定的侦探（零消融/zero ablation），使他们无法干扰答案。

结果：一位更聪明的保安

作者在许多不同的模型上测试了这种方法，从小型模型到庞大的模型。

修复前： 如果你给它看一张上面写着“GOOSE”的猫的照片，模型经常会被迷惑。
修复后： 模型忽略了“GOOSE”这个词，并正确识别出了猫。
速度与成本： 最棒的部分是，这种修复是瞬间完成的。他们不需要重新训练模型，也不需要额外的训练数据。这就像是在机器中发现了一根松动的电线并用胶带把它粘好，而不是重建整台机器。

为什么这很重要

作者证明了这种方法不仅适用于简单的图像识别，也适用于大型视觉语言模型（LVLMs）——即那些能够观察图片并回答问题的精巧 AI 聊天机器人。

当他们将这种“静音侦探”的修复方法应用于这些聊天机器人时，这些机器人回答有关图像的问题变得更加出色，即使图像中有干扰性的文字。它们终于可以观察图片并说：“那是一只猫”，而不是被上面写的“鹅”字所分心。

简而言之： 这篇论文找到了一种方法，可以窥视 AI 模型内部，识别出那些会被文字欺骗的部分，并让它们保持沉默，从而在无需重新训练的情况下，让 AI 变得更加安全和可靠。

技术摘要：面向鲁棒性的无训练概念定位研究——对抗排版攻击

问题陈述
对比语言-图像预训练（CLIP）模型是现代大型视觉语言模型（LVLM）的基础视觉编码器。尽管这些模型得到了广泛应用，但它们表现出一种被称为**排版攻击（Typographic Attack, TA）**的关键脆弱性。在这种场景下，叠加在图像上的无关文本（例如，在猫的图像上显示“鹅”这个词）会导致模型根据词汇内容而非真实的视觉语义进行错误分类。这种失效模式源于一种“特征纠缠”，即视觉 Transformer（ViT）编码器无法有效地将视觉特征与词汇形状所编码的语义解耦。现有的防御方法通常依赖于监督训练或黑盒干预，缺乏可解释性，且未能解决该脆弱性的底层机制根源。

方法论
作者提出了一种无需训练的、基于机械可解释性的方法，用于定位并缓解 ViT 架构中的 TA 脆弱性。该方法基于线性表示假设和彩票假设，通过以下三个主要阶段运行：

随机概念挖掘（Stochastic Concept Mining）：
该方法并未采用昂贵的参数化字典学习，而是利用多头自注意力（MHSA）头在低维子空间内的随机采样。通过从高斯分布中采样随机向量（ $u$ ），该方法将概念发现视为一次“随机彩票”。理论分析表明，在 $d_{head}$ 子空间（而非全局 $d_{model}$ ）中进行操作可以显著减少多语义干扰，从而增加找到“中奖彩票”的概率——即能忠实对齐特定词汇概念的样本。
基于梯度的归因与电路挖掘（Gradient-Based Attribution and Circuit Mining）：
该方法使用**文本归因分数（Text Attribution Score, TAS）**来量化单个注意力头的“词汇聚焦”程度。它计算了投影概念强度对 pre-softmax 注意力逻辑值（logits）的偏导数。该归因图综合考虑了注意力激活（ $A_{i,j}$ ）以及补丁（patch）的边际效用（ $V_j(u) - F_i(u)$ ）。通过在无标签数据集上进行聚合，该方法能够识别出不成比例地编码对抗性文本信息的特定注意力头和电路。
机械干预（Mechanistic Intervention）：
一旦识别出脆弱的“排版读取电路”，该方法会在不进行重训的情况下应用测试时干预：
- 注意力重加权（Attention Reweighting）： 对于具有 <cls> 标记的模型，抑制 <cls> 标记到包含文本的补丁的注意力权重（将其重加权为零），迫使模型依赖视觉补丁。
- 零消融（Zero Ablation）： 对于缺乏专用 <cls> 标记的 LVLM，将识别出的脆弱模块的输出替换为零向量，从而有效地从处理流中移除词汇干扰。

核心贡献

基于采样的概念挖掘： 一种新颖的、无需训练的随机采样方法，利用 MHSA 模块的自然分解特性，在无需参数化字典学习的情况下提高概念命中率。
脆弱性解释： 一种基于梯度的归因机制，通过联合分析注意力头的“聚焦”与概念的“方向”，生成一致性识别词汇聚焦模块的归一化分数（nTAS）。
机械干预： 证明了简单的、无需优化的干预（重加权或消融）可以在识别出的电路上显著提升模型在物体分类和视觉问答（VQA）任务中对抗 TA 的鲁棒性。

实验结果
该方法在五种 CLIP ViT 变体（范围从 ViT-B/16 到 ViT-bigG/14）和多种前沿 LVLM（Qwen3-VL, InternVL3.5, Gemma3）上进行了评估。

物体分类： 在 RTA-100、Disentangling 和 PAINT 等数据集上，干预显著提高了物体分类准确率（OCA），同时大幅降低了文本混淆率（TCR）。例如，在 Vi-H/14 上，RTA-100 的 OCA 提升了 +22.8%，而 TCR 下降了 27.6%。该方法优于监督基准线（Defense-Prefix）和其他无需训练的方法（Dyslexify）。
LVLM 鲁棒性： 在 RIO-Bench 数据集上应用于 LVLM 时，在排版攻击干扰下，该干预提升了多个模型规模的 VQA 准确率（例如 Qwen3-VL-8B 提升了 +1.58%），且对洁净图像性能的影响微乎其微（<1%）。
效率： 电路提取过程极其快速（在单张 A100 上提取所有骨干网络的时间不足一分钟），且仅需极小比例（0.1%）的训练数据集进行阈值校准。

意义与主张
论文声称，其方法通过精准定位 Transformer 架构内脆弱性的确切机械来源，为 TA 鲁棒性提供了一个忠实且可解释的解决方案。不同于黑盒防御，该方法在特定注意力头与词汇误分类之间建立了清晰的因果联系。作者断言，其工作推进了 VLM 鲁棒性的机械化解决方案的前沿，证明了无需训练的、电路级的干预可以有效地将视觉语义与词汇干扰解耦，从而增强自动驾驶等关键应用的安全性。实验结果证实了这种机械化方法在不同模型规模和架构下的有效性和泛化能力。