💬 NLP

Pay Less Attention to Function Words for Free Robustness of Vision-Language Models

该论文提出了一种名为“功能词去注意力”（FDA）的方法，通过差分减去功能词的交叉注意力来缓解视觉语言模型在跨模态对抗攻击中的脆弱性，从而在几乎不牺牲甚至提升性能的前提下显著降低攻击成功率。

原作者： Qiwei Tian, Chenhao Lin, Zhengyu Zhao, Chao Shen

发布于 2026-04-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Qiwei Tian, Chenhao Lin, Zhengyu Zhao, Chao Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让“看图说话”的人工智能（视觉语言模型，VLM）变得更聪明、更抗揍的新方法。我们可以把它想象成给 AI 戴上了一副“防干扰眼镜”。

下面我用几个生活中的比喻来解释这项研究的核心内容：

1. 问题：AI 为什么会被“坏蛋”骗？

想象一下，你让一个 AI 看一张猫的照片，并问它：“这是什么动物？”
正常情况下，AI 会看猫的眼睛、胡须和尾巴，然后自信地回答“猫”。

但是，现在的 AI 有一个弱点：它太容易分心了。

坏蛋的攻击：黑客可以在照片上加一点点肉眼看不见的噪点（就像在照片上撒了一层极细的灰尘）。
AI 的误判：这层灰尘会让 AI 的注意力跑偏。它不再看猫，而是盯着照片里那些毫无意义的虚词（比如“的”、“了”、“是”、“在”）。
结果：AI 看着猫的照片，却因为被这些虚词“带节奏”，错误地回答“这是一只狗”或者“这是一辆汽车”。

论文发现：AI 之所以这么容易被骗，是因为它太关注那些功能词（Function Words，如“的”、“是”、“和”）。这些词就像文章里的“路标”或“连接词”，本身没有太多实际意义，但在 AI 眼里，它们反而成了黑客最容易利用的“后门”。

2. 解决方案：FDA（功能词“去”注意力）

为了解决这个问题，作者提出了一种叫 FDA (Function-word De-Attention) 的方法。

通俗比喻：给 AI 做“大扫除”
想象你在教一个学生（AI）看图说话。

以前的做法：学生看照片时，既看猫，又看照片角落里的“的”、“了”这些字。黑客只要在这些字旁边动点手脚，学生就晕了。
FDA 的做法：
1. 正常看：先让学生正常看一遍，记下所有注意力（包括猫和那些虚词）。
2. 专门看虚词：再让学生专门盯着那些“的”、“了”看一遍，看看它们把注意力引向了哪里（通常是一些错误的地方）。
3. 做减法：最后，把“专门看虚词”得到的注意力，从“正常看”的注意力里减掉。

这就好比：
你在听一个人说话，但他嘴里一直夹杂着很多“那个”、“嗯”、“啊”这种废话。

普通听众：会被这些废话干扰，听不清重点。
FDA 听众：大脑里有个过滤器，自动把这些“嗯啊”的声音抵消掉，只留下真正有内容的“猫”、“狗”、“车”等实词。

3. 效果：既强壮又聪明

这项方法最厉害的地方在于，它不需要重新训练 AI，也不需要牺牲 AI 的正常能力。

抗揍（鲁棒性）：
- 在检索任务（比如搜图）中，面对黑客攻击，AI 被骗的概率（攻击成功率）平均降低了 18% 到 53%。
- 在视觉定位任务（比如让 AI 指出猫在哪里）中，效果更惊人，被骗的概率直接降低了 90%！几乎让黑客的攻击失效了。
不笨（保持性能）：
- 通常，让 AI 变强壮（防攻击）会让它变笨（正常表现下降）。但 FDA 就像是一个“免费午餐”，它在让 AI 变强的同时，几乎不降低它正常看图说话的能力，甚至在某些情况下还变好了。

4. 总结：为什么这很重要？

这就好比你给家里的智能门锁装了一个智能防撬装置。

以前：小偷只要稍微撬一下门缝（加一点噪点），门就开了。
现在：你发现小偷总是喜欢撬门把手旁边的装饰条（功能词）。于是你把这个装饰条拆掉或者加固（FDA 减去功能词的注意力）。
结果：小偷进不来了（防御成功），而且门开关依然顺滑（正常性能没变）。

一句话总结：
这篇论文告诉我们要让 AI 更聪明，有时候少关注一点“废话”（功能词），多关注一点“干货”（实词），不仅能防住黑客，还能让 AI 看得更准。这是一种简单、免费且极其有效的“防身术”。

这是一份关于论文《PAY LESS ATTENTION TO FUNCTION WORDS FOR FREE ROBUSTNESS OF VISION-LANGUAGE MODELS》（通过减少对功能词的关注实现视觉语言模型的免费鲁棒性）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题： 视觉语言模型（VLMs）在面临跨模态对抗攻击（Adversarial Attacks）时表现出脆弱性。现有的防御方法（如对抗训练）虽然能提升鲁棒性，但通常伴随着显著的性能下降（Clean Performance Drop）和巨大的计算成本。

关键发现：

功能词的脆弱性： 作者观察到，功能词（Function Words，如冠词、介词、助动词等）虽然携带较少的语义信息，但在 VLM 的注意力机制中，它们往往成为对抗攻击的“突破口”。
攻击机理： 由于干净图像与目标文本之间存在固有的语义差距，跨模态扰动倾向于引导模型关注语义差距较小的 Token。功能词由于频率高且语义模糊，比内容词（如名词、动词）更容易被攻击者利用，导致模型在对抗样本下产生错误的跨模态对齐。
现有局限： 直接移除功能词会破坏上下文完整性，导致性能大幅下降；而现有的对抗训练方法难以在保持高性能的同时获得高鲁棒性。

2. 方法论 (Methodology)

作者提出了功能词去注意力机制（Function-word De-Attention, FDA），这是一种受微分变压器（Differential Transformers）启发的轻量级防御方法。

核心思想：
不直接移除功能词，而是通过“差分减法”在注意力计算过程中，显式地识别并减去由功能词引起的“干扰（Distractions）”，从而让模型更专注于具有实质语义的内容。

具体步骤：

并行提取功能词特征： 在融合编码器（Fusion Encoder）中，除了正常的文本 - 图像交叉注意力计算外，增加一个并行管道。该管道专门提取输入文本中所有功能词（通过停用词字典掩码，排除 [CLS] 等）的特征 $F_{Tf}$ 。
计算功能词注意力（干扰项）： 计算功能词特征 $F_{Tf}$ 与图像特征 $F_V$ 之间的交叉注意力分数 $S_{Tf}$ 。这代表了模型被功能词“误导”的程度。
Softmax 聚焦误导项： 分别在视觉 Token 和文本 Token 维度对 $S_{Tf}$ 进行 Softmax 操作，突出显示那些被功能词错误激活的视觉区域或最具误导性的文本 Token。
差分减法（De-Attention）： 将计算出的“功能词注意力干扰”从原始的交叉注意力分数中减去。
- 公式逻辑： $\hat{Att} = \min(Att - G \cdot \tilde{Att}_t, Att - G \cdot \tilde{Att}_v)$
- 其中 $G$ 是控制减法强度的门控。
- 最终输出是经过“去噪”后的注意力分数，用于后续的特征融合。

实现特点：

即插即用： 不需要重新训练整个模型架构，只需在微调（Fine-tuning）阶段并行计算并减去干扰项。
层与头选择： 实验表明，在较浅的层（Early Layers）和前半部分的注意力头（Heads 0-5）实施 FDA 效果最佳，既能去除干扰又不会破坏深层的上下文完整性。

3. 主要贡献 (Key Contributions)

新视角的防御机制： 首次从“功能词是脆弱性来源”的角度出发，提出了 FDA 方法，实现了“免费”的鲁棒性提升（即在不牺牲甚至提升干净数据性能的前提下增强鲁棒性）。
广泛的实验验证： 在 3 个主流模型（ALBEF, TCL, BLIP）、2 个下游任务（图文检索、视觉定位）、3 个数据集（Flickr30k, COCO, RefCOCO+）以及 6 种不同的对抗攻击（包括白盒 PGD, APGD 和自适应 MAPGD）下进行了全面评估。
性能与鲁棒性的双重提升：
- 在检索任务上，平均攻击成功率（ASR）下降了 18%/13%/53%（针对不同模型），而干净数据的性能下降仅为 0.2%/0.3%/0.6%。
- 在视觉定位（Visual Grounding）任务上，ASR 下降了 90%，且干净数据的性能甚至有所提升（+0.3%）。
零样本（Zero-shot）泛化能力： 证明了 FDA 不仅能提升微调模型的鲁棒性，还能作为即插即用工具提升模型的零样本性能。
深入分析： 通过消融实验和可视化（T-SNE 和注意力图），证实了 FDA 能够收紧跨模态嵌入的对齐，减少对抗噪声带来的分布偏移。

4. 实验结果 (Results)

对抗攻击防御：
- 检索任务 (Retrieval)： 在 Flickr30k 和 COCO 数据集上，FDA 在 ALBEF、TCL 和 BLIP 模型上均表现最佳。例如，在 BLIP 模型上，FDA 将平均 ASR 降低了 50% 以上，而 TeCoA 和 FARE 等基线方法在强攻击下（ $\epsilon=4/255$ ）往往失效或性能大幅下降。
- 视觉定位任务 (Grounding)： FDA 实现了近乎完美的防御，ASR 降低超过 90%，且干净准确率高于原始模型。
与基线对比： 相比于 TeCoA 和 FARE（SOTA 对抗微调方法），FDA 在保持甚至提升干净性能的同时，提供了更强的鲁棒性。基线方法通常会导致 3%-9% 的干净性能下降。
自适应攻击： 即使面对针对功能词掩码的自适应攻击（MAPGD），FDA 依然保持领先优势。
可扩展性： 随着模型规模增大（从 14M 预训练图像的 ALBEF 到 124M 的 BLIP），FDA 带来的鲁棒性提升更加显著（BLIP 上提升约 54%）。

5. 意义与影响 (Significance)

理论洞察： 揭示了 VLM 中功能词在跨模态对齐中的潜在脆弱性，挑战了“所有 Token 同等重要”的假设，指出功能词可能是对抗攻击的“阿喀琉斯之踵”。
高效防御： 提供了一种计算成本极低（仅增加并行计算和减法操作）且无需大规模对抗训练的防御方案，解决了鲁棒性与性能之间的权衡难题（Trade-off）。
通用性： 该方法不依赖特定的模型架构（只要包含融合编码器），具有广泛的适用性，为未来构建更安全的 VLM 提供了新的设计思路。
开源贡献： 作者公开了代码和精简的功能词字典，促进了社区对该方向的进一步研究。

总结： 这篇论文通过一种巧妙的“做减法”策略（减去功能词的干扰注意力），成功解决了 VLM 对抗鲁棒性差且难以兼顾性能的问题，为构建安全可靠的视觉语言模型提供了极具价值的解决方案。