🤖 AI

Dual Adversarial Fine-tuning for Enhancing Robustness of Large Vision Language Model

本文提出了一种双重对抗微调框架，该框架通过共同优化视觉与语义监督信号，在无需修改架构或进行特定任务重训练的情况下，显著增强了大型视觉语言模型抵御对抗攻击的鲁棒性与跨任务泛化能力。

原作者： Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Sibo Wang, Jie Zhang, Shiguang Shan, Xilin Chen, Wen Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机不仅能看到图片，还能真正“理解”它们，就像朋友看着相册聊天一样。这就是大型视觉语言模型（LVLMs）的领域——这些是支撑着能够描述日落、回答图表问题或根据单张图片讲述故事的工具背后的超智能 AI 大脑。为了让这些庞然大物发挥作用，科学家们教会它们将图像与文字联系起来，就像把拼图块精准地匹配到它完美的位置一样。然而，这里隐藏着一个棘手的问题：这些 AI 大脑异常脆弱。正如魔术师会被轻微的干扰所迷惑一样，这些模型也会被“对抗性攻击”所欺骗——这些攻击是图像中看似微小的、肉眼看不见的扰动，在人类看来只是些静电噪声，却能让 AI 完全丧失理智，把狗看成烤面包机，或者把巴士看成长颈鹿。随着我们开始在重要工作中信任这些模型，确保它们不会被数字噪声所戏弄就变得至关重要。

迎来了一支新的研究团队，他们决定阻止 AI 如此轻易地被愚弄。他们意识到，以往试图“增强”这些模型的尝试就像是在训练一名拳击手只去打某一个特定的对手；模型在面对那一场战斗时表现出色，却无法应对其他任何情况。研究人员提出了一种聪明的全新训练营计划，名为双重对抗微调（DAF T）。他们不仅仅是教 AI 去忽略噪声，而是同时教它两门课程。首先，他们向它展示图像的“洁净”版本（真相），以保持其记忆清晰；其次，他们使用关于图像的丰富、具有描述性的故事（标题），而不是像“猫”或“狗”这样简单的标签。这就像不是仅仅教学生记住“苹果”这个词，而是让学生理解苹果的整个概念——它的红色、它的清脆感，以及它是如何摆放在果盘里的——这样即使有人在图片上涂鸦，学生依然知道它是什么。

论文发现，这种双管齐下的方法效果显著。当他们用他们的新方法测试旧方法时，经过 DAFT 训练的模型即使在图像受到不可见噪声攻击时，依然保持冷静和镇定。无论是识别图片的任务（分类）、编写关于图片的句子（描述生成），还是回答棘手的问题（视觉问答），新方法都表现得游刃有余。研究人员展示了，通过用他们新训练的版本替换掉 AI 的“眼睛”，整个系统变得更难被欺骗，而且无需从头重建整个大脑。这有点像给超级英雄一副新的护目镜，在过滤掉坏东西的同时，让好的东西保持清晰可见。

论文的故事

问题： “单项冠军型” AI
大型视觉语言模型（LVLMs）非常神奇。它们可以看着摩天轮的照片并告诉你它是“摩天轮”，或者回答诸如“中间是什么游乐设施？”之类的问题。但这些模型有一个秘密弱点：它们很容易被欺骗。如果你在图片中加入一点点不可见的静电（即“对抗性攻击”），AI 可能会突然认为摩天轮是一辆“巴士”或一只“长颈鹿”。

科学家们以前也尝试过修复这个问题。有些人尝试在向 AI 展示这些带有干扰、噪声的图片时，使用简单的标签（如“猫”或“巴士”）进行训练。但论文指出，这就像是训练一只狗，只有当你说“坐下”且环境安静时它才会坐下；如果你在嘈杂的公园里说，狗就会感到困惑。这些方法在处理简单任务时效果尚可，但在 AI 需要做更难的事情（如写故事或回答复杂问题）时就会失败。其他方法尝试在没有任何标签的情况下教 AI，但它们并没有足够强大到能应对那些极其复杂的攻击。

解决方案：一个两部分的训练营
该论文的作者 Sibo Wang 及其团队提出了一种训练 AI 的新方法，称为 DAFT（双重对抗微调）。他们意识到，要让 AI 真正具备鲁棒性，它需要同时接受两种引导，就像一个学生有两个不同的老师在辅导一样。

“视觉”老师（锚点）： 这部分训练使用 AI 原生“眼睛”（视觉编码器）的一个冻结的原始版本。它充当一个参考指南。当 AI 观察一张带有噪声、具有干扰性的图片时，这位老师会说：“嘿，记得原本的图片是什么样子的吗？不要忘记原始的特征。”这防止了 AI 产生困惑和过拟合（即记住了噪声而非真相）。
“语义”老师（讲述者）： 这是核心创新。这个老师不再使用像“巴士”或“猫”这样简单的标签，而是使用详细描述图像的完整句子或标题。例如，它不再只说“巴士”，而是说“一辆蓝色的巴士行驶在多雨的街道上”。AI 随后被训练去将噪声图片与这种丰富的描述相匹配。这有助于 AI 理解图像的意义和语境，而不仅仅是类别。

神奇之处在于这两位老师是如何协同工作的。“视觉”老师让 AI 扎根于现实，而“语义”老师则教它理解图像的深层含义，即使图片被破坏了也是如此。

结果：更强壮，更聪明
团队在许多不同的任务上测试了他们的方法。他们采用了流行的 AI 模型 LLaVA，并将其原有的“眼睛”替换成了他们经过强化训练的新版本。然后，他们用不可见的噪声对它进行了攻击，以观察会发生什么。

零样本分类（Zero-Shot Classification）： 当被要求识别从未见过的图片中的物体时，DAFT 模型在忽略噪声方面表现得更好。与使用简单标签的旧方法相比，其准确率平均提高了约 12%。
描述生成与问答（Captioning and Q&A）： 这是新方法真正闪耀的地方。当被要求描述一张带噪声的图像或回答问题时，旧模型经常给出荒谬的答案（比如把起重机称为“长颈雀”）。然而，DAFT 模型却能始终正确回答。例如，在一项测试中，当其他模型在受到攻击时无法正确识别“摩天轮”时，DAFT 模型却准确命中了。
权衡（The Trade-off）： 论文指出，有时让模型对攻击变得如此强悍可能会使其在看“洁净”图片时表现略微下降。然而，DAFT 成功地使其在洁净图片上的表现几乎与现有的最佳方法一样好，同时在对抗攻击时却强大得多。

论文排除了哪些可能
作者非常明确地指出了哪些方法是不起作用的。他们认为，仅仅使用类别标签（如“猫”或“巴士”）作为唯一的引导是不够的，因为这会导致过拟合。他们还表明，仅仅使用无监督方法（在没有文本帮助的情况下学习）在面对最先进的攻击时并不够强。他们的实验表明，你确实需要结合视觉接地（visual grounding）和丰富的语义理解才能获得最好的结果。

他们有多确定？
作者在许多不同的数据集（如 Caltech101、COCO 和 VQAv2）以及不同的噪声水平（具体为扰动预算 $\epsilon = 2/255$ 和 $\epsilon = 4/255$ ）下进行了广泛的实验。他们将自己的方法与当前最优秀的方法（如 TeCoA 和 FARE）进行了对比，发现 DAFT 始终优于它们。他们不仅仅是在模拟，他们实际上训练了模型并在真实的各项任务上进行了测试。结果是以实验测量的客观事实呈现的，显示出明显的提升。

底线
这篇论文表明，要让 AI 视觉模型真正安全可靠，我们不能仅仅教它们如何忽略噪声；我们必须教它们理解图像背后的“故事”，同时牢牢抓住视觉事实。通过使用结合了视觉锚点与丰富描述性标题的“双重”方法，研究人员构建了一个更难被欺骗的模型，这为这些强大的 AI 工具的安全性迈出了重要一步。

技术摘要：通过双重对抗微调增强大型视觉语言模型的鲁棒性

问题陈述

大型视觉语言模型（LVLMs），如 LLaVA 和 GPT-4V，已展示出卓越的多模态推理与理解能力。然而，它们在视觉对抗攻击面前表现出固有的脆弱性，即视觉输入中的不可察觉噪声会导致模型生成错误的输出，例如错误的描述或视觉问答（VQA）答案。

现有的防御策略在应用于 LVLM 时面临两个关键局限性：

类别对齐监督中的过拟合与泛化能力差：像 TeCoA 这样依赖固定文本嵌入（如 ImageNet 类别标签）进行监督的方法，虽然在预定义类别内的零样本分类中非常有效，但缺乏处理图像描述（captioning）和 VQA 等复杂任务所需的语义丰富度。因此，其获得的鲁棒性增益往往无法迁移到未见的数据集或多模态任务中。
无监督微调的收益有限：像 FARE 这样通过对齐对抗特征与干净特征来提高泛化能力的无监督方法，主要侧重于最小化特征差异，往往无法防御专门针对 LVLM 图像-文本对齐机制的复杂攻击。

此外，从头开始对大型模型进行对抗训练在计算上是极其昂贵的。因此，挑战在于开发一种对抗微调策略，能够在无需进行全模型重训或单独的任务特定适配的情况下，增强不同下游任务的鲁棒性。

方法论：双重对抗微调 (DAFT)

作者提出了 DAFT，这是一个旨在联合优化视觉和语义监督信号的双重对抗微调框架。该方法专注于微调 LVLM 的视觉编码器（具体为 CLIP 的视觉编码器）。一旦完成微调，这个鲁棒的编码器可以替换原有的编码器，从而在不修改语言模型或重训整个系统的情况下，使 LLaVA 等模型继承对抗韧性。

该框架由两个协同的分支组成：

1. 视觉监督分支

该分支旨在保留预训练模型的泛化能力，并减轻对特定对抗样本的过拟合。

机制：利用冻结的原始视觉编码器 ( $F_{ori}$ ) 从干净图像中提取特征。
目标：训练目标模型 ( $F_\theta$ ) 以最小化对抗样本 ( $x_a$ ) 的特征与由冻结编码器提取的干净图像 ( $x$ ) 特征之间的 $L_2$ 距离。
损失函数： $L_{vis} = ||F_{ori}(x) - F_\theta(x_a)||_2^2$ 。
效果：这确保了目标模型保留了原始基础模型的鲁棒且具泛化性的特征。

2. 语义监督分支

该分支解决了需要丰富的语义对齐以防御针对多模态一致性攻击的需求。

机制：该分支不使用简单的类别标签，而是采用**描述性标题（descriptive captions）**作为语义监督信号。
目标：将对抗样本与其地面真值（ground-truth）描述性标题进行对齐，同时将其推离同一批次内无关的标题。
损失函数：使用三元组损失（triplet loss），其中对抗特征为锚点（anchor），地面真值标题嵌入为正样本 ( $P_o$ )，而“最难”的负样本 ( $N_e$ )——定义为批次中最接近对抗特征的标题——用于最大化间隔。
损失函数： $L_{sem} = \max(\frac{F_\theta(x_a) \cdot T_\phi(N_e)}{||F_\theta(x_a)|| ||T_\phi(N_e)||} - \frac{F_\theta(x_a) \cdot T_\phi(P_o)}{||F_\theta(x_a)|| ||T_\phi(P_o)||} + \alpha, 0)$ 。
效果：这利用了标题中丰富的上下文信息来维持受攻击时的语义连贯性，这对于 VQA 和图像描述等任务至关重要。

优化

最终的目标函数结合了两个分支： $L_{DAFT} = L_{sem} + \gamma L_{vis}$ 。训练过程涉及交替最小-最大优化：

攻击生成：使用投影梯度下降（PGD）通过最大化 $L_{DAFT}$ 来生成对抗样本 $x_a$ 。
参数更新：通过最小化生成的对抗样本上的 $L_{DAFT}$ 来更新视觉编码器的参数 $\theta$ 。

核心贡献

双重监督框架：提出了 DAFT，它通过联合优化视觉和语义监督信号，增强了 LVLM 的跨任务鲁棒性，并缓解了过拟合问题。
标题引导的语义监督：据作者所知，这是第一个将描述性标题（而非类别标签）作为对抗训练语义监督信号的框架。通过利用更丰富的语义信息，该方法显著提升了多模态任务的鲁棒性。
即插即用的鲁棒性：该方法通过简单地替换原始 LVLM 中的 CLIP 视觉编码器即可实现跨任务鲁棒性，无需单独的任务特定重训或架构修改。

实验结果

作者在多个数据集（如 Caltech101, COCO, VQAv2）上，针对扰动预算 $\epsilon = 2/255$ 和 $\epsilon = 4/255$ ，对零样本分类、图像描述和 VQA 任务进行了评估。

零样本分类：DAFT 优于现有最先进方法（TeCoA, PMG-AFT, FARE）。在 $\epsilon = 2/255$ 下，它比类别标签监督方法提高了约 12% 的平均鲁棒准确率，比无监督的 FARE 方法提高了 1.2%，同时保持了相当的干净准确率。
图像描述和 VQA：DAFT 在生成式任务中展示了卓越的鲁棒性。与 FARE（之前的 SOTA 泛化方法）相比，在 $\epsilon = 2/255$ 下，DAFT 将平均 CIDEr 分数提高了 2.3，并将平均 VQA 准确率提高了 1.1%。在更强的攻击（ $\epsilon = 4/255$ ）下，这种提升更为显著。
消融实验：
- 损失组件：同时使用视觉和语义监督可获得最佳结果。仅使用语义监督会导致严重的过拟合，而仅使用视觉监督则无法最大化鲁棒性。
- 监督类型：将描述性标题替换为类别标签会导致零样本分类准确率下降 12.4%，以及 CIDEr 分数下降 15.2 点，验证了基于标题监督的优越性。
- 负采样：选择“最难”的负样本（与对抗特征最相似）至关重要；使用“最易”的负样本会导致几乎为零的鲁棒性提升。
- 超参数：通过设置间隔 $\alpha=0.2$ 和平衡系数 $\gamma=0.5$ 达到了最优性能。

重要性与主张

论文声称 DAFT 解决了当前 LVLM 防御研究中的关键空白，即现有方法要么过拟合于特定的分类类别，要么无法保护复杂的多模态对齐机制。通过在攻击条件下统一视觉和语义对齐，DAFT 提供了一种可扩展的解决方案，可以在无需全模型重训的情况下，增强多种下游任务（分类、描述、VQA）的对抗鲁棒性。作者将这项工作定位为迈向确保 LVLM 在安全敏感应用中即使在视觉输入受到干扰时也能保持一致性能的一步。

作者指出了局限性，包括对基于 CLIP 模型的关注、防御的白盒性质以及对 COCO 数据集的依赖，并建议未来的工作可以探索非 CLIP 架构、黑盒防御和更大的标题数据集。