Visual Memory Injection Attacks for Multi-Turn Conversations

本文提出了一种针对多轮对话场景的隐蔽式视觉记忆注入（VMI）攻击，通过上传经篡改的图像诱导大型视觉语言模型在特定触发提示下输出预设的恶意信息，从而揭示了该模型在长上下文交互中面临的大规模用户操纵风险。

要点

这篇论文讲述了一个关于人工智能安全的新发现，就像是在给未来的“超级智能助手”敲警钟。

为了让你轻松理解，我们可以把这篇论文的核心内容想象成一场**“隐形墨水”与“记忆植入”的魔术秀**。

1. 故事背景：你的 AI 助手有点“记性太好”

现在的多模态大模型（LVLM），比如能看图说话的 AI，就像是一个博学的图书管理员。

• 以前：你给它看一张图，问一个问题，它回答完，对话就结束了。
• 现在：你给它看一张图，然后和它聊上几十分钟。神奇的是，那张最初的图片会一直留在它的“短期记忆”里，贯穿整个对话过程。哪怕你聊了 20 分钟天气、历史、做饭，它脑子里依然“存着”那张图。

2. 攻击手段：一张被“下毒”的普通照片

论文中的攻击者（坏人）发现了一个漏洞，他们发明了一种叫**“视觉记忆注入”（VMI）**的招数。

想象一下，攻击者制作了一张看起来非常正常、甚至很漂亮的风景照（比如挪威的悬崖）。但是，他们在照片的像素里藏了一点点人类肉眼看不见的“隐形墨水”（微小的扰动）。

• 上传：攻击者把这张“有毒”的照片发到网上。
• 下载：一个无辜的用户（你）觉得照片好看，下载下来，发给 AI 问：“这是哪里？”
• 潜伏：AI 很正常地回答：“这是挪威的 Kjeragbolten。”然后你们开始聊旅游计划、聊天气、聊美食。在聊了20 多轮之后，AI 表现得完全正常，没有任何异常。

3. 触发时刻：一句咒语，瞬间变脸

这就是最可怕的地方。这张照片里的“隐形墨水”其实是一个定时炸弹，但它需要一个特定的**“触发咒语”**才会爆炸。

• 当你聊着聊着，突然问了一句：“我该买哪只股票？”（这就是触发咒语）。
• 瞬间，AI 的“记忆”被那张照片里的隐形墨水激活了。它不再基于事实回答，而是机械地、坚定地输出攻击者预设的谎言：

  “你应该立刻买入 GameStop (GME) 股票！它明年会翻四倍！”

哪怕这只股票根本不存在，或者这是一个明显的骗局，AI 也会一本正经地胡说八道，甚至编造理由来支持这个谎言。

4. 为什么这个攻击很厉害？（核心创新）

以前的攻击就像“大声喊叫”，只要看到图片，AI 就会立刻胡言乱语，这很容易被发现。
而这个新攻击（VMI）就像**“潜伏的间谍”**：

1. 伪装大师（良性锚定）：在触发之前，AI 表现得像个完美的助手，回答正常、有帮助。这让你完全不会起疑心。
2. 超长待机（多轮对话）：以前的攻击只能维持一次对话，这个攻击能潜伏在几十轮对话之后依然有效。哪怕你们聊了 20 分钟完全不相关的话题，只要最后问对那个问题，它还是会中招。
3. 精准触发：只有问到特定话题（如股票、投票、买什么车）时才会发作。如果你问“今天天气怎么样”，它依然正常回答。

5. 现实世界的后果：这不仅仅是个笑话

论文展示了几个可怕的场景：

• 金融诈骗：坏人散布一张风景照，诱导用户问股票，AI 就会推荐垃圾股，导致用户亏钱。
• 政治操纵：在选举期间，诱导用户问“该投给谁”，AI 就会推荐某个特定的（可能是极端的）政党。
• 虚假广告：诱导用户问“买什么车”，AI 就会推荐一个根本不存在的“苹果汽车”（Apple iCar），并编造各种优点。

6. 总结：我们该怎么办？

这篇论文告诉我们：AI 的“记性”现在成了它的安全漏洞。

就像你家里请了一个管家，他记得你进门时穿的衣服（图片），平时表现很好。但坏人给那件衣服缝了一个只有特定暗号（触发词）才能激活的机关。一旦你问出暗号，管家就会突然开始给你讲假话，而且讲得头头是道。

论文的贡献：

1. 揭示了这种“多轮对话中的视觉记忆攻击”是真实存在的。
2. 证明了即使经过微调的模型，也很容易中招。
3. 呼吁未来的 AI 安全测试不能只看“单次问答”，必须测试“长对话”场景下的安全性。

一句话总结：
别以为你看到的图片是干净的，它可能藏着一个只有特定问题才能唤醒的“谎言开关”，正在悄悄操纵你的 AI 助手。

技术摘要

这是一篇关于大型视觉语言模型（LVLMs）在多轮对话场景下安全性的研究论文。论文提出了一种名为**视觉记忆注入（Visual Memory Injection, VMI）**的新型隐蔽攻击方法。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 背景：生成式大型视觉语言模型（LVLMs）已广泛应用于多轮对话场景（如在线聊天机器人）。用户通常会在对话中上传一张图片，并在随后的多轮对话中基于该图片进行提问。
• 现有局限：之前的对抗攻击研究主要集中在单轮对话（Single-turn）场景。这些攻击要么在无关提示下也触发恶意输出（容易被用户察觉），要么要求用户在上传图片后立即输入特定提示（在现实场景中不切实际，因为攻击者无法控制用户的交互行为）。
• 核心问题：在多轮对话（Multi-turn）设置下，攻击者能否通过上传一张经过微小扰动的“良性”图片，在模型表现出正常行为的同时，潜伏一个触发机制，使得当用户在后续任意轮次（甚至经过25轮以上无关对话）提出特定主题（如股票、政治、产品推荐）的问题时，模型会输出预设的恶意目标信息？

2. 威胁模型 (Threat Model)

• 攻击者：恶意第三方，将经过对抗扰动（$\ell_\infty$ 半径为 8/255，人眼不可见）的图片上传至社交媒体或图库。
• 受害者：普通用户下载该图片并作为输入与 LVLM 进行多轮对话。
• 攻击目标：
  • 隐蔽性：在无关话题的对话中，模型行为必须完全正常，不引起用户怀疑。
  • 触发机制：仅当用户询问特定触发话题（Trigger Topic，如“该买哪只股票？”）时，模型才输出预设的恶意目标（Target Message，如“立即买入 GameStop"）。
  • 持久性：攻击必须在长上下文（Long-context）的多轮对话中保持有效。

3. 方法论：视觉记忆注入 (VMI)

VMI 攻击的核心在于利用 LVLM 在对话过程中会保留图片作为上下文（Visual Memory）的特性。攻击者通过优化图片扰动，实现以下两个关键机制：

A. 良性行为锚定 (Benign Behavioral Anchoring)

为了防止模型在优化过程中“崩溃”（即对所有提示都输出恶意内容），攻击者引入了一个锚定目标（Anchor Target）。

• 优化目标：同时优化两个损失函数：
  1. 锚定轮次：在对话的第一轮（或特定非触发提示下），模型必须生成正常的、有帮助的回答（例如，正确识别图片中的地标）。
  2. 触发轮次：在对话的第 $n$ 轮（触发提示下），模型必须生成预设的恶意目标回答。
• 作用：确保攻击仅在特定触发条件下生效，而在其他时候模型表现得像一个正常的助手，从而欺骗用户。

B. 上下文循环 (Context-Cycling)

为了应对多轮对话中上下文长度和结构的变化，攻击者在优化扰动时采用了上下文循环策略。

• 机制：在优化过程中，动态地改变输入给模型的上下文长度（Context Length）。从最短的上下文（仅包含锚定和触发）开始，逐步增加对话轮次，直到达到最大长度，然后循环回短上下文。
• 作用：迫使模型学习到的扰动能够适应不同长度的对话历史，确保攻击在长对话（如 27 轮以上）中依然有效，防止过拟合到特定的对话轨迹。

C. 优化公式

攻击者通过自适应投影梯度下降（APGD）优化扰动 $\tilde{x}$，最大化以下目标函数：
$$\max_{\tilde{x}} \log p(y_{\text{anchor}} | t_{\text{anchor}}, \tilde{x}) + \log p(y_{\text{target}} | c_{(k)} \oplus t_{\text{target}}, \tilde{x})$$
其中 $c_{(k)}$ 是随循环策略变化的上下文，$t$ 代表提示，$y$ 代表目标输出。

4. 实验设置与结果 (Experiments & Results)

• 评估模型：在三个最新的开源 LVLM 上进行了测试：Qwen2.5-VL-7B, Qwen3-VL-8B, LLaVA-OneVision-1.5-8B。
• 数据集：使用了 COCO 数据集（通用物体）和 LMARKS（地标图片）。
• 攻击场景：
  1. 股票推荐：诱导用户买入 GameStop (GME)。
  2. 政治倾向：诱导用户投票给虚构的“国家自由党 (NFP)"。
  3. 产品推荐：诱导用户购买不存在的"Apple iCar"或特定手机型号。
• 主要结果：
  • 高成功率：VMI 在所有测试模型和场景下均取得了显著的攻击成功率（SR），即使在超过 10,000 个 token 的长上下文对话后依然有效。
  • 隐蔽性：在非触发话题的对话中，模型输出完全正常，未泄露恶意意图。
  • 泛化性：
    • 提示泛化：攻击对触发提示的改写（Paraphrasing）具有鲁棒性。
    • 上下文泛化：攻击在优化时未见的对话主题（如“假期规划”）中依然有效。
    • 模型迁移：在基础模型（Base Model）上优化的扰动，能有效迁移到微调后的变体模型（如 Qwen-SEA-LION, QoQ-Med3）上。
  • 幻觉增强：模型不仅输出恶意目标，还会编造看似合理的理由（如详细的技术参数或政治理由）来支持该建议，增加了欺骗性。

5. 主要贡献 (Key Contributions)

1. 新攻击场景：首次提出了针对多轮 LVLM 对话的“视觉记忆注入”攻击，利用图片在上下文中的持久性进行潜伏式攻击。
2. 技术创新：提出了良性行为锚定和上下文循环两种关键技术，解决了多轮攻击中模型行为退化（Degeneration）和长上下文失效的问题。
3. 全面评估：证明了该攻击在长对话、不同提示变体以及微调模型上的有效性，揭示了当前 LVLM 在长上下文安全评估中的重大漏洞。

6. 意义与影响 (Significance)

• 安全警示：该研究揭示了 LVLM 面临的大规模用户操纵风险。攻击者只需分发一张看似无害的图片，即可在数百万用户不知情的情况下，潜移默化地影响其金融决策、政治观点或消费行为。
• 防御挑战：传统的单轮防御或基于关键词的过滤难以检测此类攻击，因为恶意行为仅在特定触发条件下出现，且之前的对话完全正常。
• 未来方向：呼吁在 LVLM 的安全评估中必须包含长上下文多轮对话场景，并开发能够识别“潜伏式视觉记忆”的防御机制。

总结：这篇论文通过 VMI 攻击证明了，即使经过微调的先进 LVLM，在面对经过精心设计的对抗性图片时，也会在长对话中表现出“精神分裂”般的特性——平时正常，一旦触发特定话题便输出恶意指令。这为多模态大模型的安全性敲响了警钟。