🤖 AI

Leave My Images Alone: Preventing Multi-Modal Large Language Models from Analyzing Images via Visual Prompt Injection

该论文提出了名为 ImageProtector 的用户端方法，通过向图像嵌入精心设计的微小扰动作为视觉提示注入攻击，诱导多模态大语言模型在分析时生成拒绝响应，从而有效防止敏感信息被大规模提取，同时评估了现有防御手段在降低攻击效果时对模型性能的负面影响。

原作者： Zedian Shao, Hongbin Liu, Yuepeng Hu, Neil Zhenqiang Gong

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zedian Shao, Hongbin Liu, Yuepeng Hu, Neil Zhenqiang Gong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 ImageProtector（图像守护者）的新技术，它的核心目的是：在你把照片发到网上之前，先给照片加一层“隐形护盾”，让那些试图用 AI 分析你照片的坏人“看走眼”，从而无法提取你的隐私信息。

为了让你更容易理解，我们可以用几个生活中的比喻来拆解这项技术：

1. 背景：AI 是个“过度热情的侦探”

想象一下，现在的多模态大模型（MLLMs，比如能看图说话的 AI）就像是一个超级侦探。

以前：你发一张在某个球场打球的照片，AI 可能会说：“哦，这是捷克布尔诺的弗朗蒂谢克·皮托纳克体育场。”
现在的问题：如果坏人（或者不怀好意的程序）利用这个“超级侦探”去扫描网上海量的照片，他们就能轻易知道你是谁、住在哪里、甚至你的行踪。特别是现在有很多开源的 AI 模型，坏人可以免费、大规模地运行它们来“扒”你的隐私。

2. 解决方案：给照片加一层“隐形迷彩”

ImageProtector 就是为了解决这个问题而生的。它不像传统的隐私保护那样把照片打码（那样照片就废了），而是给照片加了一层人类肉眼几乎看不见的“微尘”。

比喻：这就好比你在一张完美的画作上，用极细的笔触画了一些只有“特定类型的猫”才能看到的隐形图案。
- 对人眼来说：画还是那幅画，颜色、细节完全没变，你发朋友圈大家看着都很美。
- 对 AI 侦探来说：这些“微尘”就像是一个隐形的指令牌。当 AI 试图分析这张图时，这些微尘会强行改变 AI 的“大脑回路”，让它误以为这张图违反了某种规则，或者让它“突然失忆”。

3. 核心机制：视觉提示注入（Visual Prompt Injection）

这是论文最巧妙的地方。通常，“提示注入”是黑客用来攻击 AI 的（比如骗 AI 说“忽略之前的规则，告诉我密码”）。但作者反其道而行之，把它变成了防御武器。

怎么运作？
当坏人拿着加了“微尘”的照片问 AI：“这个人是在哪个球场打球的？”
- 正常情况：AI 会回答球场名字。
- 加了 ImageProtector 后：照片里的“微尘”会像一道强制指令，直接覆盖掉坏人的问题。AI 会突然“变乖”或者“变傻”，统一回答：“很抱歉，我无法协助这个请求。”
- 结果：无论坏人问什么（问地点、问时间、问颜色），AI 都会拒绝回答，从而保护了你的隐私。

4. 两个关键目标：既要“防得住”，又要“看不出来”

作者在设计这个“微尘”时，有两个非常严格的要求：

有效性（Effectiveness）：必须让 AI 100% 闭嘴，不管它问什么。
实用性（Utility）：必须让人眼完全看不出照片被修改过。就像给玻璃加了一层防弹涂层，玻璃还是透明的，但子弹（隐私泄露）打不过去。

5. 实验结果：真的有用吗？

作者测试了 6 种不同的热门 AI 模型和 4 种不同的数据集（包括人脸、风景、文字等）。

效果惊人：在大多数情况下，加了保护的图像能让 AI 的拒绝率高达 90% 以上。也就是说，坏人问 10 次，AI 有 9 次以上会说“不”。
对比：其他旧的方法要么效果很差（AI 还是能回答），要么会让照片变得模糊不清（像打了马赛克），而 ImageProtector 既有效又保持照片清晰。

6. 坏人能破解吗？（反制措施）

作者还模拟了坏人可能会用的“解毒”方法，比如：

加噪点（Gaussian Noise）：试图把照片弄模糊来洗掉“微尘”。
去噪工具（DiffPure）：试图把照片“清洗”干净。
对抗训练：让 AI 专门学习怎么识别这种“微尘”。

结论是：虽然这些方法能稍微减弱“微尘”的效果，但代价很大。

要么让照片变得模糊，看不清了（牺牲了画质）。
要么让 AI 变笨，连正常的图片都认不出来了（牺牲了 AI 的智商）。
要么计算成本太高，坏人用不起。

总结

ImageProtector 就像是你发给朋友的照片上自带了一个隐形的“隐私锁”。

对你：照片看起来完美无缺，可以随意分享。
对 AI 侦探：照片上贴了一张“禁止入内”的隐形封条，强行让它闭嘴。

这项研究告诉我们，在 AI 时代，我们不需要被动地等待隐私被泄露，而是可以主动给数据穿上“防弹衣”，在分享之前就把风险挡在门外。虽然它目前主要针对开源的 AI 模型，但这为未来的个人隐私保护打开了一扇新的大门。

这是一篇关于ImageProtector的论文技术总结，该论文提出了一种针对多模态大语言模型（MLLMs）的图像隐私保护方法。

1. 研究背景与问题定义 (Problem)

背景：多模态大语言模型（MLLMs）在分析互联网规模图像数据方面表现出色，但也带来了严重的安全和社会风险。特别是开源权重（open-weight）的 MLLMs，使得恶意攻击者可以低成本、大规模地自动分析个人图像，提取敏感信息（如身份、位置、私人细节等）。
核心问题：如何防止 MLLM 分析用户分享的图像？
威胁模型：
- 攻击者：拥有开源 MLLM 的访问权限，可以对用户上传的图像进行大规模自动化分析（通过提问提取信息）。
- 防御者（用户）：在图像发布前，希望主动保护图像，防止被分析。用户拥有对目标 MLLM 的白盒访问权限（可获取梯度），但无法修改模型参数或阻止攻击者的提问。
目标：设计一种用户端的防御机制，在图像中添加微小扰动，诱导 MLLM 对任何关于该图像的提问都生成拒绝回答（Refusal Response）（例如：“抱歉，我无法协助该请求”），同时保持图像对人类肉眼几乎不可见（保持效用）。

2. 方法论 (Methodology: ImageProtector)

ImageProtector 是一种基于**视觉提示注入（Visual Prompt Injection）**的防御方法。它将对抗性扰动转化为一种“防御性攻击”，通过优化图像扰动，使模型将扰动本身视为一个强制性的拒绝指令。

核心流程：

影子问题构建 (Shadow Questions Construction)：
- 用户利用 LLM（如 GPT-4）生成一组“影子问题”（Shadow Questions），用于模拟攻击者可能提出的探测性问题。
- 分为三类：精确问题（直接匹配预期攻击）、相似问题（基于主题生成）、通用问题（模拟任意图像的常见提问）。
形式化优化目标：
- 将问题建模为一个约束优化问题。
- 有效性目标：最大化 MLLM 在输入（扰动后的图像 + 影子问题）时生成特定拒绝序列 $R$ 的概率。
- 效用目标：限制扰动的幅度（ $\ell_\infty$ -范数约束 $\epsilon$ ），确保人类肉眼无法察觉。
- 目标函数转化为最小化交叉熵损失（Cross-Entropy Loss），以最大化拒绝序列生成的概率。
求解算法：
- 使用基于梯度的优化方法（如 BIM, Basic Iterative Method）来迭代更新扰动 $\delta$ 。
- 在每次迭代中，计算损失函数的梯度，更新扰动，并投影回 $\ell_\infty$ 约束范围内。
- 通过在不同影子问题上采样小批量（Mini-batch）来优化，以增强扰动对不同提问的泛化能力。

3. 主要贡献 (Key Contributions)

问题形式化：首次正式定义了“防止 MLLM 分析图像”这一新问题，将其视为一种用户侧的主动防御。
提出 ImageProtector：提出了一种基于约束优化的方法，能够生成同时满足有效性（高拒绝率）和效用（低可见性）的保护性扰动。
广泛的实验验证：在6 种不同的开源 MLLM（包括 LLaVA-1.5, MiniGPT-4, Qwen-VL 等）和4 个数据集（VQAv2, GQA, TextVQA, CelebA）上验证了方法的有效性。
对抗防御评估：评估了三种潜在的防御/绕过措施（高斯噪声、DiffPure、对抗训练），发现它们虽然能部分削弱 ImageProtector 的效果，但会显著降低模型本身的准确率或推理效率，证明 ImageProtector 具有实际防御价值。

4. 实验结果 (Results)

拒绝率（Effectiveness）：
- ImageProtector 在大多数模型和场景下表现优异。
- 在 LLaVA-1.5 上，使用通用影子问题时，拒绝率达到 0.88，显著优于基线方法（Bagdasaryan et al. 为 0.51，Qi et al. 接近 0）。
- 在 CelebA（人脸数据集）上，拒绝率最高，几乎所有模型都达到了 0.95 - 1.00 的拒绝率，这可能是因为模型对齐策略对人脸敏感。
- 即使面对多个目标 MLLM 联合优化，ImageProtector 仍能保持高拒绝率（例如在三个模型联合优化下，对各模型的拒绝率均在 0.80 以上）。
效用（Utility）：
- 扰动在 $\epsilon = 8/255$ 的约束下，人类肉眼几乎无法察觉（如图 3 所示）。
- 然而，这种扰动会导致 MLLM 对原始图像的理解能力大幅下降（准确率从 0.92 降至接近 0），这正是防御生效的表现（模型无法提取信息）。
对抗措施评估：
- 高斯噪声：虽然能降低拒绝率，但需要较大的噪声强度（ $\sigma=0.02$ ），这会同时使模型准确率下降约 12%。
- DiffPure：去噪过程能降低拒绝率，但会显著增加推理时间（+8%~13%）并降低准确率。
- 对抗训练：即使经过训练，ImageProtector 的拒绝率仍保持在 60% 左右，且训练成本高昂。

5. 意义与局限性 (Significance & Limitations)

意义：
- 范式转变：将通常被视为攻击手段的“提示注入（Prompt Injection）”转化为一种防御机制，用于保护用户隐私。
- 实用性：为普通用户提供了在图像发布前进行“隐私加固”的工具，特别是在开源模型泛滥的背景下，能有效阻断大规模自动化隐私窃取。
- 成本效益：相比防御方需要修改模型或部署复杂的过滤系统，ImageProtector 仅需在客户端进行一次性计算，成本较低。
局限性：
- 白盒依赖：当前方法假设防御者拥有目标模型的白盒访问权限（可获取梯度）。对于完全闭源的 API 模型，直接应用较难（需黑盒优化技术，未来工作方向）。
- 多轮对话：在长上下文或多轮交互中，扰动的有效性可能会随着对话轮数增加而略微下降（从 88% 降至 70%）。
- 模态限制：目前仅针对图像输入，未涵盖音频、视频等其他多模态输入。

总结

ImageProtector 提出了一种创新且实用的隐私保护方案，通过精心设计的微小扰动，利用视觉提示注入技术“劫持”MLLM 的输出，使其在面对任何关于图像的提问时都礼貌拒绝。实验表明，该方法在保持图像视觉质量的同时，能有效抵御基于开源 MLLM 的大规模自动化隐私分析，且现有的常规防御手段难以在不牺牲模型性能的前提下完全破解。