💻 computer science

Echoes of ownership: Adversarial-guided dual injection for copyright protection in MLLMs

本文提出了一种名为“对抗引导双注入”的框架，通过将图像作为可学习张量并结合语义级与文本级双重注入机制，为多模态大语言模型生成版权触发器，从而在衍生模型中精准提取所有权信息并抵抗微调干扰。

原作者： Chengwei Xia, Fan Ma, Ruijie Quan, Yunqiu Xu, Kun Zhan, Yi Yang

发布于 2026-03-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Chengwei Xia, Fan Ma, Ruijie Quan, Yunqiu Xu, Kun Zhan, Yi Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种给多模态大语言模型（MLLM，就是那种既能看图又能聊天的超级 AI）“打隐形水印”的新方法，用来防止别人偷了你的模型去赚钱还赖账。

我们可以把这项技术想象成给 AI 模型植入了一种“只有主人知道的特殊暗号”。

1. 背景：为什么需要这个？

想象一下，你辛苦研发了一款很厉害的 AI 画家（比如 LLaVA 或 Qwen），把它开源了。结果，有个坏心眼的公司偷偷下载了你的模型，稍微改改（微调），然后声称这是他们自己的产品，开始收费。

这时候，你作为原作者，怎么证明“这模型是我做的”呢？

传统方法不行：以前的方法要么需要拆开模型看内部代码（黑盒场景下做不到），要么就是给模型“洗脑”让它记住特定的指令。但坏蛋只要把模型重新训练一下，这些“洗脑”效果就没了。

2. 核心创意：双重注射（Dual Injection）

作者想出了一个绝妙的办法：造一张“特制图片”。

这张图片看起来和普通的图片一模一样（人眼看不出区别），但如果你把它和特定的问题（比如“请停止”）一起喂给你的模型（或者基于你的模型微调过的模型），模型就会像条件反射一样，回答出你预设的“暗号”（比如“我在玩游戏”）。

而如果你把这张图喂给别人的模型（完全没沾过你边界的模型），它就会像正常人一样回答“我不知道”或者“这图没啥特别的”。

怎么做到这一点呢？作者用了“双重注射”策略：

第一重注射：反应层对齐（Response-level）
- 比喻：就像训练一只狗。你拿着图片，不断调整图片的像素（在计算机里是微小的扰动），直到模型看到这张图时，嘴巴必须说出你指定的那句话。
- 作用：确保模型能“听懂”这个暗号并做出反应。
第二重注射：语义层对齐（Semantic-level）
- 比喻：这是这篇论文最聪明的地方。作者发现，虽然模型被微调过，但它们大脑深处有一个通用的“翻译官”（类似 CLIP 模块），负责把图片和文字的意思对应起来。这个“翻译官”在微调后依然很稳定。
- 做法：作者强迫这张特制图片的“深层含义”（向量特征）必须和那句暗号文字的“深层含义”紧紧贴在一起。
- 作用：就像给图片打上了一个通用的基因标记。不管模型怎么微调，只要它保留了那个通用的“翻译官”，看到这张图就会联想到那个暗号。这大大增强了水印的抗干扰能力。

3. 对抗训练：让水印更“皮实”

坏蛋可能会说：“我不仅微调，我还把模型剪枝（删掉一些参数）或者合并一下，看你还认不认！”

为了应对这个，作者玩了一个**“左右互搏”**的游戏：

在生成这张特制图片的过程中，作者同时训练一个“辅助模型”。
这个辅助模型的任务是：拼命抵抗，试图不输出那个暗号。
结果：特制图片为了战胜这个“抵抗者”，必须进化得更强大、更通用。
比喻：就像练武，你不仅要打靶子，还要和一个不断变强的对手对练。这样练出来的武功，面对真正的坏蛋（各种微调后的模型）时，才更不容易失效。

4. 实验效果：真的管用吗？

作者在各种场景下测试了这套方法：

不同微调方式：无论是简单的微调（LoRA）还是彻底重练（Full Fine-tuning），只要模型是基于原作者的模型改的，这张“特制图片”都能成功触发暗号。
不同领域：无论是做数学题的、看医学图的、还是分析金融图表的模型，都能被追踪到。
抗干扰：即使模型被压缩了（量化）、剪枝了（删参数）、或者合并了，这张图片依然能起作用。
不伤无辜：对于完全没沾边的其他模型，这张图片就像普通图片一样，不会乱说话（不会误报）。

总结

这篇论文就像给 AI 模型发明了一种**“隐形墨水”**。

不用拆开模型：只需要一张图和一句话就能验证。
双重保险：既管“说什么话”（反应），又管“想什么意”（语义），让水印很难被洗掉。
越练越强：通过模拟坏蛋的对抗，让水印变得无坚不摧。

这就好比你在自家做的蛋糕里，不仅加了一种只有你尝得出的味道（反应层），还加了一种无论怎么加热、怎么切块都不会消失的“基因标记”（语义层）。别人就算偷了配方去改，只要用了你的面粉（基座模型），一尝就能知道：“嘿，这蛋糕还是老张家的！”

这是一篇关于多模态大语言模型（MLLMs）版权保护的学术论文总结。论文提出了一种名为 AGDI (Adversarial-Guided Dual Injection) 的框架，旨在通过生成对抗性触发图像，在无需访问模型内部参数（黑盒场景）的情况下，有效追踪和验证 MLLM 的版权归属。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

背景：随着开源 MLLM（如 LLaVA, Qwen-VL）的快速发展，恶意用户常通过微调（Fine-tuning）这些模型来构建商业产品，并声称拥有模型所有权，导致版权纠纷频发。
核心挑战：
- 黑盒限制：大多数版权验证场景下，验证者无法获取模型的内部参数（白盒），只能进行黑盒查询。
- 泛化性差：现有的基于对抗样本的触发方法（如 PLA）往往过度拟合基座模型（Base Model）的特定响应模式。一旦模型经过下游微调（Fine-tuning），触发图像往往失效。
- 误报风险：触发机制需要精准识别“衍生模型”，而不能在“非衍生模型”（其他架构或无关模型）上产生误报。
目标：构建一种触发图像，使得基座模型及其微调后的衍生模型在遇到该图像和特定问题时，能输出预设的版权相关文本；而非衍生模型则不会输出该文本。

2. 核心方法论 (Methodology: AGDI)

作者提出了一种**对抗引导的双重注入（Adversarial-Guided Dual Injection）**框架，包含三个关键组件：

A. 双重注入机制 (Dual Injection)

为了平衡“响应特异性”和“跨模型泛化性”，作者设计了两个互补的优化目标：

响应级注入 (Response-level Injection, $L_{res}$ )：
- 目的：确保模型输出特定的版权文本（如 "ICLR Conference"）。
- 方法：利用辅助 MLLM 的输出与预设目标文本之间的交叉熵损失。通过反向传播，将版权语义注入到图像中，强制模型在特定问题上产生特定回答。
语义级注入 (Semantic-level Injection, $L_{sem}$ )：
- 核心洞察：大多数 MLLM 内部包含类似 CLIP 的跨模态对齐模块。即使经过下游微调，图像和文本的高层嵌入（Embedding）在语义空间中的相对距离仍保持相对稳定。
- 方法：最小化触发图像特征与目标文本特征在 CLIP 空间中的距离。这利用了 MLLM 中隐含的、在所有衍生变体中共享的“子模型”特性，从而增强了触发器在不同微调模型间的泛化能力。

B. 对抗训练策略 (Adversarial Training)

机制：采用 Min-Max 优化策略。
- Min (图像优化)：优化触发图像，使其能同时满足响应级和语义级目标。
- Max (模型扰动)：在优化过程中，同时更新辅助模型的参数，使其抵抗生成目标文本。
作用：模拟下游微调模型可能出现的“抵抗”行为。通过这种对抗过程，迫使生成的触发图像更加鲁棒，能够穿透模型微调带来的参数变化，防止在重度微调的模型上失效。

C. 优化流程

初始化干净图像和辅助模型参数。
交替更新图像（梯度上升，最大化损失）和模型参数（梯度下降，最小化损失，模拟微调抵抗）。
在每次迭代后重置模型参数，防止累积适应，确保每个触发图像独立优化。
最终生成对抗性触发图像 $x_{trig}$ 。

3. 主要贡献 (Key Contributions)

首个黑盒 MLLM 版权追踪框架：提出了一种后部署（Post-deployment）的触发图像生成方法，无需访问模型内部即可验证版权。
双重注入理论：首次发现并利用 MLLM 中类似 CLIP 的对齐模块作为“共享子模型”，证明了结合“响应级”和“语义级”注入能显著提升触发器在微调模型上的泛化性。
对抗鲁棒性：引入对抗训练模拟微调过程，显著提高了触发器在模型剪枝、合并、量化及不同微调策略下的鲁棒性。
广泛的实验验证：在 LLaVA-1.5 和 Qwen2-VL 等多个基座模型，以及 V7W, TextVQA, MathV 等多个下游领域进行了验证，证明了方法的优越性。

4. 实验结果 (Results)

实验在多个维度上对比了 AGDI 与基线方法（Ordinary, RNA, PLA）：

衍生模型追踪性能 (ASR - 攻击成功率)：
- 在 LLaVA-1.5 和 Qwen2-VL 的微调变体（LoRA 和全量微调）上，AGDI 的 ASR 显著高于基线。
- 例如，在 Qwen2-VL 的 LoRA 微调下，AGDI 在 ST-VQA 数据集上达到 77%，而 PLA 为 68%，Ordinary 仅为 46%。
- 在 PaintingF（艺术领域）上，AGDI 达到了 81% 的 ASR，远超其他方法。
非衍生模型误报率：
- 在 MiniGPT-4, LLaVA-1.6, Llama3-V 等非衍生模型上，AGDI 的 ASR 为 0%，证明了其极高的特异性，不会误判。
鲁棒性分析：
- 模型剪枝 (Pruning)：在 10%-30% 的剪枝率下，AGDI 性能下降幅度远小于基线。
- 模型合并 (Merging)：在 TIES 和 Linear 合并策略下，AGDI 依然保持高 ASR。
- 量化 (Quantization)：在 8-bit 量化下，AGDI 表现依然优异。
- 输入变换：对 JPEG 压缩、高斯噪声和图像缩放具有鲁棒性。
消融实验：
- 移除“语义级注入”或“响应级注入”均导致性能大幅下降，证明了双重注入的必要性。
- 移除对抗训练（LLM 更新）也会导致性能下降，证明了模拟微调抵抗的重要性。

5. 意义与价值 (Significance)

保护开源生态：为开源 MLLM 的发布者提供了一种低成本、无需修改模型参数的版权保护手段，有助于遏制恶意商业滥用。
技术突破：揭示了 MLLM 内部跨模态对齐模块的稳定性，为未来的模型指纹、水印和版权追踪提供了新的理论视角（即利用共享的隐式子模型）。
实际部署潜力：该方法仅需要黑盒查询能力，且生成的触发图像具有视觉隐蔽性（人眼难以察觉），非常适合在真实的商业 API 服务中进行版权审计。

总结：
这篇论文通过AGDI框架，巧妙地结合了对抗攻击、双重注入（响应 + 语义）以及对抗训练，解决了 MLLM 版权追踪中“微调后失效”和“黑盒不可用”的两大难题。实验证明该方法在保持高追踪成功率的同时，具备极强的鲁棒性和特异性，是 MLLM 版权保护领域的一项重要进展。