💻 computer science

Adversarial Video Promotion Against Text-to-Video Retrieval

该论文提出了首个针对文本到视频检索（T2VR）的对抗性视频推广攻击方法 ViPro，通过引入模态细化（MoRe）机制增强跨模态交互与黑盒迁移性，在多种场景下显著提升了攻击成功率，揭示了现有模型在防止恶意视频排名提升方面的脆弱性。

原作者： Qiwei Tian, Chenhao Lin, Zhengyu Zhao, Qian Li, Shuai Liu, Chao Shen

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Qiwei Tian, Chenhao Lin, Zhengyu Zhao, Qian Li, Shuai Liu, Chao Shen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“视频搜索安全”的新发现。简单来说，作者们发现了一个以前被大家忽略的“后门”，并发明了一种新的“黑客技术”，可以让糟糕或无关的视频在搜索中“插队”**，排在最前面，从而骗取更多的点击和流量。

为了让你更容易理解，我们可以把整个过程想象成一场**“网红选秀大赛”**。

1. 背景：现在的搜索像什么？

想象一下，你正在看一个**“网红选秀节目”（这就是文本到视频检索系统**，T2VR）。

观众（用户）：输入搜索词，比如“怎么做红烧肉”。
评委（AI 模型）：根据观众的要求，从成千上万个视频里挑出最符合的，排在最前面展示给观众。
现状：以前大家只担心有人**“搞破坏”，比如给一个做红烧肉的视频贴个“这是毒药”的标签，让评委把它踢出**比赛（这就是以前的攻击，叫“压制排名”）。

2. 新发现：更可怕的“插队”攻击

这篇论文的作者发现，比起“踢人出局”，更危险的是**“强行插队”**。

攻击者的目的：他们不想让好视频消失，而是想让自己那个质量很差的视频（比如全是广告，或者甚至是不相关的搞笑视频），在用户搜“红烧肉”时，直接冲到第一名。
为什么这很危险？
- 骗钱：排在第一，点击量就大，广告费就高。
- 传谣：如果是假新闻视频，排在第一，谣言传播速度会像雪崩一样快。
- 雪球效应：一旦视频因为“插队”火了，平台的推荐算法会觉得“哦，这个视频很火”，然后推给更多人，形成恶性循环。

3. 核心难点：为什么“插队”比“踢人”难？

作者用了一个很形象的比喻（论文里的图 1）：

踢人（旧攻击）：就像把一个人推出一个圆圈（搜索范围）。只要把他推得足够远，他就进不去了。这很容易，只要用力推就行。
插队（新攻击 ViPro）：就像要把一个人塞进一个非常小的、重叠的**“黄金区域”**。
- 想象有 3 个不同的评委（3 个不同的搜索词，比如“红烧肉”、“美食”、“家常菜”）。
- 你的视频必须同时满足这 3 个评委的口味，挤进他们共同认可的那个极小的重叠区域里。
- 这就像要在拥挤的地铁里，同时被 3 个不同方向的人挤到同一个角落里，难度极高！

4. 作者的解决方案：ViPro 和“莫雷” (MoRe)

为了完成这个高难度的“插队”任务，作者发明了两个法宝：

法宝一：ViPro（视频推广攻击）

这是攻击的总战略。它不再只是简单地乱改视频，而是精心计算，让视频在视觉上发生微小的变化，骗过评委的眼睛，让它看起来既像“红烧肉”，又像“美食”，还像“家常菜”。

法宝二：MoRe（模态精炼，Modality Refinement）

这是让攻击更聪明的“战术”。

问题：视频是由一帧帧画面组成的。如果每一帧都乱改，画面会闪烁，人眼能看出来（不隐蔽）；而且不同帧之间可能会“打架”，导致攻击失败。
MoRe 的做法：
1. 时间剪辑（Temporal Clipping）：它把视频里长得像、动作连贯的画面剪成一个个“小片段”。就像把一长串珍珠项链剪成几段，每段内部是连贯的。
2. 语义加权（Semantic Weighting）：它给每个片段打分。如果某个片段跟“红烧肉”这个词特别不搭（比如突然切到了猫），MoRe 就会告诉攻击算法：“别管这个片段了，别在它身上浪费力气，否则会把整个视频搞砸。”
3. 结果：攻击变得非常精准，只修改那些真正能帮视频“插队”的关键画面，既隐蔽又高效。

5. 实验结果：效果惊人

作者在各种测试中（白盒、灰盒、黑盒，就像给黑客不同程度的“内部情报”）都证明了 ViPro 的厉害：

成功率：在不知道对方具体算法（黑盒）的情况下，ViPro 也能让视频排名提升 30%~40% 以上。
隐蔽性：经过 ViPro 修改的视频，人眼几乎看不出区别，就像给视频加了一层“隐形斗篷”。
抗干扰：即使平台尝试用“压缩图片”或“打乱视频顺序”来防御，ViPro 依然能成功插队。

6. 总结与启示

核心贡献：这篇论文是第一个专门研究“如何让视频恶意排名上升”的学术成果。
现实影响：它提醒我们，现在的视频搜索系统虽然很聪明，但非常脆弱。坏人可以利用这种技术，让垃圾内容、假新闻或诈骗视频轻易占据头条。
未来方向：我们需要开发更聪明的防御机制，比如不仅看画面，还要结合声音、用户行为等多维度信息，让“插队”变得不再可能。

一句话总结：
这篇论文揭开了视频搜索的一个新漏洞，并展示了黑客如何利用这个漏洞，像**“精明的插队者”一样，通过微调视频画面，让垃圾视频在搜索中“逆天改命”**冲到第一名，从而骗取流量和金钱。

这是一份关于论文《Adversarial Video Promotion Against Text-to-Video Retrieval》（针对文生视频检索的对抗性视频推广攻击）的详细技术总结。

1. 研究背景与问题定义 (Problem)

背景：随着跨模态模型（VLM）的发展，文生视频检索（Text-to-Video Retrieval, T2VR）技术取得了显著进步。然而，其对抗鲁棒性尚未得到充分研究。
现有局限：现有的 T2VR 对抗攻击主要关注抑制（Suppression）视频排名，即通过扰动将视频从查询结果中移除。
核心问题：本文指出，推广（Promotion）视频排名的攻击更具破坏性和现实危害性。攻击者可以通过将恶意视频（如虚假信息、低质内容或特定商业广告）推送到查询结果的前列，从而获取更多的点击量、浏览量及经济利益，甚至引发“雪球效应”（平台推荐算法进一步放大其曝光）。
挑战：与抑制攻击（只需将视频移出检索边界）不同，推广攻击需要将视频推入所有目标查询的检索边界交集区域（即同时满足多个查询的检索条件），这在数学优化上更为困难，且需要处理多目标冲突和跨模态的复杂交互。

2. 方法论 (Methodology)

本文提出了首个针对 T2VR 的对抗性视频推广攻击框架，命名为 **ViPro **(Video Promotion attack)，并引入了 **MoRe **(Modality Refinement) 模块以增强黑盒迁移性。

2.1 威胁模型 (Threat Model)

攻击者能力：攻击者只能修改上传的视频（视觉模态），无法修改用户的文本查询。
场景设定：
- 白盒：攻击者拥有完整的模型结构、参数及跨模态交互模块。
- 灰盒：攻击者知道单模态编码器，但不知道跨模态交互模块。
- 黑盒：攻击者仅知道视频所属的类别（Category），无法访问具体模型参数。
目标：将目标视频 $X$ 添加扰动 $\delta$ ，使其在多个目标查询 $Q$ 下均能进入 Top-1 检索结果。

2.2 核心组件

**损失函数设计 **(Loss Function)：
- 由于检索列表的离散性，直接优化排名不可微。作者基于“检索边界”假设，将目标转化为最大化视频与所有目标查询的相似度。
- 摒弃了简单的负相似度损失（ $L_{neg}$ ），提出使用指数损失（ $L_{exp} = \exp(-S)$ ）。这使得梯度具有自适应性：对相似度较低（距离较远）的目标赋予更大的梯度，对相似度较高的目标赋予较小梯度，从而更有效地引导优化。
**模态精炼 **(Modality Refinement, MoRe)：
为了解决多目标优化中的梯度冲突并提升黑盒迁移性，MoRe 包含两个关键步骤：
- **时间切片 **(Temporal Clipping)：
  - 视频帧之间存在时间上的突变，直接对所有帧平均梯度会导致优化收敛困难。
  - 通过计算帧间余弦相似度，将时间上相似的视频帧聚类为“片段（Clips）”，识别并处理离群帧。
- **语义加权 **(Semantic Weighting)：
  - 不同片段与不同查询的语义对齐程度不同。
  - 计算“帧 - 查询”和“帧 - 帧”的相似度，构建权重矩阵。在优化过程中，抑制那些与目标查询语义冲突或相关性低的帧/查询的梯度贡献，使优化方向更聚焦于目标区域。
- 片段级优化：对每个视频片段分别进行扰动优化，最后拼接成对抗视频。

3. 主要贡献 (Key Contributions)

首创攻击范式：首次提出了针对 T2VR 的视频推广攻击（ViPro），填补了该领域从“抑制”到“推广”攻击研究的空白，揭示了 T2VR 系统面临的新安全威胁。
提出 MoRe 模块：设计了模态精炼机制，通过时间切片和语义加权，解决了多目标优化中的梯度冲突问题，显著提升了攻击在黑盒场景下的迁移能力。
全面实验验证：
- 在 3 个主流数据集（MSR-VTT, DiDeMo, ActivityNet，共超 1 万视频）和 3 个领先模型（Singularity, DRL, Cap4Video）上进行了评估。
- 覆盖了白盒、灰盒、黑盒三种场景。
- 对比了现有的图像到文本攻击基线（Co-Attack, SGA），证明了 ViPro 的优越性。
理论分析与防御评估：定性分析了攻击的上界（由模型嵌入分布和数据集决定）和下界（由算法和模型架构决定），并评估了攻击在 JPEG 压缩和时间打乱等防御手段下的鲁棒性。

4. 实验结果 (Results)

白盒场景：ViPro 在所有数据集和模型上均显著优于基线。平均而言，ViPro 比 Co-Attack 和 SGA 在 R@1 指标上提升了约 30%。
灰盒场景：在缺乏跨模态模块知识的情况下，基线方法（如 SGA）往往失效甚至产生负向效果，而 ViPro 仍能保持显著的性能提升（平均提升约 10%）。
黑盒场景：ViPro 展现了极强的迁移性，平均比基线高出 4%。特别是在使用不同源模型攻击目标模型时，ViPro 是唯一能保持正收益的方法。
防御鲁棒性：在 JPEG 压缩和时间打乱（Temporal Shuffling）防御下，ViPro 依然保持最高的攻击成功率，优于其他基线。
不可感知性：通过 SSIM、PSNR、LPIPS 指标及 17 位专家的用户研究，证明 ViPro 生成的扰动在视觉上最隐蔽，被识别为“最不可察觉”的攻击。
消融实验：
- 证明了 MoRe 模块对提升黑盒迁移性的关键作用。
- 发现训练查询数量（K）并非越多越好，少量（K=10）查询即可达到最佳效果，过多查询反而引入噪声降低性能。

5. 意义与启示 (Significance)

揭示新漏洞：本文揭示了 T2VR 系统不仅容易被“隐藏”内容，更容易被“恶意推广”内容，这对内容平台的安全机制提出了严峻挑战。
安全防御启示：
- 现有的基于图像或视频的防御（如 JPEG、打乱）不足以完全抵御此类攻击。
- 建议引入更多模态（如音频、元数据）进行融合，增加模型对单一视觉扰动的鲁棒性。
- 模型架构设计应考虑到跨模态交互模块的鲁棒性，避免过度依赖单一特征。
未来方向：研究如何针对更大规模的商业模型（如 YouTube 级）进行防御，以及探索更隐蔽的时序约束攻击。

总结：该论文通过提出 ViPro 和 MoRe，不仅展示了 T2VR 系统在对抗性推广攻击下的脆弱性，还通过精细化的模态交互优化，为理解跨模态检索系统的边界和构建更安全的检索系统提供了重要的理论依据和实验参考。