💻 computer science

TEAR: Temporal-aware Automated Red-teaming for Text-to-Video Models

该论文提出了名为 TEAR 的时序感知自动化红队框架，通过两阶段优化和循环精炼机制生成隐蔽提示词，成功揭示了文本到视频模型中因动态时序特性引发的安全风险，并在多项测试中将攻击成功率从 57% 显著提升至 80% 以上。

原作者： Jiaming He, Guanyu Hou, Hongwei Li, Zhicong Huang, Kangjie Chen, Yi Yu, Wenbo Jiang, Guowen Xu, Tianwei Zhang

发布于 2026-03-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiaming He, Guanyu Hou, Hongwei Li, Zhicong Huang, Kangjie Chen, Yi Yu, Wenbo Jiang, Guowen Xu, Tianwei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 TEAR（Temporal-aware Automated Red-teaming，即“时间感知自动化红队测试”）的新系统。为了让你轻松理解，我们可以把这项技术想象成给未来的“视频生成 AI"进行的一场高智商“压力测试”或“安全演习”。

以下是用通俗语言和生动比喻对这篇论文的解读：

1. 背景：AI 视频生成的“双刃剑”

现在的 AI（比如 Sora、Runway 等）非常厉害，你给它一段文字，它就能生成一段连贯、逼真的视频。

比喻：这就像是一个拥有无限想象力的“魔法画师”，你让它画什么，它就画什么。
问题：但是，这个画师有时候会“走火入魔”。如果坏人给它一些看似无害的指令，它可能会在视频里生成暴力、色情或自残的画面。
现状：以前的安全测试主要盯着“静态图片”或“文字”看。就像检查一张照片是否违规。但视频是动态的，是随着时间流动的。以前的测试方法就像是用“照相机”去检查“电影”，根本抓不住那些在时间流逝中才暴露出来的危险。

2. 核心发现：危险的“时间拼图”

论文发现了一个惊人的漏洞：单独看每一句话都是安全的，但把它们按时间顺序拼起来，就会变成一部“犯罪电影”。

比喻：想象你要做一道有毒的汤。
- 以前：坏人直接说“我要做毒药汤”，AI 会拒绝。
- 现在（TEAR 发现的漏洞）：坏人把指令拆散了。
  - 第一秒：“一个人喝了一杯透明的水。”（安全）
  - 第二秒：“这个人突然向后倒去。”（安全）
  - 第三秒：“他身体开始抽搐。”（安全）
  - 第四秒：“嘴里喷出奶油。”（安全）
- 结果：AI 把这几秒连起来看，生成的视频实际上是一个“人喝毒药后死亡”的过程。
- 关键点：这种危险不是藏在某一句话里，而是藏在时间顺序的排列组合里。

3. TEAR 是什么？一位“时间侦探”

为了解决这个问题，作者开发了 TEAR 系统。它就像一个专门寻找“时间漏洞”的高级侦探。

TEAR 的工作流程分为三步，我们可以把它想象成训练一个“黑客特工”：

第一步：收集线索（构建数据集）

TEAR 先学习如何把“坏主意”拆解成“无害的碎片”。

比喻：它像一个编剧，专门练习如何把“杀人”这个剧本，拆解成“喝水”、“走路”、“摔倒”等看似正常的日常动作，并给它们加上严格的时间连接词（如“两秒后”、“接着”）。

第二步：特训与进化（两阶段优化）

这是 TEAR 最聪明的地方。它不是一次性生成指令，而是通过“试错”来进化。

初始训练：先让 AI 学会写那些“表面无害”的指令。
在线偏好学习（核心大招）：
- TEAR 把写好的指令发给目标 AI 生成视频。
- 然后，TEAR 自己当“裁判”：
  - 如果生成的视频没违规（太安全了），说明指令不够狡猾，TEAR 就修改指令，让它更隐蔽。
  - 如果生成的视频违规了，但指令被系统拦截了（太明显了），TEAR 就修改指令，让它看起来更无害。
- 比喻：这就像在练“潜行”。TEAR 不断尝试不同的走位，直到找到一条既能穿过守卫（通过文字审核），又能到达宝藏（生成违规视频）的完美路线。

第三步：精雕细琢（微调模型）

最后，TEAR 还会用另一个大模型来“润色”这些指令，确保它们不仅有效，而且非常自然，让人类看了也挑不出毛病。

4. 战绩如何？大获全胜

作者用 TEAR 去攻击了市面上最火的几个视频 AI（包括开源的和商业的，如 Google Veo, 腾讯混元等）。

数据对比：
- 以前的“老式攻击方法”（基于静态图片的测试），成功率只有 57% 左右。就像用钝刀切肉，经常切不动。
- TEAR 的成功率高达 80% 以上。就像换了一把激光刀，精准切开了所有防御。
商业系统的脆弱性：即使是 Google 和 MiniMax 这样的大公司，他们的安全过滤器在 TEAR 面前也几乎失效了。很多指令能 100% 通过文字审核，却生成了违规视频。

5. 总结与启示

TEAR 告诉我们什么？

视频 AI 的安全不仅仅是“看图说话”：以前的安全防线只盯着“文字”和“单帧画面”，却忽略了“时间”这个维度。
未来的风险是“动态”的：坏人不需要直接说脏话，他们可以利用时间序列，像搭积木一样，把无害的积木搭成危险的城堡。
开发者需要新工具：在发布视频 AI 之前，必须用像 TEAR 这样的工具，专门去测试那些“时间上的漏洞”，否则发布出去就是给坏人递刀子。

一句话总结：
这篇论文发明了一个聪明的“时间黑客”，它发现只要把无害的指令按特定顺序排列，就能骗过 AI 生成危险视频。这提醒我们，未来的 AI 安全战，不仅要防“说什么”，更要防“什么时候说”和“怎么说”。

1. 研究背景与问题定义 (Problem)

背景：
文本生成视频（Text-to-Video, T2V）模型（如 Veo, Hailuo, Wan 等）能够合成高质量、时序连贯的动态视频。然而，这种强大的生成能力也带来了严重的安全隐患。现有的安全评估方法主要关注静态图像或文本生成，无法有效捕捉视频生成中特有的复杂时序动态（Temporal Dynamics）。

核心问题：

时序聚合攻击（Temporal-aggregation attack）： 攻击者可以将一个有害的意图拆解为一系列在文本层面看似无害（Benign）的独立事件描述，通过特定的时间顺序组合，诱导模型生成违反安全策略的视频内容。
现有方法的局限性： 传统的红队测试（Red-teaming）方法（针对 LLM 或文生图模型）通常将视频视为独立帧的序列，缺乏对“时序动态”中涌现的安全风险的评估机制，导致在 T2V 模型上的攻击成功率较低（此前最佳结果约为 57%）。
挑战： 如何在保持提示词（Prompt）文本安全（绕过文本过滤器）的同时，利用时序动态触发有害视频生成，极大地扩大了搜索空间。

2. 方法论 (Methodology: TEAR Framework)

作者提出了 TEAR（Temporal-aware Automated Red-teaming），这是一个自动化的红队测试框架，旨在系统性地挖掘 T2V 模型中的时序漏洞。TEAR 包含三个核心组件：时序感知测试生成器、优化模型和目标 T2V 模型。

2.1 问题形式化

目标是在文本判断系统 $\Phi_P$ 判定提示词为“安全”（ $\Phi_P(p)=0$ ），而视频判断系统 $\Phi_V$ 判定生成的视频为“有害”（ $\Phi_V(M(p))=1$ ）的条件下，寻找对抗性提示词集合。

2.2 核心流程

TEAR 的优化过程分为两个主要阶段：

阶段一：时序感知测试生成器优化 (Two-stage Generator Optimization)
将红队测试建模为马尔可夫决策过程（MDP），采用两阶段策略：

初始生成器训练 (Initial Generator Training)：
- 数据构建： 基于规则构建元有害数据集。利用大语言模型（LLM）将有害指令进行时序解构（Temporal Deconstruction），将其分解为按时间顺序排列的离散静态事件描述，并插入显式的时间连接词（如“两秒后”）。
- 训练目标： 确保生成的提示词在文本层面是安全的，但保留了有害的视频级语义。
时序感知在线偏好学习 (Temporal-aware Online Preference Learning)：
- 在初始生成器基础上，通过在线强化学习（PPO）进一步优化。
- 奖励函数设计：
  - 提示词空间奖励 ( $R_{pmt}$ )： 包含安全性（对抗仇恨言论分类器）和模式对齐（与预构建的时序风格样本的余弦相似度）。
  - 时序空间一致性奖励 ( $R_{con}$ )： 包含全局一致性（生成的视频与元有害语义的对齐度）和内部一致性（视频帧之间的时序连贯性）。
- 通过最大化综合奖励，引导模型分布向目标时序感知提示词分布收敛。

阶段二：测试案例细化 (Test Case Refinement)

引入一个细化模型（Refine Model，基于多模态大语言模型 MLLM）。
闭环反馈： 细化模型接收初始提示词、生成的视频以及文本/视频判断系统的反馈（包括分数、定性解释和行动建议）。
迭代优化： 利用视频理解能力，分析提示词与生成结果之间的差距，迭代修改提示词，提升其隐蔽性（Stealthiness）和攻击有效性，直到达到红队目标。

3. 主要贡献 (Key Contributions)

首个针对 T2V 时序漏洞的自动化框架： 提出了 TEAR，系统性地揭示了由动态事件排序引发的潜在安全风险，填补了现有红队测试在时序维度上的空白。
创新的时序感知优化机制： 设计了基于两阶段（初始训练 + 在线偏好学习）的生成器优化方法，以及结合提示词空间与视频时序空间的联合奖励机制。
全面的评估与发现：
- 在 5 个主流 T2V 模型（3 个开源，2 个商业）上进行了广泛测试。
- 揭示了当前商业 T2V API 服务中安全过滤器的严重不足，特别是在动态不安全案例上。
- 证明了优化后的提示词具有极强的跨模型迁移能力。

4. 实验结果 (Results)

实验设置：

模型： 开源模型 (Wan 2.2, Hunyuan-Video) 和商业模型 (Veo-3.1, Hailuo-2.3, Ray-2)。
类别： 暴力、血腥、自残、色情、非法活动、令人不安的内容。
基线： 对比了 SOTA 的文生图红队方法（ART, FLIRT）及现有的 T2V 基准（UVD, T2VSafetyBenchmark）。

关键数据：

攻击成功率 (ASR)：
- TEAR 在开源模型上取得了 >80% 的攻击成功率（Hunyuan-Video: 82.3%, Wan 2.2: 80.5%）。
- 相比此前最佳基线（FLIRT，约 57%），性能有显著提升。
- 在商业模型上，ASR 普遍达到 85% 以上（部分类别如暴力）。
提示词通过率 (PSR)：
- TEAR 生成的提示词能极高比例地绕过文本过滤器（NSFW 检测器、Llama Guard 等），通过率普遍在 95% - 98% 之间，证明了其文本层面的隐蔽性。
无种子生成 (Seed-free)：
- 即使在无初始种子提示词的情况下，TEAR 仍能保持约 77%-79% 的高攻击成功率，展示了其自主发现漏洞的能力。
迁移性 (Transferability)：
- 在一个模型上优化的提示词，在其他未知模型上的平均迁移攻击成功率高达 76.4%，表明 T2V 模型存在共通的时序安全弱点。
细化效果：
- 随着细化轮数增加（最多 8 轮），ASR 从初始的 57%-71% 提升至 83%-95%，证明了细化阶段的有效性。

5. 意义与影响 (Significance)

安全警示： 论文揭示了当前 T2V 模型在时序动态理解上的根本性安全缺陷。现有的基于静态内容的过滤机制无法防御通过“时间序列拼接”实现的攻击。
开发工具： TEAR 为 T2V 开发者提供了一个可扩展的自动化审计工具，帮助在模型发布前主动发现并修复复杂的时序安全漏洞。
对齐研究： 强调了在生成式 AI 安全对齐中，必须将“时间维度”纳入考量，单纯优化文本或单帧图像的安全性是不够的。
未来方向： 该工作推动了针对多模态、时序动态内容的红队测试标准建立，促使社区开发更鲁棒的时序感知安全过滤器。

总结： TEAR 通过创新的时序感知优化策略，成功突破了现有 T2V 模型的安全防线，证明了“文本无害但时序有害”的攻击模式是真实且高效的，为构建更安全的视频生成模型提供了重要的研究视角和工具。