Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation

以下是关于论文 《Prompt Relay: Inference-Time Temporal Control for Multi-Event Video Generation》 的详细技术总结：

1. 研究背景与问题 (Problem)

尽管视频扩散模型在生成高质量视频方面取得了显著进展，但在处理多事件视频生成（Multi-Event Video Generation）时仍面临严峻挑战：

• 缺乏显式的时间控制：现有模型通常针对单事件生成进行优化，用户无法指定事件发生的具体时间、持续时间以及事件发生的顺序。
• 语义纠缠（Semantic Entanglement）：当使用包含多个事件的段落式提示词（Prompt）时，模型倾向于将不同时间段的语义概念混合。例如，描述“先倒麦片，再倒牛奶”时，模型可能会在倒麦片的画面中混入牛奶的视觉特征，导致文本与视频的时间对齐（Temporal Alignment）变差。
• 现有方法的局限性：
  • 微调方法：需要大量标注数据，且会改变预训练模型的分布。
  • 推理时注意力控制：部分现有方法通过硬掩码（Hard Masking）强制切换，导致片段边界处出现视觉不连续或伪影；部分方法依赖特定主体或运动，难以处理场景级变化。

2. 核心方法论 (Methodology)

作者提出了 Prompt Relay，一种推理时（Inference-Time）、即插即用（Plug-and-Play）、无需训练且无额外计算开销的方法。其核心思想是在交叉注意力（Cross-Attention）机制中引入一种时间路由机制。

2.1 基本设定

给定一组带有时间约束的文本提示序列 $\{(p_s, t_{start}^s, t_{end}^s)\}_{s=1}^N$，目标是让每个提示 $p_s$ 仅在指定的时间区间 $[t_{start}^s, t_{end}^s]$ 内影响视频生成，同时保持全局连贯性。

2.2 时间提示路由 (Temporal Prompt Routing)

在标准的交叉注意力公式中引入惩罚项 $C(Q, K)$：
$$\text{Attn}(\phi(z_t), \psi(P)) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d}} - C(Q, K)\right)V$$

• 机制：$C(Q, K)$ 的作用是抑制那些不属于同一时间区间的 Query（视频帧特征）和 Key（提示词 Token）之间的注意力。
• 效果：每个提示词仅指导其分配的时间段内的生成，防止语义概念“泄漏”到其他时间段。

2.3 边界注意力衰减 (Boundary-Attention Decay)

这是该方法的关键创新点，旨在解决硬掩码带来的边界不连续问题。

• 惩罚函数定义：
  $$C(i, j) = \text{ReLU}\left(\frac{|f(i) - m_s| - w}{\sigma}\right)^2$$
  其中 $f(i)$ 是查询 token 对应的帧索引，$m_s$ 是时间段的中心点，$w$ 是“自由注意力”窗口半径，$\sigma$ 控制衰减率。
• 软高斯惩罚：在时间段中心附近（窗口 $w$ 内），不施加惩罚（注意力自由）；随着时间距离增加，惩罚呈高斯分布平滑增加，逐渐抑制注意力。
• 与硬掩码的对比：
  • 硬掩码：在边界处强制切断注意力，导致交叉注意力突然切换，而自注意力仍锚定在上一段，造成视觉冲突（如人物突变）。
  • 边界衰减：在边界附近平滑地同时激活相邻的两个提示词，为模型提供一个渐进的交接区域（Gradual Handoff Region），使模型能共同规划过渡，从而避免视觉伪影。

2.4 全局提示 (Global Prompt)

为了解决分段生成可能导致的人物或场景风格漂移问题，方法中引入了一个全局提示（Global Prompt），为整个视频提供持续的上下文锚点，确保跨片段的视觉一致性。

3. 主要贡献 (Key Contributions)

1. Prompt Relay 框架：提出了一种无需修改架构、无需额外计算开销的推理时即插即用方法，实现了细粒度的多事件时间控制。
2. 边界注意力衰减机制：设计了一种基于软高斯惩罚的边界处理策略，有效解决了多事件切换时的语义干扰和视觉不连续问题，优于传统的硬掩码方法。
3. 性能提升：证明了该方法能显著提升时间提示对齐度，减少语义干扰，并意外地提升了整体视觉质量。

4. 实验结果 (Results)

• 实验设置：基于最先进的预训练模型 Wan2.2-T2V-A14B 进行测试，并与 Sora Storyboard, Veo 3.1, Kling 2.6 等模型进行对比。
• 评估指标：由于现有量化指标难以捕捉时间语义，作者进行了人类偏好研究（Human Preference Study），包含 20 个多事件场景，从三个维度评分（分数越低越好）：
  1. **时间提示对齐 **(Temporal Prompt Alignment)
  2. **过渡自然度 **(Transition Naturalness)
  3. **视觉质量 **(Visual Quality)
• 主要发现：
  • 对齐与过渡：Wan 2.2 + Prompt Relay 在时间对齐（1.10 vs 基线 4.00）和过渡自然度（1.17 vs 基线 3.50）上显著优于所有基线模型。
  • 视觉质量：Prompt Relay 甚至提升了基础模型 Wan 2.2 的视觉质量（2.83 vs 4.00）。这是因为注意力路由机制减少了不必要的竞争，使模型能更专注于当前的语义概念，从而生成更清晰的结构。
  • 对比：虽然 Kling 2.6 和 Veo 3.1 在绝对视觉质量上仍略高（受限于其骨干模型容量），但在多事件的时间控制上，Prompt Relay 方案表现最佳。

5. 意义与局限性 (Significance & Limitations)

• 意义：
  • 为电影级视频合成（Movie-grade Video Synthesis）迈出了关键一步，使得通过文本精确控制复杂叙事的时间顺序、持续时间和转场成为可能。
  • 提供了一种低成本、高效率的解决方案，无需重新训练庞大的视频模型即可实现精细控制。
• 局限性：
  • 如果局部提示词对持久性元素（如角色、物体）描述不一致，可能会出现视觉漂移。
  • 解决方案：通过引入全局提示（Global Prompt）作为共享上下文，可以完全缓解这一问题。

总结：Prompt Relay 通过巧妙的注意力机制修改，在不增加训练成本的前提下，成功解决了多事件视频生成中的“语义纠缠”和“时间失控”难题，实现了平滑、连贯且严格遵循时间顺序的视频生成。