论文技术总结：生成式 AI 用于视频预告片合成——从提取式启发到自回归创造力

论文标题：Generative AI for Video Trailer Synthesis: From Extractive Heuristics to Autoregressive Creativity
作者：Abhishek Dharmaratnakar, Srivaths Ranganathan, Debanshu Das, Anushree Sinha (Google LLC)
发表场合：WSDM 2026 Workshop & IEEE WACV 2026 Workshop

---

1. 问题定义 (Problem Formulation)

本文旨在探讨视频预告片生成（Video Trailer Generation, ATG）领域的范式转变。核心问题在于区分视频摘要（Video Summarization）与视频预告片生成的本质差异：

• 目标冲突：视频摘要旨在最大化信息覆盖率并减少冗余，帮助用户快速了解剧情（Utility-driven）；而预告片生成是一个对抗性和说服性的任务，旨在激发好奇心、唤起特定情感（如恐惧、兴奋），并遵循电影叙事节奏，甚至需要故意隐瞒关键情节以制造悬念。
• 现有挑战：
  • 传统方法依赖低层特征工程（运动强度、音频能量）和启发式规则，缺乏对整体叙事结构的理解。
  • 早期的监督深度学习模型（CNN/RNN）虽能分类“值得剪辑”的镜头，但难以构建连贯的情感叙事。
  • 随着用户生成内容（UGC）平台的爆发，对大规模、自动化、高转化率的预告片制作需求激增，传统人工编辑无法满足。

2. 方法论演进 (Methodology Evolution)

论文提出了一种基于生成能力的分类法，将 ATG 的发展划分为三个阶段：

2.1 前生成式基础 (Pre-Generative Foundations)

• 情感与点过程模型：利用生理指标（如眼动方差）作为吸引力代理。通过“自校正点过程”（Self-Correcting Point Process）建模观众注意力的衰减与刺激需求，量化镜头的“预告片价值”。
• 图卷积网络 (GCN)：将电影视为拓扑图（节点为镜头，边为语义/时间关系）。结合剧本结构（如"Save the Cat"节拍表），利用 GCN 聚合邻居镜头信息，确保选出的镜头符合叙事弧光，而非仅仅是高能量片段。

2.2 LLM 编排 (LLM Orchestration)

这是生成式时代的第一阶段，利用大语言模型（LLM）作为“创意总监”来编排多阶段流水线：

1. 准备与推理：LLM 分析剧本，进行反剧透过滤，将叙事分割为子情节。
2. 视觉检索：利用 CLIP 模型，将 LLM 生成的文本描述（如“黄昏下的尘土农场”）与视频帧进行语义匹配，替代传统的信号匹配。
3. 旁白生成：LLM 从头合成符合预告片风格的旁白脚本，并通过 TTS（如 Coqui xtts-v2）生成配音。
4. 配乐合成：LLM 生成音乐提示词，驱动文本转音频模型（如 MusicGen）创作符合情感弧光的背景音乐。

• 混合模式：引入“人机协作”机制，人类编辑通过反馈微调 AI 选择，确保事实准确性（特别是在非虚构领域）。

2.3 端到端神经合成 (End-to-End Neural Synthesis)

• 预告片生成 Transformer (TGT)：将预告片生成重构为序列到序列（Seq2Seq）任务。
  • Trailerness Encoder：预测每个镜头的“预告片得分”并作为连续位置编码注入。
  • Context Encoder：利用自注意力机制理解镜头间的长程依赖（如枪声与角色跌倒的关系）。
  • 自回归解码器：核心创新。不再独立选择 Top-K 镜头，而是基于已生成的镜头序列，自回归地预测下一个镜头的特征表示，从而学习镜头的艺术排序（如：建立镜头→动作→反应），而非简单的 chronological 顺序。

2.4 基础模型前沿 (The Frontier: Foundation Models)

• Sora 与 Veo 2：基于潜在扩散模型（Latent Diffusion Models），支持从文本提示生成高保真、符合物理定律的视频。
• 应用：
  • 抽象填充：生成缺失的连接镜头（如城市航拍）以完善叙事。
  • 风格迁移：将白天场景重生成夜晚场景以适配恐怖氛围，或进行动态风格化。

3. 关键贡献 (Key Contributions)

1. 新分类法：提出了从“启发式提取”到“自回归创造力”的 ATG 技术分类体系，明确了不同阶段的技术特征（从规则/聚类到 GCN，再到 LLM 编排和 Transformer 生成）。
2. 架构创新：详细阐述了 TGT (Trailer Generation Transformer) 架构，证明了自回归生成在捕捉剪辑语法和叙事流方面优于传统的排名/选择方法。
3. 评估体系重构：指出传统指标（Precision/Recall）在生成式任务中的局限性，提出了四维评估框架：
   • 保真度 (Fidelity)：使用 FVD (Fréchet Video Motion Distance) 评估合成镜头的连贯性。
   • 叙事性 (Narrative)：引入“节拍对齐分数”和基于 LLM 的因果性评分。
   • 多模态同步：评估视听同步（AV-Sync）和旁白与画面的语义一致性。
   • 安全性：针对基础模型的“幻觉”风险，提出事实性评分和偏见检测。
4. 经济与伦理分析：分析了 UGC 平台内容速度（Content Velocity）的需求，探讨了大规模推理的算力成本瓶颈，并强调了“广告真实性”和“来源追踪”的伦理挑战。

4. 实验结果 (Results)

• 基准测试：在 MAD 基准测试中，TGT 模型取得了 52.38% 的 F1 分数，显著优于之前的 SOTA 方法（CLIP-It: 41.73%, CCANet: 31.63%）。
• 编辑质量：在莱文斯坦距离（Levenshtein Distance, LD）指标上，TGT 生成的序列与专业人工剪辑的相似度更高（21.18 vs 95.58），表明其生成的镜头顺序更符合人类编辑逻辑。
• 多模态能力：LLM 编排管道成功实现了从文本到视频、音频、旁白的端到端生成，能够根据情感基调定制背景音乐和配音。

5. 意义与展望 (Significance & Roadmap)

• 行业影响：该技术将预告片制作从低产量的手工艺术转变为高产量、自动化的工业流程，使“微创作者”能够与专业工作室竞争，极大提升了 UGC 平台的算法分发效率。
• 个性化生成：未来系统可根据不同受众画像（如动作片爱好者 vs. 浪漫剧爱好者）实时生成定制化的微预告片，最大化点击率（CTR）。
• 未来研究方向：
  1. 叙事感知 Transformer：将图结构的故事节拍直接融入 Transformer 注意力机制。
  2. 评估危机：建立标准化的生成式评估协议，平衡视觉保真度与叙事一致性。
  3. 真实性与治理：解决基础模型的幻觉问题，确保合成内容不误导观众，并实施 C2PA 等来源追踪技术。
  4. 经济可行性：通过模型蒸馏和边缘计算优化，降低大规模部署的算力成本。

总结：本文标志着视频预告片生成领域从“提取式”向“生成式”的根本性转变。未来的系统不仅是剪辑工具，更是具备全栈创作能力的智能体，能够理解叙事逻辑、合成多模态内容，并在伦理约束下实现大规模个性化分发。