OmniScript: Towards Audio-Visual Script Generation for Long-Form Cinematic Video

1. 研究背景与问题定义 (Problem)

核心挑战：
现有的多模态大语言模型（MLLMs）在短视频理解（如视频描述、问答）方面表现出色，但在将长篇幅电影或剧集转化为详细、时间对齐的剧本方面仍存在巨大挑战。这一任务被称为 Video-to-Script (V2S)。

具体难点：

1. 数据稀缺： 缺乏高质量的长视频标注数据。将长视频细粒度地解析为包含场景、角色动作、对话、表情和音频线索的剧本，需要极高的人力成本。
2. 评估困难： 传统指标（如 BLEU、ROUGE 或简单的 tIoU）无法有效评估这种开放词汇、层级结构复杂且包含精确时间戳的生成任务。
3. 计算瓶颈： 长视频生成需要处理极长的上下文，且描述细节（如 2 分钟视频需约 4000 tokens）导致推理成本和时间爆炸。
4. 多模态理解缺失： 现有模型往往忽略音频线索（如背景音乐、音效、画外音），而这些对于理解电影叙事至关重要。

任务定义：
OmniScript 旨在接收长视频输入，输出一个分层的、时间对齐的结构化剧本。输出包含：

• 元数据 (Meta)： 标题、总时长、角色列表。
• 场景 (Scene)： 场景 ID、地点、时间（白天/夜晚）、氛围。
• 事件 (Event)： 时间戳、角色、动作、表情、对话、音频线索（音效/BGM）。

---

2. 方法论 (Methodology)

OmniScript 是一个 80 亿参数（8B）的全模态（音频 + 视觉）语言模型，其核心由数据构建、模型架构和训练策略三部分组成。

2.1 数据构建：记忆增强的渐进式标注流水线

为了解决长视频叙事连贯性和角色重识别的问题，作者提出了一种基于角色档案管理器 (Character Profile Manager, CPM) 的自动标注流程：

1. 分段与推理： 将长视频按场景切分为短片段（<5 分钟）。利用强模型（如 Gemini-2.5-Pro）结合 CPM 进行以角色为中心的剧情推理。CPM 存储跨片段的角色信息（如服装变化、关系），确保角色身份的一致性。
2. 细粒度剧本生成： 将全局一致的剧情描述与原始音视频输入结合，利用 MLLM 生成包含细粒度线索（动作、表情、音频）的剧本。
3. 思维链 (CoT) 构建： 利用强 LLM（如 DeepSeek）从生成的剧本中逆向蒸馏出“中间思考过程”（剧情总结、角色关系映射），构建 Video → Thinking → Script 的 CoT 数据集，用于增强模型的推理能力。

2.2 模型架构：OmniScript

• 基础模型： 基于 Qwen3-VL (8B) 构建。
• AV-DeepStack 注入： 引入音频编码器（Whisper），将音频特征与视频特征在时间轴上严格对齐。采用 DeepStack 策略，将视听 Token 注入到 LLM 的多个中间层，而非仅在输入层，实现深度的跨模态交互。
• 推理引导的结构化解码： 模型不直接生成事件字段，而是先生成中间推理轨迹（剧情进展、角色关系），以此作为结构支架，再分步生成具体的场景和事件细节。

2.3 训练策略：渐进式四阶段 + 强化学习

1. 模态对齐 (Modality Alignment)： 冻结主干，仅训练音频投影层，使音频特征与视觉 - 文本空间对齐。
2. 多模态预训练 (Multimodal Pretraining)： 在 240 万条双语影视数据上进行全量微调，任务包括 ASR、视频摘要、密集描述和时间定位。
3. 监督微调 (SFT)： 使用 4.5 万条高质量标注数据，采用 CoT 范式进行结构化剧本生成训练。
4. 强化学习 (RL)： 基于人类标注数据，使用 GRPO 算法进行后训练。
   • 创新点： 提出了时间分段奖励机制 (Temporally Segmented Rewards)。不同于全局语义相似度，该机制对生成的剧本进行事件级的一对一匹配，精确惩罚细粒度的召回和精度错误，从而优化长序列生成的质量。

2.4 长视频处理策略

针对超过 5 分钟的视频，提出了两种扩展策略：

• 策略 1 (LCE)： 直接扩展上下文窗口，利用长视频监督数据（包含全局剧情和记忆修正标签）进行端到端训练。
• 策略 2 (TSG)： 两阶段生成。
  • 阶段 1：剧情分割模型预测分段点、剧情摘要和角色关系。
  • 阶段 2：将分段视频及其结构提示输入 OmniScript 生成局部剧本，最后合并。
  • 优势： TSG 策略有效避免了长上下文导致的“灾难性遗忘”和性能崩塌，表现出极强的长度不变性。

---

3. 评估基准与指标 (Benchmark & Metrics)

作者构建了首个针对 V2S 任务的基准，包含 10 部全长影视作品（19.9 小时），涵盖动画、动作、悬疑等类型，细分为 1400 个场景和 1.68 万个事件。

评估框架：时间感知的层级评估 (Temporally-Aware Hierarchical Evaluation)
为了解决传统 tIoU 对语义准确但时间稍偏的预测惩罚过重的问题，提出了四阶段评估流程：

1. 事件对齐： 基于语义相似度（对话 + 动作）和动态规划进行事件匹配，而非单纯的时间重叠。
2. 角色映射： 利用 LLM 解决开放词汇的角色名称对齐问题（如将 "officer" 映射到 "John"）。
3. 字段级评估： 对对话、动作、表情、音频线索进行细粒度的语义相似度评分。
4. 时间边界评估： 独立计算时间 IoU 命中率 (tIoU Hit Rate)。

---

4. 实验结果 (Results)

4.1 5 分钟视频表现

• 参数效率： OmniScript (8B) 在事件级和场景级指标上显著优于参数量大得多的开源模型（如 Qwen3VL-235B）。
• 对比闭源模型： 在对话理解 (Dialogue F1) 和时间定位 (tIoU) 上，OmniScript 的表现与 Gemini 3-Pro 等顶级闭源模型相当甚至更优。
  • 例如：在 5 分钟视频上，OmniScript 的 Overall F1 达到 37.7，tIoU@0.1 达到 69.3，优于 Gemini 3-Pro (64.4)。
• 音频的重要性： 消融实验显示，移除音频输入后，对话识别准确率从 68.2% 暴跌至 52.0%，证明了音频模态在电影剧本生成中的关键作用。

4.2 长视频表现 (10-45 分钟)

• 上下文悬崖 (Context Cliff)： 大多数模型（包括 Gemini 系列和 OmniScript-LCE）在视频超过 30 分钟时性能急剧下降（“体积崩塌”）。
• TSG 策略的优越性： OmniScript-TSG 策略表现出惊人的长度不变性。随着视频时长增加，其性能曲线保持平稳，未出现显著退化，在 40-45 分钟的视频上依然保持高 F1 分数，而竞品模型则严重衰退。

4.3 鲁棒性分析

• 字幕掩码测试： 当隐藏字幕时，Qwen3VL 等视觉主导模型性能崩溃（对话 F1 从 58.6 降至 7.7），而 OmniScript 和 Gemini 等全模态模型仅出现适度下降，证明其具备真正的视听推理能力，而非依赖字幕捷径。

---

5. 主要贡献与意义 (Contributions & Significance)

1. 首个 V2S 任务与基准： 定义了将长电影转化为结构化剧本的新任务，并发布了首个包含细粒度时间戳、多模态字段（动作、表情、音频）的高质量人工标注基准。
2. 全模态模型架构： 提出了 OmniScript，通过 AV-DeepStack 和 CoT 推理，实现了 8B 参数模型在长视频理解上媲美甚至超越更大参数模型和顶级闭源模型的性能。
3. 创新的训练与评估方法：
   • 提出了记忆增强的数据标注流水线，解决了长视频角色一致性难题。
   • 设计了时间分段奖励机制，有效解决了长序列生成中的细粒度优化问题。
   • 建立了层级化评估框架，更公平地衡量语义准确性和时间定位。
4. 长视频处理的突破： 证明了通过“规划 - 写作”两阶段策略（TSG），可以有效突破长视频生成的上下文瓶颈，为超长视频理解提供了新的范式。

总结：
OmniScript 不仅是一个高性能的视频转剧本模型，更展示了在长篇幅、多模态叙事理解中，精细的模态对齐、结构化的推理过程以及针对长序列的优化策略的重要性。它为自动化影视分析、内容检索和辅助创作提供了强有力的技术基础。