💻 computer science

KD-CVG: A Knowledge-Driven Approach for Creative Video Generation

本文针对现有文生视频模型在创意视频生成中面临的语义对齐模糊和运动适应性不足两大挑战，提出了一种利用广告创意知识库（ACKB）驱动的方法（KD-CVG），通过语义感知检索（SAR）和多模态知识参考（MKR）模块，显著提升了产品卖点与视频内容的关联性及运动生成的真实感。

原作者： Linkai Liu, Wei Feng, Xi Zhao, Shen Zhang, Xingye Chen, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Yuchen Zhou, Zipeng Guo, Chao Gou

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Linkai Liu, Wei Feng, Xi Zhao, Shen Zhang, Xingye Chen, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Yuchen Zhou, Zipeng Guo, Chao Gou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 KD-CVG 的新系统，它的核心任务是：把电商广告里的“卖点文字”自动变成生动、真实的“创意视频”。

想象一下，你是一家牙膏公司的市场经理。你手里有一句话：“这款牙膏能平衡口腔酸碱度，含有天然薄荷精华。”
以前的 AI 视频生成工具听到这句话，可能会生成一个奇怪的画面：比如牙膏在天上飞，或者薄荷叶像石头一样硬邦邦地砸进水里。

这篇论文就是为了解决 AI 生成广告视频时的两个“大毛病”，并给出了一套聪明的解决方案。

🌟 核心痛点：AI 为什么以前做不好？

作者把问题比作两个“拦路虎”：

听不懂“弦外之音”（语义对齐模糊）
- 比喻：就像你让一个不懂行情的画家画“清新”，他可能只画了一片绿色的草地，却画不出“薄荷叶在风中摇曳”那种清凉的感觉。
- 现实：电商的卖点文字（如“平衡 pH 值”）很抽象，AI 很难理解这些文字应该对应视频里的什么具体动作（比如水滴落下、薄荷叶舒展）。
动作太“假”（运动适应性不足）
- 比喻：就像让一个刚学跳舞的人去演专业的花样滑冰，他可能会摔得四脚朝天，或者动作僵硬得像机器人。
- 现实：通用的 AI 视频模型不懂电商产品的特性。比如牙膏泡沫应该是细腻绵密的，水滴应该是自然下落的。如果 AI 生成的水滴像火箭一样飞上天，或者牙刷变形了，那广告就废了。

🛠️ 解决方案：KD-CVG 的“超级大脑”

为了解决这些问题，作者给 AI 装了一个**“电商创意知识库” (ACKB)，并设计了两个核心模块，我们可以把它们想象成“老练的策划师”和“严谨的导演”**。

1. 第一步：策划师出谋划策 (SAR 模块)

全称：语义感知检索 (Semantic-Aware Retrieval)
比喻：想象你有一个超级图书管理员。当你输入“薄荷精华”时，普通的搜索只会给你找带“薄荷”字的书。但这个管理员（SAR）懂得**“关系网”**。
- 它知道“薄荷”和“清凉”、“绿色”、“水滴”是好朋友。
- 它利用一种叫“图注意力网络”的技术（就像大脑神经元连接），在巨大的知识库里迅速找到最匹配的参考视频和脚本。
- 结果：它不再瞎猜，而是告诉 AI：“嘿，以前有个视频里，薄荷叶配合水滴落下的动作，完美表达了‘清新’，我们参考那个！”

2. 第二步：导演指导动作 (MKR 模块)

全称：多模态知识参考 (Multimodal Knowledge Reference)
比喻：有了策划师给的参考素材，现在需要一位**“动作指导导演”**。
- 写剧本：导演会先拆解参考视频，提取出“主角是谁（薄荷叶）”、“背景在哪（水杯）”、“怎么动（轻轻飘落）”。然后，他把这些动作模板“移植”到你的新产品上，确保动作既符合物理规律（水往低处流），又符合产品特性。
- 微调动作：为了让动作更自然，导演还用了“运动蒸馏”技术。这就像给 AI 做**“肌肉记忆训练”**，让它模仿参考视频中水滴的轨迹，而不是凭空乱画。

🚀 最终效果：从“乱画”到“大片”

通过这套组合拳，KD-CVG 实现了：

更懂你：生成的视频能精准对应“平衡酸碱度”这种抽象概念，而不是乱画。
更真实：水滴就是水滴，泡沫就是泡沫，没有那种“反重力”的奇怪变形。

实验数据说话：
作者拿它和目前最厉害的 AI 视频模型（如 Open Sora, Show-1）比了比。

质量：在“动作流畅度”和“文字匹配度”上，KD-CVG 得分最高。
效率：生成一个视频只需要 102 秒，比某些竞品快得多，而且质量更好。
用户反馈：让人类评委打分，大家觉得 KD-CVG 生成的视频最像真正的广告，最吸引人。

💡 总结

简单来说，这篇论文就是给 AI 视频生成器建了一个“电商行业图书馆”，并教它**“如何像老手一样思考”**。

以前，AI 是“盲人摸象”，看到“牙膏”就乱画；现在，通过 KD-CVG，AI 变成了“经验丰富的广告导演”，它知道怎么把“天然薄荷”变成“清凉的水滴”，把“去牙菌斑”变成“洁白的泡沫”，从而自动生产出高质量的电商广告视频。

这对于电商行业来说，意味着以后做广告视频可能不再需要昂贵的拍摄团队，AI 就能帮你搞定既专业又创意的内容！

1. 研究背景与问题定义 (Problem)

背景：
创意生成（Creative Generation, CG）利用生成模型自动制作突出产品特性的广告内容。虽然文本和图像生成已取得显著进展，但创意视频生成（Creative Video Generation, CVG），特别是针对电商场景的“卖点文本到视频（Text-to-Video, T2V）”任务，仍处于探索不足的状态。

核心挑战：
现有的通用 T2V 模型在电商广告视频生成中面临两大主要瓶颈：

语义对齐模糊 (Ambiguous Semantic Alignment)：
- 电商卖点文本（如“平衡口腔 pH 值”、“严选天然薄荷精华”）通常语义抽象，与具体的视频画面缺乏直接的显式关联。
- 通用模型难以捕捉文本与视频内容之间微妙的语义联系（例如，用“水滴”和“薄荷叶”的细微运动来间接传达牙膏的卖点），导致生成的视频无法准确反映产品特性。
运动适应性不足 (Inadequate Motion Adaptability)：
- 不同产品根据其卖点需要展示独特的动态（如水流、旋转、刷牙动作等），且要求高度逼真。
- 通用 T2V 模型缺乏电商场景特有的运动先验知识，导致生成的视频出现非物理的运动（如违背重力的水滴）或物体形变（如扭曲的牙刷）。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 KD-CVG 框架，其核心在于构建了一个广告创意知识库 (Advertising Creative Knowledge Base, ACKB)，并设计了两个关键模块：语义感知检索 (SAR) 和 多模态知识参考 (MKR)。

2.1 广告创意知识库 (ACKB)

构建过程： 从主流电商平台收集了 58,000 个广告视频，经过低质量过滤、水印去除（ProPainter）和卖点文本提取（Qwen2-VL），最终构建了包含 10,000 个文本 - 视频对 的高质量数据集。
特点： 覆盖 377 种日常产品（如牙刷、面膜），平均时长 3 秒，分辨率 240p-2120p。利用 CogVLM2 生成了脚本描述以增强语义参考。

2.2 语义感知检索模块 (Semantic-Aware Retrieval, SAR)

旨在解决语义对齐模糊问题。

图注意力网络 (SC-GAT)： 将卖点文本空间形式化为图 $G=(V, E)$ ，节点为文本，边为语义关系。利用 CLIP 编码文本嵌入，通过缩放点积注意力机制计算卖点之间的语义相关性。
强化学习优化： 引入策略梯度强化学习，以生成的脚本与真实脚本之间的 CIDEr 分数作为奖励信号，优化 SC-GAT 的注意力权重，从而更精准地检索与输入卖点最相关的参考视频和脚本。
作用： 从 ACKB 中检索出语义相关的参考内容，增强模型对卖点文本的理解。

2.3 多模态知识参考模块 (Multimodal Knowledge Reference, MKR)

旨在解决运动适应性不足问题，基于 SAR 的检索结果进行两阶段生成：

渐进式脚本生成 (Progressive Script Generation)：
- 语义结构解析： 将检索到的最佳参考脚本分解为主体 ( $S_{subj}$ )、场景 ( $S_{scene}$ ) 和运动模式 ( $S_{mot}$ )。
- 运动保持适配： 保持参考视频中的运动模板 ( $S_{mot}$ ) 不变，仅通过提示工程将主体和场景适配到目标产品特征。
- 上下文感知合成： 利用大语言模型 (LLM) 结合运动先验、适配后的组件和语义上下文，生成最终的视频脚本。
运动先验蒸馏 (Motion Prior Distillation)：
- 差分运动编码： 在潜在空间计算帧间运动向量，通过线性插值实现连续的运动动力学建模。
- 运动蒸馏损失： 引入损失函数最小化目标运动与预测运动梯度之间的差异，确保帧间运动的时序连贯性。
- MR-LoRA： 将运动参考的低秩适配 (Low-Rank Adaptation) 集成到时空 DiT (ST-DiT) 架构的时间注意力块中，实现参数高效微调。

3. 主要贡献 (Key Contributions)

提出 KD-CVG 框架： 首个能够直接将电商卖点文本转化为高质量广告创意视频 (ACV) 的框架，并开源了配套的创意知识库。
设计 SAR 模块： 利用图注意力网络和强化学习检索语义相关参考，显著改善了卖点文本的理解和文本 - 视频的一致性。
引入 MKR 模块： 利用多模态先验（特别是运动先验）生成符合物理规律的动态视频，有效解决了电商场景下 T2V 模型的运动适应性问题。
开源资源： 发布了包含 10K 条数据的 ACKB 数据集及代码，推动了该领域的研究。

4. 实验结果 (Results)

4.1 定量评估

指标表现： 在文本对齐、时序一致性、动态程度和运动平滑度等指标上，KD-CVG 均优于 SOTA 模型（如 Open Sora, VideoCrafter2, Show-1）。
综合得分： KD-CVG 的 Min-Max 综合得分为 81.80%，显著高于基线模型（Open Sora 为 47.06%）。
消融实验： 证明了 SAR 和 MKR 模块的必要性。仅使用基础模型得分为 33.33%，加入 SAR 提升至 53.54%，加入 MKR 后进一步提升至 83.12%。

4.2 定性评估

视觉效果： 生成的视频在运动真实感和流畅度上明显优于其他模型。例如，能够准确生成符合物理规律的水滴下落、牙刷清洁动作，避免了非物理形变。
用户研究： 27 名参与者在文本对齐、视频质量、运动规律性和卖点突出程度四个维度进行打分（1-5 分）。KD-CVG 在所有维度均获得最高分（如运动规律性 3.81 vs VideoCrafter2 的 2.26）。

4.3 效率

推理时间： KD-CVG 的推理时间为 102 秒，虽然略高于 Open Sora (52 秒)，但远低于 Show-1 (3692 秒) 和 VideoCrafter2 (161 秒)，在生成质量和效率之间取得了良好平衡。

5. 意义与总结 (Significance)

填补领域空白： 该工作首次系统性地解决了电商广告视频生成中“语义模糊”和“运动失真”的痛点，将通用的 T2V 技术成功迁移至垂直的电商领域。
知识驱动范式： 证明了引入外部知识库（ACKB）和结构化检索（SAR）对于提升生成模型在特定领域表现的重要性，为未来的领域自适应生成模型提供了新思路。
实际应用价值： 生成的视频不仅语义准确，而且运动自然，能够直接用于电商平台的商品展示，具有极高的商业应用潜力。
开源贡献： 提供的 ACKB 数据集和代码为后续研究提供了宝贵的基准和资源。

综上所述，KD-CVG 通过构建高质量知识库并结合语义检索与运动先验蒸馏，成功实现了从抽象卖点文本到高质量、高相关性电商广告视频的自动化生成。