VideoGen Model 1: Prompt Expansion Versus Formatting in Audiovisual Generation
在对 VideoGen Model 1 进行的受控试点研究中，与原始或仅经过重新格式化的提示词相比，创意提示词扩展显著提高了整体视听质量和提示词对齐得分（尤其是在由 VA-Judger 进行评估时），而视觉质量则基本保持不变。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
将简单的文本描述转化为视频，是一项处于语言与视觉艺术交汇点的任务。为了让计算机生成动态图像，它必须将文字转化为一系列能够讲述故事的帧序列，并包含光影、运动和声音。挑战在于人类简短的想法与机器对具体指令的需求之间存在着鸿沟。像“桌上的蜡烛”这样的提示词对人来说很清晰，但对于视频生成器而言，它缺乏决定光线如何落下、火焰如何跳动或房间里听起来是什么样的细节。研究人员长期以来一直怀疑，提供更详细、更有结构的指令会产生更好的结果，但问题在于，这种改进究竟是仅仅源于对词汇进行了正确的组织，还是源于添加了原始提示词中所不具备的新颖、富有创造性的细节。
VideoGen 的一个研究小组致力于通过测试他们自己的视频生成模型（称为 Model 1）来回答这个问题。他们设计了一个受控实验，以分离“格式化行为”与“扩展行为”。在实验设置中，他们选取了三十个涵盖广泛主题（从商业广告到自然场景及幻想世界）的不同文本提示词。针对每个提示词，他们创建了三个版本输入给计算机。第一个版本是用户编写的原始文本，完全保持原样。第二个版本保留了原始想法，但将其重新排列成一种计算机能理解的特定结构，将指令组织成视觉描述、音效和背景音乐等字段，而没有添加任何新的创意内容。第三个版本则使用了一套复杂的写作系统来同时完成这两项工作：它不仅将提示词组织进要求的结构中，还添加了丰富的创意细节，描述了摄像机角度、材料纹理、角色的具体动作以及音频环境的细微差别。
研究人员随后生成了九十段短视频剪辑，确保所有其他因素都保持一致。他们使用了相同的计算机硬件、相同的生成过程随机起点，并对所有三个版本的每一个提示词使用了相同的设置。这种严格的控制意味着，视频之间的任何差异都可以完全归因于文本指令的编写方式。为了评估结果，他们使用了两个不同的自动化系统对每个片段进行评分。这些系统根据五个类别对视频进行一到十分的评分：视频与原始想法的匹配程度、视听一致性、声音质量、图像质量，以及场景的完整性与连贯性。
结果显示，扩展后的提示词具有明显优势。与使用“仅格式化但未改变内容”的提示词生成的视频相比，由扩展且详细的指令生成的视频获得了更高的综合评分。其中一个评估系统给出的扩展版本平均得分高出半点以上，这一差异在统计学上是显著的。另一个系统也显示出了进步，尽管差距较小且该特定结果的确定性较低。最显著的提升体现在视频对提示词意图的遵循程度上；扩展后的指令帮助计算机比单纯依靠格式化更准确地理解并执行特定的愿景。
有趣的是，视频图像本身的质量在不同方法之间并没有发生太大变化。无论提示词是仅经过格式化还是经过充分扩展，视觉清晰度和细节度都保持在大致相同的水平。然而，音频质量在扩展版本中有了显著提升。对音频进行评分的系统给扩展片段的平均分比仅格式化的片段高出了整整一分。这表明，通过添加关于声场、背景音乐以及动作与噪音之间关系的具体描述，计算机能够创造出更具说服力且更高质量的音频体验。这项研究表明，虽然仅仅组织文本有所帮助，但真正的价值来自于填补空白的创意扩展，它将一个模糊的想法转变为丰富的、多感官的指令，使机器能够更精准地遵循。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。