ShotVerse: Advancing Cinematic Camera Control for Text-Driven Multi-Shot Video Creation
ShotVerse 引入了一种“先规划后控制”的框架，该框架利用基于视觉语言模型（VLM）的规划器和专门的控制器，并辅以一个新策划的高保真数据集，从而实现从文本提示到精确、一致且自动化的电影级多镜头视频生成。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个任何人只要通过描述场景文字就能成为电影导演的世界。多年来，人工智能一直在学习如何将这些描述转化为动态图像，创造出猫在行走或汽车在行驶的短片。这项技术让制作视频变得触手可及。然而，在创造单个连续片段与制作一部完整的电影之间，存在着巨大的鸿沟。一部真正的电影不仅仅是一个长镜头；它是许多不同镜头组成的集合，每个镜头都有其独特的摄像机角度、运动和时机。在电影行业中，决定摄像机如何移动的人——摄影师——与编剧一样重要。他们决定何时放大、何时横移扫过风景，或者如何从全景切换到特写，以有效地讲述故事。虽然目前的 AI 可以遵循“摄像机向左移动”这类简单的指令，但它难以理解多镜头场景中那种复杂且协调的舞蹈。它往往无法在不同的剪辑之间保持摄像机运动的一致性，也无法将导演模糊的想法转化为精确、专业的摄像机路径。
来自香港科技大学和腾讯视频的研究团队开发了一种名为 ShotVerse 的新系统，旨在解决这个特定问题。他们的工作重点在于教 AI 扮演专业的摄影师，能够根据书面的故事规划并执行一系列不同的摄像机镜头。研究人员并没有试图强迫 AI 仅从文本中猜测摄像机的运动，也没有要求人类手动绘制每一条摄像机路径，而是创建了一个两步走的流程。首先，一个“规划器”（planner）阅读故事并确定每个镜头中摄像机应该如何移动。然后，一个“控制器”（controller）利用这些具体的计划来生成实际的视频。他们成功的关键不仅在于软件，还在于用于教导它的数据。他们意识到，要学习如何制作电影，AI 需要看到成千上折个例子，在这些例子中，故事、摄像机路径和最终视频是完美匹配的。
为了建立这一基础，该团队收集了超过 20,000 个来自高质量电影、电视剧和纪录片的片段。这些片段包含了具有多个摄像机剪辑的复杂序列。研究人员随后创建了一种新方法来分析这些片段，并提取出每个镜头中摄像机采取的精确路径。他们将这些路径对齐到一个统一的坐标系中，确保一个镜头中的运动相对于下一个镜头而言是合理的。这个过程创建了一个名为 ShotVerse-Bench 的庞大新数据集，它作为 AI 的训练场。利用这些数据，他们训练了这个由两部分组成的系统。规划器使用大型视觉语言模型，学习阅读如“城市天际线的戏剧性揭示”之类的描述，并自动生成一条摄像机需遵循的精确 3D 路径。它将故事分解为单个镜头，决定每个镜头的角度、距离和运动。随后，控制器获取这些路径并生成视频，确保摄像机完全按照计划移动，同时保持场景的视觉质量和一致性。
这一方法的结果是显著的。在测试时，该系统能够生成高度准确遵循摄像机指令的多镜头视频，表现远优于以往依赖猜测或简单模板的方法。生成的视频展现出对电影节奏的清晰理解，镜头之间的过渡平滑，且在整个序列中保持了一致的摄像机行为。研究人员发现，通过将摄像机运动的规划与视频的生成分离，他们可以实现以前无法实现的控制水平。该系统成功处理了复杂的场景，例如在向后移动的同时追踪主体，或从全景切换到特写而不丢失空间感。它还证明了 AI 可以学习电影的“语法”，不仅理解如何移动摄像机，还理解如何通过移动摄像机来有效地讲述故事。
这项工作代表了我们思考 AI 与视频创作方式的一种转变。它超越了仅仅生成随机或静态运动，转向一种更具结构化、更具意图性的方法，这种方法模仿了人类的电影制作。研究人员表明，通过为 AI 提供正确类型的数据——即故事、摄像机计划和视觉输出都保持一致的数据——自动化处理复杂的电影摄像机控制任务是可能的。虽然该系统目前专注于具有多个镜头的单个场景，但这种方法的成功预示着未来 AI 可以协助创作更长、更复杂的叙事。这项研究证实，通过正确的工具和数据，人工智能可以学习成为电影艺术的真正协作伙伴，处理摄像机运动的技术细节，从而让创作者能够专注于故事本身。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。