PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation

用动态图像讲述故事的艺术，长期以来一直依赖于屏幕与观众之间一种简单且无形的契约：如果一个角色在场景一中拿起了一个杯子，那么当镜头切换到下一个角度时，那个杯子必须仍在他们手中。如果一个人在特写镜头中表现得愤怒，那么当镜头拉宽时，这种愤怒不应消失为呆滞的表情。几十年来，电影制作人一直使用严格的规则来维持这种连贯性，以确保物理世界和角色的情感旅程显得真实且完整。今天，新一代人工智能正在学习从零开始创作这些视频，编写自己的剧本并绘制自己的帧。但随着这些机器在生成令人惊叹的单一瞬间方面变得日益强大，一个关键问题仍悬而未决：当镜头切换时，它们能否讲好一个连贯的故事？

一组研究人员现在建立了一个专门的测试场来回答这个问题，其目标超越了简单的视觉美感检查，转而衡量整个叙事的连贯性。他们将这一新基准命名为 PersonaShot。它是为了评估多镜头视频生成而设计的，这是一个 AI 创建一系列相互关联的场景，而非仅仅是单个孤立剪辑的过程。研究人员发现，虽然目前的 AI 模型可以生成视觉上近乎完美的单个镜头，但它们经常无法维持将这些镜头联系在一起的逻辑和情感线索。角色可能会在房间里瞬间移动，物体可能会在没有原因的情况下改变状态，或者会出现没有任何叙事理由的突然情绪转变。这些错误会破坏观众的沉浸感，使一个潜在的故事变成一系列脱节的图像。

要理解为什么这很重要，首先必须理解制作一张漂亮的图片与讲述一个连贯的故事之间的区别。在传统的电影制作中，导演会确保如果角色在一个镜头中向左看，他们在反向镜头中则向右看，这种被称为“180度原则”的规则能让观众在空间中保持定位。同样，角色的情感弧线必须自然演进；除非故事提供了理由，否则一个人不会瞬间从痛哭变为大笑。现有的 AI 视频生成测试大多关注单帧是否清晰，或者短片运动是否平滑。它们很少检查当视频从一个角度切换到另一个角度时，角色的位置、所触碰物体的状态或其情感旅程是否保持一致。PersonaShot 的研究人员认为，如果不检查这些连接点，我们就无法真正知道 AI 是否具备叙事能力。

该团队构建了一个包含约 1,000 个多镜头片段的数据集，作为一项严苛的测试。他们并非简单地要求 AI 生成随机视频；相反，他们策划了需要特定类型连贯性的示例。他们寻找那些角色与物体互动、两人之间进行对话，或者相机移动以揭示新视角的场景。为了确保这些测试公平且准确，研究人员对数据进行了过滤，以保证面部清晰可见、同一角色出现在多个镜头中，且物体间的空间关系明确。这种精心的策划创建了一个包含约 5,000 个标注镜头的库，涵盖了广泛的叙事主题，从一名女性试图与一名神情忧郁的男子沟通，到一段烹饪并盛放食物的序列。

一旦测试数据准备就绪，研究人员就开发了一种新的方法来评定 AI 的表现。他们并没有依靠单一的通用型 AI 来评判视频，而是创建了一个由专业评估员组成的团队。可以将这想象成拥有一个专家团队，其中一人是物理学专家，另一人是表演与情感专家，第三人则是电影剪辑专家。第一位专家检查因果物理连贯性，提出类似这样的问题：女人在第一个镜头中放在桌上的锅，在第二个镜头中还在那里吗？角色相对于房间的大小是否保持不变？第二位专家专注于情感动力学，即角色的情感生活。这位评估员观察细微的面部表情变化，确保微笑不会发生不自然的闪烁，并且角色的情绪转变符合故事的发展。第三位专家分析电影语法，即电影制作人用来引导观众视线和理解的一套规则。这包括检查镜头切换是否遵循逻辑模式、角色是否正确地注视着彼此，以及剪辑节奏是否与动作节奏相匹配。

评估结果揭示了这些视频的视觉效果与它们讲述故事的能力之间存在显著差距。研究人员测试了几种最先进的视频生成系统，发现即使是最具视觉冲击力的模型，在叙事连贯性的基本功上也表现挣扎。例如，一个模型生成的视频具有极高的视觉保真度，意味着图像锐利、色彩鲜艳，但它却无法在镜头切换间保持角色情感状态的一致性。另一个模型设法保持了角色身份的稳定性，但经常打破空间布局规则，使得角色看起来像是未经相机跟随便移动到了另一个位置。研究表明，目前的 AI 系统擅长合成单个帧，但尚未能够跨越多个镜头维持对角色状态或物理世界的持久记忆。

或许最令人深思的发现是，通过高层提示词规划故事的能力并不自动转化为更好的连贯性。一些获得了详细的分镜头计划指导的系统，在保持物理世界一致性方面表现更好，因为显式引导通常能增强跨镜头的一致性。然而，即使是这些模型，在处理微妙的情感流动方面也表现吃力，因为情感评估暴露了多镜头序列中不稳定的面部动态和薄弱的情感轨迹。相反，一些仅给定单一、宽泛故事提示的系统有时能创造出更连贯的情感弧线，但研究发现，像 LTX-2.3 这样的全局提示系统在电影语法和身份识别方面保持了竞争力，而非在情感一致性方面表现卓越。这表明，挑战不仅在于遵循指令，更在于这些模型对于时间、因果关系和人类行为进行推理的基础能力。研究人员指出，虽然模型可以生成一个人表现忧伤的单个镜头，但它们往往无法理解这种忧伤应当在下一个镜头中持续或演进，从而导致表情出现突兀且生硬的转变。

为了确保这种新的测试方法可靠，研究人员将他们的自动化评估员与人类专家的判断进行了对比。他们邀请了十位领域专家，根据与 AI 评估员相同的标准对生成的视频进行评分。结果显示，人类专家与专门的 AI 评估员之间存在高度一致性。当人类指出一段视频违反了眼神接触规则或未能维持物体位置时，AI 评估员也给出了相同的结论。这种一致性赋予了该基准测试极高的可信度，证明它确实在测量它声称要测量的东西：以人为中心的叙事中的真实连贯性。这也表明，专门的评估员可以作为一个可靠的工具，供开发者在无需为每次测试都聘请人类评论团队的情况下，用于诊断并改进他们的模型。

研究结论指出，视频生成的下一步不仅仅是让图像变得更漂亮，而是要构建理解故事逻辑的系统。当前的这一代模型将每个镜头视为孤立的事件，忽略了将它们编织成叙事的纽带。研究人员建议，未来的进步将取决于那些能够随时间追踪物理状态、情感轨迹和电影结构的模型。通过提供一种清晰、可衡量的测试这些能力的方法，PersonaShot 为该领域提供了一份路线图。它将讨论的焦点从“AI 能否制作视频？”转向了“AI 能否讲述故事？”。目前的答案是，尽管技术正在飞速发展，但在多个镜头间编织一个连贯的、以人为中心的叙事，仍然是一个重大的挑战。未来的路径需要从生成孤立的美丽瞬间，转向构建持久、逻辑严密的现实世界，让角色及其故事在一致性和深度中不断演进。