Computational spatiality: virtual production, generative media and the politics of screen space

几十年来，电影的魔力一直依赖于一个简单的划分：摄像机捕捉真实的物理世界，而剪辑师将这些碎片缝合在一起以讲述故事。即使电影制作人利用模型或绘画背景构建虚构世界，最终呈现的图像也是唯一重要的东西。演员身后的空间要么是一个物理场所，要么是一张平面图片。今天，这种划分正在消融。两种强大的技术正在重塑屏幕世界的构建方式，但它们的方式有着本质的区别。一种被称为“虚拟制片”（virtual production）的方法，将数字环境视为一个可以实时进入并进行拍摄的物理布景。另一种是“生成式媒体”（generative media），它利用人工智能来创造看起来真实、但基于模式和概率而非固定蓝图的图像。理解这两种方法之间的区别，不再仅仅是工程师的技术细节；它改变了谁有权决定一个场景的面貌，导演究竟拥有多少控制权，以及我们在屏幕上看到的究竟是哪种现实。

由研究人员 Rui Gao、Yiwei Zhao 和 Weice Yang 进行的一项新研究，通过引入他们称之为“计算空间性”（computational spatiality）的概念，探讨了这一转变。他们不再询问一个场景是真实的还是虚假的，而是询问这个空间本身是如何组织和控制的。研究人员认为，我们正在远离一个“最终图像是唯一目标”的系统。取而代之的是，我们现在拥有一个系统，其中的空间是一个活生生的、可编辑的可能性场域，它在摄像机开始拍摄之前就已经存在了。这个场域并非中立的。它受到软件、构建工具的人以及嵌入代码中的规则的影响。研究表明，虽然这些技术为电影制作人提供了瞬间改变场景的惊人自由，但也让他们对使这些改变成为可能的平台和系统产生了某种新型的依赖。

要理解这一点，必须观察这两种技术实际上是如何运作的，因为它们基于相反的原则。虚拟制片（如在《狮子王》和《曼达洛利亚人》等电影中著名的应用）依赖于研究人员所说的“持久几何结构”（persistent geometry）。想象一座数字山脉。在这个系统中，那座山是由一组固定的坐标和3D形状构建的。它作为一个实体对象存在于数据库中。当摄像机移动时，计算机重新计算该山脉从新角度观察的视图，但山脉本身不会改变。它的形状、距离以及与地面的关系保持不变。如果导演要求从另一侧观察这座山，系统只需移动视角即可。这个世界之所以连贯，是因为它建立在一个稳定的地图之上。这使得演员和摄像机可以自由移动，且背景能根据他们的位置做出即时且准确的反应。

相比之下，生成式媒体（包括最新的视频创作工具）在没有固定地图的情况下工作。它不是预建的山脉，而是根据它从数百万张其他图片中学到的知识来创建图像。当用户请求一个街道场景时，系统并不会调取存储的3D街道模型。相反，它基于以前见过的模式，逐帧猜测街道应该是什么样子。它可能会创建一个逼真的店面、潮湿的路面和一辆停放的汽车。然而，由于它是基于“猜测”而非“检索固定物体”，细节可能会发生偏移。一辆汽车可能会在下一帧多出一个轮子，或者一个门口可能会滑动到另一个位置。图像看起来很真实，但其背后的空间并不稳定。它是一种“概率性外观”（probabilistic appearance），这意味着它看起来像一个地方，是因为它遵循了地方通常呈现出的规律，而不是因为它是一个特定的、不变的地方。

研究人员发现，这种差异改变了电影制作的本质和片场中的权力动态。在虚拟制片的领域，挑战在于保持数字世界与物理摄像机的完美对齐。如果追踪系统失效，背景可能会与演员脱节，从而破坏幻觉。这里的核心工作在于精准度和协调。团队必须确保灯光、摄像机运动和数字资产完全匹配。改变场景的权威在于管理这些资产和运行引擎的人。导演可以要求看日落，但技术美术师必须确保数字太阳是可用的，并且能够渲染得足够快，以跟上拍摄进度。

在生成式媒体中，挑战则不同。工作重点不在于保持对齐，而在于选择和修复。因为系统每次都会生成场景的新版本，电影制作人必须在众多选项中筛选出可行的一个。如果一个角色走过一扇门，而这扇门在下一个镜头中消失了，艺术家就必须进行修复。这里的权力在于选择哪个版本成为最终图像的能力。然而，研究人员指出，这种自由伴随着隐藏的代价。电影制作人所处理的“空间”是由训练数据和软件规则定义的。如果软件从未见过某种特定类型的村庄，它就无法轻易创造出来。电影制作人可以要求任何东西，但系统决定了什么是可以生成的。

这引出了该研究的一个核心发现：图像不再仅仅是一个被阅读的表面，它是漫长决策链条的公开面相。过去，导演决定场景的外观，然后由剧组去构建它。现在，场景的外貌是由导演的选择、软件的能力、数字资产的可获得性以及平台的规则共同决定的。研究人员称之为“计算空间性”。这是一个空间在到达屏幕之前就被组织、改变和治理的场域。这个场域具有政治性，因为它决定了谁有权决定一个世界的样貌。如果电影制作人想要改变一个山谷，他们可能会受限于软件库的内容或人工智能模型所学到的知识。

该研究还强调了这种转变如何影响电影制作的劳动过程。在虚拟制片中，团队必须在拍摄第一帧之前构建庞大的数字库并维护复杂的追踪系统。在生成式工作流中，劳动转向了对AI输出结果的选择、修复和管理。研究人员指出，虽然这些工具更容易创造出单个令人惊叹的图像，但它们让维持一部长篇电影中世界的一致性变得更加困难。一个生成的街道可能在两秒钟内看起来非常完美，但如果稍后需要从不同角度拍摄该场景，系统可能会创建一个与第一个场景不匹配的街道。届时，电影制作人必须进行额外的劳动来使两个版本相互契合。

研究人员谨慎地表示，他们并不是在说一种方法优于另一种方法。相反，他们展示了这是两种截然不同的构建屏幕世界的方式。一种使用稳定的地图来确保一致性，另一种使用模式来创造世界的表象。两种方法都将创造的力量从最终的画面转移到了构建空间的系统之中。这意味着，瞬间改变图像的自由往往伴随着对拥有软件、模型和数据的公司的更强依赖。导演可能拥有在几秒钟内改变天空的能力，但他们无法改变使天空成为可能的引擎。

研究结论建议，我们需要关注那些统治着这些数字空间的隐形规则。正如物理布景会受到其构造限制一样，数字空间也会受到其代码和数据的限制。这些限制并不总是显而易见的。它们可能表现为建筑变形的故障（glitch），也可能表现为某种微妙的偏见，例如某些类型的景观比其他类型更容易被创造出来。通过理解“计算空间性”，我们可以看到，屏幕不仅是通往故事的窗口，也是通往一个控制系统的窗口。我们屏幕上看到的景象，是人类创造力与使之成为可能的刚性软件结构之间的一种协商。研究人员认为，要真正理解现代电影，我们必须超越图像本身，去追问：是谁构建了这个空间，它是如何维系的，以及谁有权决定什么能够留存下来。