💻 computer science

StateFlow: Building, Evolving, and Accessing 3D World States for Previsualization

StateFlow 是一个以状态为中心的生成式预可视化框架，它通过构建、演化并访问一个持久且可编辑的 3D 世界状态，克服了一次性合成的局限性，从而实现对场景结构、动态以及摄像机轨迹的迭代优化。

原作者： Yuyang Yin, Zixiang Li, Longxuan Deng, Hongkai Li, Shifang Zhao, Junnan Liu, Weirong Huang, Mengyu Wang, Tianxiao Fu, Yikai Wang, Peng-Shuai Wang, Xiaojie Jin, Yao Zhao, Yunchao Wei

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuyang Yin, Zixiang Li, Longxuan Deng, Hongkai Li, Shifang Zhao, Junnan Liu, Weirong Huang, Mengyu Wang, Tianxiao Fu, Yikai Wang, Peng-Shuai Wang, Xiaojie Jin, Yao Zhao, Yunchao Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图讲述一个故事，但你不是在用文字书写，而是在用粘土、玩具和纸箱搭建一个电影场景。在现实世界的电影制作、游戏设计和建筑领域，创作者并不会仅仅凭空变出一个完成的电影；他们会经历一个混乱而神奇的中间步骤，叫做“预可视化”（previsualization）。这就像是一个数字沙盒，导演和设计师可以在其中移动演员、改变光照以及测试摄像机角度，而无需在实际制作前花费数百万美元。长期以来，计算机在生成精美的图片或简单的短视频方面表现出色，但在处理这种“沙盒”工作时却表现得很糟糕。如果你要求计算机“把机器人向左移动”，它往往只是画了一张新的图片，让机器人在另一个位置，却忘记了机器人之前在哪，或者让背景看起来很诡异。这就像是试图通过每次都把雕塑融化并重新浇筑新粘土来修改一个手指一样。研究人员一直在思考的一个大问题是：我们如何给计算机一个持久且可编辑的“世界”，让它能记住一切，从而让创作者能够真正地在场景中进行创作，而不只是旁观？

于是有了 StateFlow，这是一个试图通过改变游戏规则来解决这一问题的全新系统。StateFlow 不再要求计算机以一种巨大且混乱的方式“生成一段视频”，而是先要求计算机构建一个持久的 3D 世界状态（persistent 3D world state）。把它想象成一套数字乐高积木，它始终保持组装状态。当你想要改变某些东西时，你不需要把整个东西都融化掉；你只需要拿起一个特定的积木（物体），移动它或更换它，而世界的其余部分会保持原样。

以下是 StateFlow 如何运作的分解，分为三个有趣的步骤：

1. 构建世界（状态构建）
想象一下，你想在月球上建造一个科幻基地。如果你只是要求计算机“画一个月球基地”，它可能会画出一张从正面看很酷的图片，但建筑物可能会悬浮在空中，或者布局在走动时显得毫无逻辑。StateFlow 变得非常聪明，它同时从两个角度观察场景：一个前视图（用于观察物体的外观）和一个鸟瞰图（用于观察它们在地面上的位置）。然后，它扮演一个超级聪明的裁判，检查前视图和鸟瞰图是否一致。如果前视图说“有三个机器人”，但鸟瞰图只显示有两个机器人的空间，系统就会修复这个冲突。它构建了一个坚实的 3D 世界，其中的每个物体都有真实的位置、真实的形状和真实的身份，随时准备被移动。

2. 改变故事（状态演变）
一旦世界构建完成，创作者可能会说：“好了，现在飞船坠毁了！”或者“让我们把整个基地看起来像 1980 年代的风格。”旧的视频生成器会尝试从头开始幻觉出一段全新的视频，经常会导致角色丢失或背景出现闪烁错误。然而，StateFlow 将这个世界视为一个活的数据库。它更新一个“状态表”——即每个物体及其属性的列表。如果飞船坠毁了，系统不会重画整个月球，它只是更新飞ks的条目，将其改为“现在是一堆废铁”，并可能改变其位置。如果你想改变风格，它只需更新整个场景的“颜色”或“材质”标签。这意味着世界会记住之前发生的一切，因此即使事物发生变化，故事也会保持连贯性。

3. 观看电影（状态访问）
最后，你想从一个酷炫的摄像机角度观看场景，比如一架无人机穿过基地。如果你只是要求计算机“移动摄像机”，它可能会撞到墙上或者对着天空，因为它并不“理解”3D 几何结构。StateFlow 使用了一个“渲染反馈”循环。它首先猜测一条摄像机路径，然后快速渲染出该路径看起来的微型预览。如果摄像机即将撞到建筑物，系统会在预览中发现碰撞，并自动将摄像机推到一个安全的位置。它不断进行这种“猜测-检查-修正”的循环，直到摄像机路径完美为止，确保镜头在 3D 世界中是切实可行的。

研究结果显示
作者将 StateFlow 与其他仅生成视频或 3D 场景的方法进行了对比测试。他们发现，虽然其他方法生成的视频中物体经常消失、变形或漂移（即时空不一致性），但 StateFlow 能保持世界的稳定性。在测试中，StateFlow 在保持物体随时间变化的一致性以及维持逻辑布局方面得分更高。该系统表明，通过将预可视化视为管理一个持久的 3D 状态而非仅仅是制作视频，创作者可以获得更多的控制权。他们可以使用同一个世界来制作电影分镜、规划电影拍摄镜头，甚至原型化交互式游戏关卡。

虽然该系统是一个巨大的进步，但作者指出它还称不上是“魔法”。它依赖于其他 AI 模型来进行繁重的计算工作，因此目前还无法实现像视频游戏那样实时、即时的交互。但这预示着一个充满希望的未来：我们不再只是观看 AI 创作艺术，而是真正步入并玩转它所构建的世界。

技术摘要：StateFlow

问题陈述

预可视化（previs）是电影、游戏开发和建筑设计中一个至关重要的中间步骤，它允许创作者在最终制作前迭代地细化场景、动作、摄像机和时空动态。然而，现有的生成式预可视化方法并不适用于这种迭代过程。目前的方法依赖于一键式图像或视频合成，即必须通过单个提示词同时指定场景内容、布局、运动和摄像机参数。这些方法缺乏持久的工作状态，导致了以下问题：

可控性弱： 难以进行局部编辑或验证特定的设计选择，而不必重新生成整个输出。
不一致性： 当内容被修改、扩展或从不同角度观察时，会出现时空不一致、身份漂移以及细节不稳定等问题。
缺乏结构： 它们将世界视为一系列孤立的视觉输出，而非一个可以重复使用和组合的几何、外观及摄像机配置的共享状态。

论文指出，生成式预可视化中缺失的组件是一个显式的、持久的工作状态（一个结构化的 3D 世界），该状态将世界的定义与其演变和观测过程分离开来。

方法论：StateFlow

StateFlow 是一个以状态为中心的框架，其目标从一键式视觉合成转向构建、演变和访问可编辑的 3D 世界。它将任何时刻 $t$ 的世界状态 $W_t$ 表示为一个对象实体集合 $o_i = (g_i, p_i, s_i)$ ，其中 $g$ 代表几何， $p$ 代表空间位姿， $s$ 代表语义属性。该框架分为三个阶段运行：

1. 状态构建

此阶段根据用户的自然语言意图初始化世界状态 $W_0$ 。

双视图初始化： 为了克服单视图生成（通常会牺牲全局布局或物体细节）的局限性，系统生成了两个互补的视图：用于物体资产和外观的前视图（front-view），以及用于空间布局和地面平面放置的鸟瞰图（BEV）。
冲突感知协调： 由于这两个视图是独立生成的，它们可能会在物体数量或空间假设上产生冲突。StateFlow 利用具有语义-物理先验知识的视觉语言模型（VLM）来检测并解决这些冲突。
- 匹配的对象： 来自前视图的资产根据 BEV 布局框进行放置。
- 仅 BEV 存在的对象： VLM 会验证这些对象是合理的上下文元素还是幻觉。
- 仅前视图存在的对象： 被视为语义锚点，其暂定的布局假设通过提示词和上下文进行推断。
3D 提升与优化： 一个具备接地感知能力的提升算子将 BEV 框转换为 3D 放置方案。一种轻量级的、无需训练的优化过程通过最小化与前视图身份、BEV 布局、VLM 接地先验以及物理约束（如碰撞）相关的损失来精细化 3D 框。

2. 状态演变

此阶段基于用户意图将世界状态 $W_t$ 更新为 $W_{t+1}$ ，从而避免全场景重新生成。

意图引导的结构化状态转换： 系统不是隐式地模拟动力学，而是通过 VLM 查询结构化状态表来生成紧凑的转换计划（ $\Delta_t$ ）。
更新机制：
- 场景级： 支持全局扩展（实例化新区域）和风格变更（重写描述符），同时保留原始的空间支撑和物体身份。
- 物体级： 通过资产替换（在保持身份和位置的同时替换 $g_i$ ）来处理刚体运动（更新 $p_i$ ）、角色演变（姿态/轨迹更新）和离散事件（例如爆炸）。
这种方法确保了世界是可编辑、具备记忆性且可复用的。

3. 状态访问

此阶段决定如何通过摄像机轨迹来访问世界进行下游任务。

世界状态摄像机规划： 系统结合了基于 VLM 的语义推理与几何反馈。
渲染反馈反射：
1. VLM 根据导演意图和世界状态提出初始摄像机轨迹（ $\pi^0$ ）。
2. 轨迹在渲染引擎中执行以生成观测结果。
3. 系统评估渲染结果是否存在可见性、遮挡、构图和碰撞等问题。
4. 反射机制生成局部修复候选方案（例如，调整距离、注视目标或方位角）以修复特定问题。
5. 该过程循环迭代，直到找到可行轨迹，从而确保摄像机计划在视觉上是落地的，而无需训练特定的摄像机策略。

核心贡献

新公式化： 论文提出将生成式预可视化建模为持久的 3D 世界状态建模，将重心从孤立的视觉合成转向构建可编辑、可演变且可复用的 3D 世界。
StateFlow 框架： 一个通过以下方式构建、演变和访问 3D 世界状态的统一框架：
- 先验引导、冲突感知的双视图初始化。
- 意图引导的结构化状态转换。
- 渲染反馈的摄像机规划。
下游应用： 该框架天然支持两种代表性应用：
- 视频创作： 包括分镜生成、镜头规划和视频制作。
- 3D 游戏原型设计： 用于交互式内容设计与探索。

实验结果

作者将 StateFlow 与最先进的 3D 生成基线（SynCity, SAM3D, PartCrafter）以及视频生成方法（Animaker, MovieAgent, Wan2.2, Seedance2.0）进行了对比评估。

定量性能：
- 场景生成： 与基线相比，StateFlow 在 CLIP-I (0.788) 和 CLIP-T (30.214) 方面取得了更高的分数，表明具有更好的视觉和文本对齐度。它在布局合理性、完整性和几何质量的用户研究中也获得了高分。
- 视频生成： 在 VBench 指标上，StateFlow 取得了最高的平均分 (0.8484)，特别是在主体一致性、背景一致性、运动平滑度和减少闪烁方面表现优异。
定性分析： 视觉对比表明，StateFlow 生成的场景具有连贯的空间布局和稳定的物体身份。不同于基线模型在摄像机移动时会出现时空不一致和身份漂移，StateFlow 保持了几何-外观的一致性。
消融实验： 去除 BEV 布局接地或冲突解决会导致全局布局和物体关系显著下降。去除摄像机规划中的渲染反馈反射会导致可见性和碰撞问题，从而证实了所提组件的必要性。

重要性与主张

论文声称 StateFlow 通过引入显式的、持久的 3D 状态，解决了生成式预可视化中的根本差距。其重要性在于：

实现迭代工作流： 通过将世界状态与视觉输出解耦，创作者可以迭代地细化场景、动作和摄像机，而不会丢失一致性。
架起生成与制作之间的桥梁： 该框架作为生成模型与面向生产的创意工作流之间的中间表示，既支持电影级的视频创作，也支持交互式游戏原型设计。
世界感知生成： 它证明了将视频视为显式世界状态的观测，比直接进行视频合成能产生更具可控性、结构化且符合物理规律的结果。

作者指出，虽然该方法将预可视化时间从数周缩短至数分钟，但目前受限于第三方模型的推理速度，尚未实现完全的实时交互。未来的工作旨在通过更快的模型部署来提高效率。