技术摘要：Stream4D

问题陈述

自回归（AR）扩散视频模型通过逐块发射视频片段，实现了实时、长时程的视频生成。然而，现有的训练目标主要针对局部帧预测进行优化，而非针对连贯世界的全局几何与动力学进行优化。因此，AR 模型在长程生成中会累积误差，导致几何漂移、深度关系不一致以及不合理的场景或相机运动。

近期尝试使用强化学习（RL）解决此问题的研究采用了源自静态 3D 高斯泼溅（3D-GS）重建的奖励（例如 World-R1, VideoGPA）。本文指出这类方法存在一个关键缺陷：刚性的 3D 重建先验无法表示动态场景。当物体发生真实运动时，静态重建器会将这种运动解释为重建误差，从而惩罚模型。这产生了一种“捷径”：策略通过冻结场景（抑制物体运动）而仅允许相机运动，从而实现奖励最大化。这一问题在 AR 设置中尤为严重，因为早期块中的误差会向后传播，而坍缩到静态配置成为了获得高奖励的简便路径。

方法论：Stream4D

作者提出了 Stream4D，这是一个旨在将 4D 一致性和自然运动先验蒸馏到流式 AR 视频模型中的强化学习框架。其核心思想是使用能够显式建模场景动力学的前馈式 4D 重建奖励，来取代静态 3D 评论家（critic）。

该方法由三个主要的奖励组件组成，通过 z-归一化结合，并使用 DiffusionNFT 前向过程损失进行优化：

1. 4D-GS 重建奖励 ($R_{recon}$):
   不同于静态 3D 模型，Stream4D 使用了预训练的前馈式 4D 高斯泼溅模型（MoVieS）。给定候选视频序列，系统会估计逐帧相机参数，并将视频重建为动态高斯场景（包含规范点云以及随时间变化的变形与外观）。奖励基于原始生成帧与从该动态 4D 重建中重新渲染的帧之间的感知一致性（LPIPS）进行计算。这奖励了那些可以由连贯几何、运动和相机动力学所解释的序列，而不是惩罚运动本身。

2. 门控运动结合 ($R_{mot}$):
   虽然 4D 重建器不会惩罚运动，但观察发现较低运动量的片段更容易被重建，这产生了一种向静态场景倾斜的微弱偏差。为了抵消这一点并引导运动质量，Stream4D 引入了运动奖励：

   • 运动门控 ($g(m)$): 一个峰值高斯函数，在自然目标运动强度 ($m_{nat}$) 附近奖励运动强度 ($m$)，同时惩罚静态坍缩和失控模糊。
   • 平滑度： 惩罚过度的聚合运动和时间抖动。
   • 刚性： 通过测量场景流速度的空间有限差分来惩罚空间上不规则的场景变化（如撕裂或融化伪影），从而鼓励局部连贯的运动。

3. 感知锚点 ($R_{hpsv2}$):
   使用轻量级图像奖励模型（HPSv2）直接对生成帧的美学进行评分。这确保了在几何和动力学受到 4D 项约束的同时，单帧视觉保真度仍与人类审美偏好及基础模型的质量保持一致。

最终奖励是这三个 z-归一化轴之和，通过在 DiffusionNFT 前向过程中使用组间优势估计（GRPO）进行优化。

核心贡献

1. 识别失效模式： 作者识别出累积的 4D 不一致性是蒸馏流式 AR 模型的一个核心失效模式，并强调了静态 3D 奖励如何无意中鼓励场景冻结。
2. Stream4D 框架： 他们引入了一个可迁移的训练目标，该目标结合了结构化 4D 重建一致性、以目标为中心的自然运动先验以及感知锚点。
3. 实证验证： 该方法在三种不同的蒸馏 AR 骨干网络（Self-Forcing, Causal-Forcing, 和 LongLive）上进行了评估，覆盖了 5 秒和 10 秒的生成时长。

结果

Stream4D 在所有测试的骨干网络中均表现出持续的改进：

• 4D 重建质量： 4D-PSNR 显著提升，相比于蒸馏后的基础模型，分别实现了 +3.46 dB (Self-Forcing)、+5.53 dB (Causal-Forcing) 和 +6.76 dB (LongLive) 的增益。这些增益通过 MoVieS 重建器和独立的架构 4DGT 均得到了验证，证实了结果并非特定于 MoVieS 模型。
• 运动保留： 与经常导致物体冻结的静态奖励基线（World-R1, VideoGPA）不同，Stream4D 保留了物体运动。在 LLM 评判员评估中，Stream4D 在运动保留和一致性方面获得了更高的分数（例如，在 Self-Forcing 上，Stream4D 的一致性胜率为 82.2%，而 World-R1 为 75.9%）。
• 人类偏好： 在针对 LongLive 骨干网络的盲测人类研究中，Stream4D 在自然运动和整体质量方面大幅领先于两种几何奖励基线（相对于 World-R1 为 76%，相对于 VideoGPA 为 80%）。
• 消融实验： 移除任何一个奖励组件都会导致性能下降。移除运动项会导致运动坍缩；移除重建项会导致不连贯；移除感知锚点则会降低视觉保真度和偏好得分。

意义与主张

本文声称 Stream4D 成功地将流式 AR 视频模型的几何奖励设计从 3D 一致性转向了 4D 一致性。通过利用前馈式 4D 重建器，该方法避免了 3D-GS 奖励中固有的“静态捷径”，允许策略通过连贯的动态内容来获取奖励，而非通过冻结场景。

作者强调，这是一个轻量级的方案（使用冻结基础模型上的 LoRA 适配器），可以有效地迁移到不同的 AR 架构中，而无需针对每个骨干网络进行大规模调优。结果表明，通过 4D 重建进行显式的场景动力学建模，是实现稳定、长程、实时视频生成的必要步骤，能够同时维持几何一致性和自然运动。这项工作为未来在具身智能和交互式模拟器等对长期世界一致性要求极高的领域应用奠定了基础。