技术摘要：ParaScale

问题陈述

基于参考视频的摄像机控制旨在将参考片段中的电影级运动转移到新生成的场景中。然而，在任意参考场景与目标场景之间存在着根本性的几何不兼容性：它们往往运行在截然不同的物理尺度上（例如，摄像机是在银河系规模进行横扫，还是在桌面规模进行微调）。

现有方法通常从参考视频中提取摄像机轨迹（平移 $T$ 和旋转 $\omega$），并将其直接注入目标生成器。这种“天真”的转移方式之所以失败，是因为单目重建恢复的平移和深度仅在未知全局尺度因子（相似变换）的意义下是有效的。因此，绝对平移量 $\|T\|$ 在没有相应深度尺度 $Z$ 的情况下是毫无意义的。当参考轨迹应用于与参考场景尺度不同的目标时，产生的运动要么微乎其微（如果目标比参考场景“大”），要么剧烈过度（如果目标比参考场景“小”），从而破坏了生成的视觉保真度。

方法论：视差数与 ParaScale

理论基础

论文指出，感知的平移运动强度并非由原始平移向量决定，而是由平移量与深度的比例决定。根据点在深度 $Z$ 处的投影方程，由平移引起的图像运动随 $\|T\|/Z$ 进行缩放。

作者定义了视差数（Parallax Number, $\Pi$）为一个无量纲、规范不变的描述符：
$$\Pi_t = \frac{\|\Delta T_t\|}{\bar{Z}_t}$$
其中：

• $\|\Delta T_t\|$ 是帧间摄像机基线（平移量大小）。
• $\bar{Z}_t$ 是该帧的鲁棒中值场景深度。

论文证明了 $\Pi$ 是深度尺度规范不变的（将 $T$ 和 $Z$ 同时缩放因子 $s$ 会使 $\Pi$ 保持不变）。因此，$\Pi$ 而非原始轨迹 $T$，是实现尺度忠实运动转移的唯一必须保留的量。

ParaScale 模块

ParaScale 是一个插件式的、无需训练的模块，插入在位姿提取与位姿注入之间的生成流水线中。其运作流程如下：

1. 提取： 从参考视频中，利用单目运动恢复（SfM）和深度估计器估计摄像机轨迹及鲁棒中值深度 $\bar{Z}^{ref}_t$。计算规范不变的视差数 $\Pi^{ref}_t$。
2. 目标估计： 对于目标场景，通过条件图像或首帧潜变量估计中值深度 $\bar{Z}^{tgt}_t$。
3. 重实现： 计算每帧平移增益 $\alpha_t$，以匹配参考视差数与目标深度：
   $$\alpha_t = \frac{\bar{Z}^{tgt}_t}{\bar{Z}^{ref}_t}$$
   校准后的平移量为 $T^{cal}_t = \alpha_t T^{ref}_t$，而旋转量 $R^{cal}_t$ 保持不变（$R^{ref}_t$）。
4. 注入： 将校准后的外参转换为生成器所需的格式（如 Plücker 映射或原始 $RT$ 矩阵），并输入到冻结的、位姿条件的扩散模型中。

论文中的理论证明表明，这种逐帧适配对于保持时间视差剖面是必要且充分的，而全局缩放或不进行缩放则无法满足要求，尤其是当场景深度随时间变化或在不同场景间存在显著差异时。

评估指标：PCE

为了量化尺度忠实度，作者引入了视差一致性误差（Parallax Consistency Error, PCE）：
$$\text{PCE} = \frac{1}{N} \sum_{t=1}^{N} \left| \log \frac{\Pi^{out}_t}{\Pi^{ref}_t} \right|$$
与依赖相似性对齐且可能掩盖全局尺度不匹配的传统指标（如 TransErr）不同，PCE 是尺度对称且规范不变的。它能直接揭示感知运动强度的差异。

核心贡献

1. 规范不变原则： 确定了视差数 ($\Pi$) 是运动转移的正确不变量，并证明了保留原始轨迹在几何上是有缺陷的。
2. ParaScale： 一个无需训练、与生成器无关的推理时模块，通过目标场景的深度来重实现每帧的 $\Pi$，无需重新训练生成骨干网络。
3. PCE 指标： 一种新的评估指标，专门用于测量尺度忠实度并暴露传统指标无法察觉的场景尺度不匹配问题。
4. 实证验证： 在四个数量级的场景尺度（桌面、人体/房间、建筑、宇宙）以及多种骨干架构上进行了验证。

结果

实验使用带有 Plücker 条件的 Wan2.1 扩散 Transformer 骨干网络，将 ParaScale 与 Raw 转移、Global-norm 缩放、MotionMaster 以及 CameraCtrl II 的训练时尺度校准进行了对比。

• 尺度忠实度： ParaScale 是唯一一个在所有尺度区间内都能让实现的视差数保持在恒等线上的方法。Raw 转移在宇宙场景中表现出动力不足，而在桌面场景中表现出过度驱动。
• 误差降低： 与未校准的 Raw 转移相比，ParaScale 将视差一致性误差 (PCE) 降低了 3 倍以上，并且优于 Global-norm 和训练时校准方法。
• 视觉保真度： 该方法在实现这些增益的同时并未损失视觉质量；与基线相比，FVD（Fréchet 视频距离）和 CLIP-SIM 分数得以保持或提升。
• 泛化性： 该模块可以有效地应用于不同类型的生成器（Plücker 条件和矩阵条件），且无需重新训练。

意义与主张

论文声称 ParaScale 解决了参考驱动控制器中的一个“沉默假设”：即认为轨迹数值是可以直接复用的。通过形式化运动强度取决于深度的几何事实，作者为尺度不匹配问题提供了一个严谨的解决方案。

其意义在于，使创作者能够在无需人工干预或重新训练的情况下，跨越极大的上下文环境（从宏观到宇宙尺度）重复使用电影级的摄像机运动。论文断言，ParaScale 是第一个在推理阶段实现并重实现任意参考与目标之间规范不变视差数的方案。

局限性： 作者指出，该方法依赖于单目深度估计（其中误差会线性传播到增益 $\alpha_t$ 中），并假设场景具有符合底层投影模型的刚性几何结构。将该方法扩展到动态场景和各向异性尺度场被列为未来的研究方向。