💻 computer science

ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference

ScaleVid 引入了一种无网格的两阶段训练框架，该框架通过利用伪源重构将前景 3D 变形与背景保持解耦，从而实现几何感知的视频物体缩放，进而能够在推理阶段无需显式 3D 重构的情况下实现逼真的各向异性重采样。

原作者： Youze Huang, Penghui Ruan, Bojia Zi, Xianbiao Qi, Shihao Zhao, Rong Xiao

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Youze Huang, Penghui Ruan, Bojia Zi, Xianbiao Qi, Shihao Zhao, Rong Xiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你手里拿着一个可以操控现实的魔法遥控器。你对着一段猫咪的视频，按下按钮，突然间，这只猫变得宽了一倍，或者背景里的汽车缩小成了玩具的大小。这就是由人工智能驱动的“视频编辑”之梦。长期以来，计算机非常擅长改变事物的“外观”——比如把一件衬衫变成红色，或者从照片中移除一个人。但要在视频中改变一个物体的“形状”或“大小”，同时保持其看起来真实，却又像是在尝试拉伸一根橡皮筋而不让它断裂或变成一个奇怪的团块。计算机必须理解，如果你把一辆车横向拉宽，它的轮子不应该只是像太菲亚（taffy）一样被拉长，而应该看起来像是真的在三维空间中变宽了，并且物体背后的背景也必须保持完全静止。如果计算机搞错了，视频看起来就像一场充满故障的噩梦，物体会融化或以不可能的方式漂浮。

这就是一个名为“ScaleVid”的新想法出现的地方。研究人员希望解决一个特定的难题：如何在不需要预先构建复杂的 3D 世界模型的情况下，调整视频中物体的大小（变大、变小、变宽或变高）。通常，要进行这种规模的缩放，你需要扫描物体，建立一个 3D 网格（类似于线框骨架），拉伸这个骨架，然后将视频重新绘制到上面。这既慢又贵，而且需要大量的体力劳动。ScaleVid 提出了一种更聪明、更快速的方法。它不是通过构建 3D 模型，而是使用一种两步走的“训练”技巧。首先，它教计算机以简单的 2D 方式进行拉伸（比如像压扁照片那样）。然后，它教计算机理解当这些拉伸发生在 3D 空间时看起来是什么样的，使用的是由 3D 模型制作的“练习用”伪视频。一旦训练完成，计算机就可以根据你的指令，将真实的视频中的物体进行拉伸，并完美地填补背景，而整个过程中无需构建任何 3D 模型。

这篇题为《ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference》（ScaleVid：基于无网格推理的几何感知视频物体缩放）的论文提出了一种通过将工作拆分为两个截然不同阶段的方法。作者认为，现有方法要么依赖于文本提示（这往往不够精确，比如告诉计算机“让它变大”，却没说具体多大），要么需要沉重的 3D 重建（这对于实时使用来说太慢了）。ScaleVid 提出了一个“渐进式”的方法。在第一阶段，系统学习处理简单的、平面的（2D）变化，比如拉伸一个矩形。这教会了它如何在物体发生变化时保持背景稳定。在第二阶段，它学习处理真正的 3D 变形。在这里，系统使用一个特殊的“变形器（Deformer）”模块，该模块接收一段视频，并根据用户指令应用特定的 3D 拉伸（例如“宽度拉伸 1.5 倍，高度缩减至 0.8 倍”）。至关重要的一点是，该系统是使用“伪源（pseudo-sources）”进行训练的——即通过拉伸 3D 模型并将其渲染回视频格式而生成的假视频。这使得 AI 能够学习 3D 几何规则，而无需寻找现实世界中已经过尺寸调整的视频（这类视频几乎是不可能找到的）。

实验结果非常令人印象深刻。在对包括透明玻璃高脚杯到复杂汽车在内的各种物体进行测试时，ScaleVid 成功实现了在保持几何形态正确的同时调整物体大小。例如，如果你拉伸汽车的深度，后轮会以符合物理逻辑的方式显现出来，这是简单的 2D 拉伸无法做到的。论文显示，ScaleVid 在保持物体身份（它看起来仍是同一辆车，只是变大了）和保护背景（没有出现天空或道路的奇怪扭曲）方面优于其他方法。作者通过多种指标进行了测量，发现其方法达到了 0.804 的缩放准确度得分（IoU），且偏航角（yaw）的几何对齐误差仅为 0.237 度，显著优于“DiffHandles”或“GeoDiffuser”等竞争对手。

然而，论文也谨慎地指出，这并不是能解决一切问题的魔杖。该系统仍然存在局限性。如果物体非常对称，比如一个完美的球体或圆柱体，计算机可能会产生困惑，分不清哪边是“宽度”，哪边是“深度”，从而导致结果具有歧义。此外，如果物体大幅缩小，系统必须“发明”之前被物体遮挡的背景，有时它会在这些新区域中产生幻觉，生成奇怪的细节。作者建议，虽然我们的方法是一个重大进步，但未来的工作可以专注于更好地处理这些“发明”任务，并使 3D 拉伸对于复杂形状更加稳健。

本质上，ScaleVid 就像一位大师级厨师，通过先在简单的、虚假的食材上进行练习，然后再将这些技能应用于新鲜的真材实料。通过将“拉伸”逻辑与“绘画”逻辑分离，研究人员创造了一个能够以以往无网格方法难以企及的几何真实感来调整视频中物体大小的系统。这表明，我们并不总是需要构建一个完整的 3D 世界来编辑它；有时，通过巧妙的训练让 AI 理解 3D 空间的“规则”，就足以让魔法发生。

技术总结：ScaleVid

问题定义

本文研究了**几何感知视频物体缩放（geometry-aware video object scaling）**的挑战，该任务要求沿着物体中心轴（宽、高、深）对目标物体进行各向异性缩放，同时保持几何合理性、时间连贯性和背景一致性。

现有方法面临显著局限：

文本引导方法主要在2D图像平面内运行，缺乏对3D几何变换的精确控制。
深度引导方法仅能提供粗略的几何控制。
基于网格（Mesh-based）的方法在推理阶段需要高昂的3D重建、相机估计以及显式的网格-像素对齐成本，这阻碍了其可扩展性和实际应用。
数据稀缺性： 缺乏配对的真实世界视频（即在物体进行3D缩放的同时保持背景一致的视频），使得监督学习难以实现。

目标是在无需在推理阶段进行显式3D重建或相机估计的情况下，根据用户指定的3D因子 ( $s_x, s_y, s_z$ ) 对物体进行缩放。

方法论

ScaleVid 引入了一个渐进式两阶段训练框架，通过**伪源重建（pseudo-source reconstruction）**策略，将几何变换与逼真的视频合成解耦。其核心思想是从真实视频中构建几何扰动的伪源，同时保留原始完整视频作为重建目标。这使得模型能够从合成监督中学习几何控制，并从真实视频数据中学习逼真的合成效果，而无需显式的网格-像素对齐。

1. 几何感知引导模块（变形器 Deformer 与掩码器 Masker）

这些模块在通过 Hunyuan3D 重建并使用受控各向异性缩放渲染的大规模合成数据集上进行训练。

规范轴对齐（Canonical Axis Alignment）： 为了确保不同物体之间缩放语义的一致性，该方法将物体的定向包围盒（OBB）轴与渲染器的规范坐标系（垂直 $y$ 轴，宽度 $x$ 轴，深度 $z$ 轴）对齐。
变形器（Deformer）： 一个潜在空间条件流模型（latent-space conditional flow model），学习根据连续的各向异性缩放参数来变换前景视频。它采用双向训练目标（正向和反向缩放）以确保变换的一致性并减少空间漂移。
掩码器（Masker）： 预测变换后前景的具有时间一致性的空间支撑区域（掩码）。它被蒸馏为一个高效的 3 步生成器。

2. 主模型的渐进式训练

主模型通过两个阶段进行训练，以逐步学习从 2D 到 3D 的变换：

第一阶段（2D 平面缩放）： 模型学习使用平面变换进行鲁棒的前景-背景合成。通过对前景应用 2D 缩放并掩盖背景中相应区域来构建伪源。此阶段建立了完成缺失区域和保护场景的强大先验。
第二阶段（3D 感知缩放）： 模型引入了以物体为中心的 3D 变形引导。变形器生成几何变换后的前景 ( $F_{src}$ )，掩码器预测其支撑区域。至关重要的是，主模型受目标对齐引导 ( $F_{tgt}$ ) 的约束，该引导是通过对 $F_{src}$ 应用逆向缩放生成的。这创造了一个非平凡的学习信号，要求主模型不仅要精细化变形后的前景，还要将其与背景无缝合成，而非仅仅是复制输入。

3. 推理流水线

在推理时，过程被简化且无需网格：

用户选择一个物体（通过 SAM2）并指定缩放因子 $s$ 。
提取背景（使用 Minimax Remover）。
应用变形器（Deformer）一次以生成目标对齐的前景。
主模型将该前景与背景整合，生成最终视频。
在推理阶段不需要掩码器和逆向变形，显著降低了计算成本。

核心贡献

提出了视频物体缩放的形式化定义： 本文使用以物体为中心的各向异性因子来定义该任务，并在推理阶段学习投影几何效应，而无需显式的 3D 重建。
渐进式 2D 到 3D 训练策略： 一种通过构建伪源并使用原始真实视频作为目标的创新框架。这使得模型能够从平面变换中学习鲁棒的合成（阶段 I），并从 3D 变形引导中学习几何感知的缩放（阶段 II）。
全面的基准测试： 作者建立了三个互补的基准测试：
- 几何基准（Geometry Benchmark）： 在均匀背景上隔离几何准确性和前景保真度。
- 真实背景基准（Real-Background Benchmark）： 将渲染的物体合成到真实世界背景中，以测试背景保留能力。
- 真实世界基准（Real-World Benchmark）： 在野外视频（Pexels, DAVIS）上评估性能，侧重于感知质量和时间一致性。

实验结果

广泛的实验表明，ScaleVid 在多个指标上优于现有最先进的方法（包括文本引导、深度引导和基于网格的方法）：

几何准确性： 与依赖文本提示或深度图的方法相比，ScaleVid 实现了卓越的缩放准确度和几何对齐（通过掩码 IoU、面积误差和相机位姿拟合误差衡量）。
前景保真度： 在合成和真实背景基准测试中，该方法在像素级误差（MSE, PSNR）和感知相似度（DINO, DreamSim）方面均取得了最佳结果。
背景保留： 它保持了高度的背景一致性，优于那些在处理物体-场景交互或边界泄漏方面表现欠佳的方法。
时间一致性： ScaleVid 取得了具有竞争力的 Ewarp 分数，表明其具有稳定的时间连贯性，没有在基于图像或文本驱动的方法中常见的闪烁现象。
效率： 通过避免在推理阶段进行显式的 3D 重建和网格渲染，ScaleVid 提供了比基于网格的流水线更快、更实用的推理速度。

意义与主张

论文声称 ScaleVid 是可控视频编辑领域迈出的重要一步，成功实现了几何变换与高保真视频合成的解耦。其意义在于：

消除了推理瓶颈： 它实现了几何感知缩放，而无需在生成阶段承担 3D 重建或相机估计的计算开销。
解决了数据稀缺问题： 伪源重建公式允许模型从真实视频中学习，而无需要求配对的真实世界缩放目标（这类数据通常是无法获取的）。
实际应用性： 该方法适用于短视频编辑、广告和 AR/VR 应用，在这些领域物体大小会影响构图和视觉重点，它在几何控制和逼真外观之间达到了现有方法无法同时实现的平衡。

作者也承认了局限性，特别是网格渲染的训练数据与真实像素空间视频之间的分布差异，以及对称物体（如球体）规范轴的歧义性。然而，他们断言所提出的框架为几何感知视频物体缩放提供了一个鲁棒且实用的解决方案。