BeyondMasks: Evaluating Causal and Physical Consistency in Video Object Removal

在数字视频领域，人们正日益获得通过一个简单的指令来编辑现实的能力。想象一下，你正在观看一段繁忙街道的录像，并要求计算机擦除一辆特定的汽车，同时让场景的其余部分保持完好无损。多年来，这项技术一直专注于一个狭窄的任务：填补物体消失后留下的空白空间。这就像一位画家小心翼翼地重新粉刷墙上的洞口，试图使颜色和纹理与周围的砖块相匹配。当物体只是静止在那里时，这种方法效果很好，但当物体与其所处环境发生交互时，它往往会失效。在真实的物理世界中，事物不仅仅是占据空间；它们还会投下阴影、反射光线、改变房间的照明方式，并留下运动的痕迹，比如水面上的涟漪或脚踩出的尘土。如果你移除了物体却留下了这些物理后果，场景看起来就会显得不对劲，仿佛有一个幽灵在画面中徘徊。

一个研究团队意识到，真正的视频编辑不仅需要填补空洞，还需要理解将物体与其环境紧密联系在一起的因果关系。他们引入了一种测试视频编辑工具的新方法，称为 BeyondMasks，该方法挑战计算机去移除不仅是物体本身，还有它所创造的那些无形的物理效应。为此，他们构建了一个包含 180 段视频剪辑的集合，其中一半由计算机生成，另一半则是在现实世界中拍摄的。在每一段剪辑中，他们都准备了一个带有物体的“之前”版本和一个物体从未存在过的“之后”版本，作为完美的标准答案。这使他们能够准确地看到计算机出错的地方。他们发现，即使是最先进的视频工具，虽然能让空白区域看起来非常逼真，却始终无法移除这些次生效应。阴影可能会留在狐狸曾经站立过的地方，或者在灯具被删除后，窗户上的反射可能依然存在。研究人员发现，现有的技术将物体及其物理足迹视为两个独立的问题，而实际上它们是一个整体。

为了衡量这些失败，该团队开发了一套全新的评分系统，其作用如同一个挑剔的眼睛。他们不再仅仅计算有多少像素与完美答案相匹配，而是使用一种复杂的、具有人工智能的系统来观察视频，并判断场景在物理上是否连贯。这个系统检查两件事：物体是否完全消失了，以及环境是否恢复到了物体从未存在过的自然状态。当他们测试了当今最优秀的九种视频编辑模型时，结果令人警醒。虽然有些模型在传统的图像质量测量指标上得分很高，但在这种新的物理逻辑测试中得分却很低。例如，某个工具可能成功地擦除了池塘里的一只鸭子，却留下了它激起的涟漪；或者移除了一个茶壶，却留下了它在桌子上投下的影子。这项研究表明，这些工具仍在努力理解光与物质的物理学。它们可以幻化出一个看起来合理的背景，但无法推理出物体所触发的因果链条。

研究人员还探讨了这些错误发生的原因。他们发现，许多编辑工具的工作原理仅仅是遮蔽掉物体所在的区域，然后要求计算机去猜测那里应该是什么。这种方法丢弃了宝贵的线索。如果一个玻璃杯放在桌子上，计算机可以通过玻璃看到桌子。如果工具完全遮挡了杯子，它就会失去观察桌子的视角，从而不得不进行猜测，且往往会出错。这项研究表明，未来的移除系统应当结合上下文感知推理，而不是仅仅依赖于掩码修复（masked inpainting）来更好地恢复缺失的信息。该研究强调了视觉上的平滑感与实际物理正确性之间存在的显著差距。它表明，若要让视频编辑真正具有真实感，技术必须超越简单的图像修复，学习理解物理世界的隐形规则，确保当一个物体被移除时，它所生活的世界能回归到完美的连贯状态。