💻 computer science

PhyEdit: Towards Real-World Object Manipulation via Physically-Grounded Image Editing

该论文介绍了 PhyEdit，这是一个通过利用显式 3D 几何模拟和 2D-3D 联合监督来增强图像编辑中真实世界物体操控能力的框架，并辅以全新的数据集（RealManip-40K）和基准测试（ManipEval），从而实现了比现有模型更优越的物理准确性和空间一致性。

原作者： Ruihang Xu, Dewei Zhou, Xiaolong Shen, Fan Ma, Yi Yang

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruihang Xu, Dewei Zhou, Xiaolong Shen, Fan Ma, Yi Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在玩一款数字照片编辑器，就像那种你可以把猫从图片的左边拖到右边的工具。大多数这类工具的工作方式就像一张扁平的贴纸：它们只是在二维屏幕上滑动图像。但在现实世界中，世界并不是平坦的，而是有深度的。如果你在现实生活中把一个玩具车向你靠近，它不仅仅是横向滑动，它还会变大，细节变得清晰，并且可能会遮挡住后面的物体。这就是计算机科学中“3D操控”的难点所在。科学家们正试图教会计算机理解这种深度、透视和物理定律，以便当它们编辑照片时，物体表现得像真实存在的物体，而不是仅仅作为扁平的贴纸。这至关重要，因为如果我们希望计算机帮助机器人移动物体，或者构建模拟现实的“世界模型”，计算机就需要知道物体不能凭空穿过墙壁，也不能在没有理由的情况下改变大小。

于是，由浙江大学研究人员开发的名为 PhyEdit 的新工具应运而生，它试图解决这个“扁平贴纸”问题。可以将 PhyEdit 想象成一位数字雕塑家，他不仅是在画布上绘画，首先还在脑海中构建了一个场景的 3D 模型。当你要求 PhyEdit “把这根香蕉向左移动”时，它并不仅仅是滑动像素。相反，它使用一种特殊的“3D 基础模型”来推测香蕉的深度，将其从扁平的照片中“拎”到一个虚拟的 3D 空间中，移动到你想要的确切位置，然后将其重新投影回来。至关重要的是，它通过一个“联合监督”系统来检查自己的工作，这就像一位老师既批改最终的画作（2D 图像），又批改 3D 蓝图（深度图），以确保物体没有发生奇怪的缩小或拉伸。

研究人员发现，虽然现有的工具在尝试进行 3D 移动时经常会弄乱物体的尺寸或位置，但 PhyEdit 在保持物理准确性方面表现得好得多。为了证明这一点，他们不仅仅是靠猜测；他们构建了一个庞大的新数据集，名为 RealManip-40K，其中包含 40,000 对展示物体在 3D 空间中移动的真实照片，并附带了完整的深度测量数据。他们还创建了一个名为 ManipEval 的测试，用于评估不同 AI 模型处理这些移动的效果。当运行测试时，PhayEdit 击败了许多其他方法，包括一些需要付费使用的非常强大的商业模型。例如，在一个衡量物体新位置与目标位置接近程度的特定测试中，PhyEdit 得分为 65.33（分值为 0 到 100），而排名第二的商业模型 Nano Banana Pro 得分为 59.97。在 3D 形状准确度（倒角距离/Chamfer distance）方面，PhyEdit 实现了 18.93 的得分，显著低于商业模型的 25.33（数值越低代表表现越好）。

论文指出，这种方法之所以奏效，是因为它结合了一个“即插即用”的 3D 指导功能，以及一种同时观察 2D 图像和 3D 深度的训练方法。然而，作者也谨慎地指出，这目前还不是一根完美的魔杖。如果它构建的 3D 地图出错了（比如深度传感器被反光物体干扰），或者请求过于极端（比如将物体移动到离摄像机太近以至于会消失在镜头后），该系统仍然会遇到困难。他们还发现，虽然 PhyEdit 在移动物体方面表现出色，但除非你给出非常具体的指令，否则它在改变物体的颜色或纹理方面并不一定更有优势。最终，论文表明，通过将图像编辑建立在真实的物理学和 3D 几何学基础上，我们正朝着创造能够真正理解并操控世界的 AI 迈出重要的一步，而不仅仅是让它在扁平的屏幕上重新排列像素。

技术摘要：PhyEdit

问题陈述

现有的视觉生成模型，包括先进的扩散 Transformer（Diffusion Transformers），在进行图像编辑时难以实现符合物理规律的对象操控。虽然这些模型擅长执行 2D 层面的编辑或遵循详细的坐标指令，但往往无法遵循 3D 物理定律，导致在物体移动过程中出现错误的缩放、不一致的轨迹以及不合理的深度变化。这种局限性源于两个主要差距：

缺乏显式的 3D 与物理控制： 当前模型缺乏整合透视投影定律的机制，导致物理上不合理的行为（例如，物体在靠近或远离时无法正确调整大小）。
缺乏高质量的现实世界数据与基准测试： 现有数据集侧重于 2D 变化或合成 3D 资产，缺乏具有清晰物理规律（如深度诱导的大小变化）和非刚性物体交互的真实世界样本。此外，现有基准测试主要评估 2D 指标，忽略了深度准确性和几何一致性。

方法论：PhyEdit

PhyEdit 是一个基于 DiT（扩散 Transformer）的框架，旨在将 3D 感知编辑定义为生成式状态渲染。它通过集成显式几何模拟作为上下文感知的 3D 视觉引导来实现。

1. 模型架构

3D 变换模块： 在去噪过程之前，系统接收源图像、物体掩码和一个转换向量（目标 3D 位置）。它利用 3D 基础模型（例如 Depth-Anything-3）来预测深度图和相机姿态。随后，物体被反投影到 3D 空间，根据目标向量进行变换，并重新投影以生成一个 深度感知预览图。
DiT 主干网络： 该框架使用预训练的 DiT（具体为 Qwen-Image-Edit）作为主干。输入 Token 序列包括文本提示、噪声潜变量 Token、源图像 Token 以及 变换后的预览 Token。该预览图作为即插即用的上下文引导，在不替换源图像原生视觉输入的情况下，提供显式的几何先验。
联合监督策略： 为了确保物理准确性，训练采用了联合损失函数：
- 2D 层面： 在潜空间上使用标准的流匹配（flow-matching）损失，以确保外观重建。
- 3D 层面： 使用 尺度不变对数（SILog）损失 的深度空间监督项。模型将去噪后的潜变量解码为图像，估计其深度，并将其与目标深度图进行比较。这迫使模型在学习外观的同时学习几何正确性。

2. 数据集与基准测试

为了支持该方法，作者引入了：

RealManip-40K： 一个高质量的现实世界数据集，包含 40,000 对展示 3D 空间中物理物体操控的图像对（ $I_{src}, I_{tgt}$ ）。它包含详细的深度标注、物体掩码和 3D 坐标。数据通过从高分辨率视频（如 OpenVid-1M, VIDGEN-1M）中提取，并通过相机静态过滤和深度感知选择进行筛选，以确保显著的深度变化和真实的交互。
ManipEval： 一个专门用于评估 3D 空间控制的基准测试，包含 200 对图像和约 320 个物体。它引入了多维指标，包括：
- 2D 空间准确度： DIoU 和 Mask IoU。
- 深度准确度： AbsRel 和 $\delta_{1.25}$ 。
- 3D 操控准确度： 重建点云之间的 Chamfer 距离和质心距离。
- 物理合理性： 基于 VLM 的评分（Phys-VLM），用于评估光照、阴影、遮挡以及全局场景一致性。

关键结果

在 ManipEval 上的广泛实验表明，PhyEdit 的表现优于现有的基准模型，包括强大的闭源商业模型（如 Nano Banana Pro, GPT-Image-1.5, Qwen-Image-2.0-Pro）。

定量性能： PhyEdit 在操控相关指标上取得了最佳的综合性能。值得注意的是，与 Nano Banana Pro 相比，它将 DIoU 提升了 5.36 个点，并将 Chamfer 距离降低了 6.40 个点。它还获得了最高的 Phys-VLM 分数，表明其具有卓越的物理真实感。
多物体操控： PhyEdit 的优势在多物体场景中更为显著，在这些场景下，它能比容易失败于编辑所有请求物体或产生不一致深度的基准模型更好地维持精确的 3D 几何结构和一致的交互。
消融实验：
- 深度监督： 像素级深度监督（解码为图像后再预测深度）被证明优于潜变量到潜变量（latent-to-latent）或潜变量到深度（latent-to-depth）的监督，显著提升了 2D 和 3D 指标。
- 参考图像： 包含 3D 变换后的参考图像（预览图）至关重要。移除该预览图会导致性能大幅下降（例如，Chamfer 距离从 18.93 上升到 46.31），这凸显了仅凭文本很难恢复细粒度的 3D 意图。
泛化能力： 该模型在连续物体操控轨迹上展现出强大的泛化能力，并能处理训练分布之外的物体（如机械臂）。

重要性与主张

本文将 PhyEdit 定位为构建能够渲染具备 3D 感知且几何一致的状态转换的 交互式世界模型 的重要一步。

弥合差距： 本研究通过引入显式几何引导和 2D-3D 联合监督，解决了 2D 图像编辑与 3D 物理模拟之间的差距。
物理落地： 不同于依赖隐式学习或沉重 3D 重建的以往方法，PhyEdit 通过轻量化的调节（conditioning）和训练设计实现了具有物理依据的编辑，使其能够适配不同的 DiT 类编辑器。
现实应用价值： 通过提供现实世界数据集和严谨的 3D 基准测试，作者旨在促进 3D 图像编辑和以物体为中心的机器人操控领域的研究，在这些领域中，精确的物理操控至关重要。

作者承认存在一定的局限性，例如对上游几何估计（深度/相机/掩码）的依赖可能会在极端情况下传播误差，以及目前难以处理针对细粒度约束的高度复杂的自由文本指令。然而，他们断言其方法有效地缩小了开源模型与领先的闭源系统在物理合理性和空间控制方面的性能差距。