SceneForge: Structured World Supervision from 3D Interventions
SceneForge 是一个以干预为驱动框架，通过将场景建模为具有语义、几何和物理依赖关系的可编辑 3D 世界来生成结构化且一致的多模态监督，从而实现对齐的反事实与多视角数据的创建，进而提升物体与场景移除任务的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个机器人如何编辑照片。如果你只给机器人展示一张“编辑前”的照片和一张“编辑后”的照片，它就必须猜测中间发生了什么。阴影的移动是因为光线改变了吗？背景的出现是因为物体被移走了吗？由于不了解三维世界的“规则”，机器人经常犯错，比如留下悬浮的阴影，或者用错误的纹理填充背景。
SceneForge 是一个新系统，旨在通过让机器人在3D 虚拟世界中而非仅仅在平面图片中学习，来解决这一问题。
以下是其工作原理，使用简单的类比说明：
1. “乐高世界”与“照片”
大多数当前的 AI 训练数据就像一叠照片。你有一张房间的照片，还有另一张同一房间但椅子被移除的照片。AI 必须猜测椅子下方的地板看起来是什么样。
SceneForge 则不同。它构建了一个数字乐高世界。
- 在这个世界里，每个物体（椅子、桌子、墙壁）都是具有规则的真实 3D 部件。
- 系统知道椅子坐在地板上，会投射阴影，并且可能会反射光线。
- 当你想要“编辑”场景时，你不是在照片上简单地涂抹掉椅子，而是物理上拿起乐高椅子并将其从世界中移除。
2. “多米诺效应”（干预）
论文将这种操作称为“干预”。这就像推倒一排多米诺骨牌。
- 旧方法：你从图片中擦除一块骨牌。它原本所在的空间只是空白。
- SceneForge 方法：你移除了骨牌。因为系统了解世界的物理规律，它会自动更新所有其他内容。
- 骨牌下方的地板被显露出来。
- 骨牌投射的阴影消失。
- 附近镜子中的反射发生变化。
- 光线调整以填充空出的空间。
由于系统一次性更新整个世界状态，每一个结果（新的地板、新的阴影、新的反射）都与其他结果完美一致。它们都是由三维世界的规则“对齐”的，而不是由 AI 猜测出来的。
3. “主蓝图”
作者使用 Infinigen 和 Blender 等工具，创建了一个包含这些 3D 世界（超过 2000 个房间）的巨大库。
- 他们不仅仅是拍照，而是为每个场景构建了主蓝图。
- 从这一张蓝图中，他们可以生成：
- “编辑前”的照片。
- “编辑后”的照片（移除了物体）。
- “掩膜”（精确显示被移除的内容）。
- “阴影层”（仅显示阴影）。
- 不同角度的视图（例如从天花板或角落观察房间）。
所有这些不同的视图和图层都来自同一个单一的真实来源。这意味着 AI 训练数据是完美同步的。
4. 结果：更优秀的学生
研究人员通过教 AI 从图像中移除物体来测试这一方法。他们比较了三位学生：
- 学生 A：使用网上找到的 30,000 对标准“编辑前/后”照片对进行训练。
- 学生 B：使用这些在线照片与部分 SceneForge 数据的混合进行训练。
- 学生 C：仅使用 SceneForge 数据进行训练（图像总数较少，但质量更高）。
结果：
学生 C（仅使用“乐高世界”数据训练）表现最佳。尽管他们看到的示例较少，但他们比那位看过成千上万张杂乱、不相关照片的学生，更好地学会了阴影和背景行为的规则。
- 当被要求移除一把椅子时，学生 C 正确地移除了其下方的阴影。
- 学生 A 经常留下阴影，或者用错误的颜色填充背景。
总结
SceneForge 是一个阻止 AI 猜测世界如何运作的工具。它不是向 AI 展示一堆不相关的照片，而是给它一个可玩的 3D 世界。通过让 AI 在这个虚拟世界中练习移除物体，AI 学会了自然地处理阴影、反射和隐藏背景等复杂效果。这带来了更智能、更逼真的图像编辑。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。