CoIn: Comprehensive 2D-3D Inpainting with Gaussian Splatting Guidance
CoIn 是一个通过多阶段一致性流水线将 2D 修复模型与 3D 高斯泼溅（Gaussian Splatting）相连接的新颖框架，通过确保双向几何与光度一致性，实现了针对物体移除与插入任务、且具备灵活掩码输入的先进 3D 场景重建。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一本记录着一个美丽房间的照片集，但每张照片里都有一堆乱七八糟的衣物挡住了你的视线，遮住了那把漂亮的椅子。你想“擦除”这些衣物以看清椅子，或者想在场景中“添加”一盏新灯。在单张 2D 照片中完成这些操作对计算机来说很容易。但要在整个照片集中完成这项工作，让新椅子或新灯从各个角度看都显得真实，却是极其困难的。如果计算机在其中一张照片中猜错了，当你尝试从不同角度观察时，那个 3D 物体看起来就会破碎或模糊。
这篇论文介绍了一种名为 CoIn（全面 2D-3D 补全，Comprehensive 2D-3D Inpainting）的新工具，它通过扮演一个聪明的、两步走的“施工队”来解决这个问题。
问题所在：“先 3D”与“先 2D”的抉择
以往的方法试图先修复 3D 世界（“先 3D”方法）。想象一下，你要重建一座房子，但不是先盖好房子的隐形 3D 骨架，然后再粉刷墙壁。问题在于：为了正确构建这个骨架，你需要为每一张照片准备完美的蓝图（掩码/Masks）。如果你的蓝图在某一张照片中哪怕只有一点点偏差，整个 3D 结构就会坍塌，或者你会不小心删掉了想要保留的部分墙壁。
其他方法则尝试先修复照片（“先 2D”方法）。它们会对每一张照片中的衣物进行单独的覆盖涂抹。问题在于，计算机可能会在第一张照片里画了一把椅子，而在下一张照片里却把它画成了一张桌子。当你尝试将它们组合成 3D 时，结果会变成一个模糊且不一致的混乱体。
CoIn 的解决方案：带有 3D 安全网的“先 2D”流水线
CoIn 结合了两者的优点。它首先对照片进行绘画（2D），但使用了一个 3D “安全网”来确保一切都能完美对齐。以下是它的工作步骤：
1. 草稿阶段（2D 图像补全）
首先，CoIn 使用一个强大的 AI 画家（扩散模型）快速涂抹掉所有照片中的杂乱区域。它暂时不担心 3D 一致性，只要确保每张照片在自身视角下看起来是好看的。
- 类比： 这就像一位速写画家快速填补漫画书页面上的空白处。画作本身看起来不错，但角色在不同页面之间可能会略有不同。
2. 构建“参考”骨架（Ref-GS）
接下来，CoIn 利用这些粗略的草图，使用 高斯泼溅技术（Gaussian Splatting）（一种将 3D 场景表示为数以千计的微小、模糊 3D 点的现代快速方法）来构建一个临时的 3D 模型。
- 诀窍： CoIn 并没有平等对待所有的照片，而是挑选了一张“参考照片”（最佳视角），并规定：“这张照片才是老大。”它构建 3D 模型时会完美契合这张“老大”照片，同时如果其他照片出现分歧，它会温柔地忽略它们。
- 类比： 想象一位雕塑家根据一张完美的照片制作了一个完美的粘土模型。如果第二张照片展示的角度很奇怪，导致看起来不对劲，雕塑家会更信任那件完美的粘土模型，而不是那张奇怪的照片。
3. “现实检查”（一致性损失引导）
现在，见证奇迹的时刻到了。CoIn 将那个 3D 粘土模型重新投影回 2D 照片中。它告诉 AI 画家：“嘿，看看这个 3D 模型在当前角度下应该是什么样子的。请修正你的绘画以符合 3D 现实。”
- 类比： 这就像电影拍摄现场的导演。演员（AI 画家）在即兴发挥台词，但导演（3D 模型）会说：“不，在这一场戏中，角色其实是站在那棵树后面的。请修改你的台词以匹配布景。”这迫使所有的照片在 3D 形状上达成一致。
4. 最终润色（纹理增强）
在 AI 根据 3D 现实完成修正后，图像可能会显得过于平滑或模糊（就像低分辨率的照片）。CoIn 使用一个特殊的“纹理判别器”来重新添加精细的细节，比如木材的纹理或织物的质感，使最终结果看起来清晰且真实。
- 类比： 这就像编辑使用高端滤镜对一张略显模糊的照片进行锐化处理，使皮肤看起来真实、织物具有质感，而不会改变人物的轮廓。
为什么这很重要
- 它能处理“粗糙”的掩码： 与那些需要像素级精准物体轮廓的旧方法不同，CoIn 可以处理粗略的、方块状的、甚至是涂鸦式的掩码。它对人类的误差具有包容性。
- 它既能移除也能添加： 你可以用它来擦除物体（如衣物），也可以用它来添加新物体（如西瓜或灯），并且它在任何角度看都显得真实。
- 它具有一致性： 最大的胜利在于，如果你绕着 3D 场景走动，物体不会发生扭曲或闪烁。它始终保持稳固且一致。
总结
CoIn 是一个连接 2D 图像编辑与 3D 重建的框架。它始于 2D 编辑的灵活性，利用智能 3D 模型来强制实现一致性，最后通过润色使其达到照片级的真实感。它就像拥有一支团队：他们可以勾勒出一个新房间的草图，建立 3D 蓝图以确保墙壁对齐，最后完美地绘制出细节，让你完全看不出这些东西原本并不存在。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。