Geometric 4D Stitching for Grounded 4D Generation
本文提出了几何 4D 拼接，这是一个高效的框架，它通过基于实证的 4D 拼接显式地识别并填充缺失的几何区域，以解决现有 4D 生成方法中的不一致性问题，从而在单张 GPU 上实现快速、高质量的场景扩展与编辑。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图构建一个房间的 3D 模型，但你只有一张从某个角落拍摄的几张模糊照片。你想看看房间另一侧的样子，但你从未去过那里。
现有方法试图通过让一位“魔法艺术家”（生成式 AI）绘制房间每一个缺失的角度来解决这个问题。问题在于，这位艺术家擅长让事物看起来漂亮，却经常搞砸结构。他们可能会画出一把看起来真实却悬浮在半空中的椅子，或者一面以不可能的方式弯曲的墙。当你试图将这些画作拼接成一个 3D 模型时，模型会变得摇晃且不一致，因为这位“艺术家”没有遵循物理或几何规则。
几何 4D 缝合（Geometric 4D Stitching，简称 G4S）是一种改变游戏规则的新方法。它不是让艺术家重绘整个房间，而是像一位聪明的施工工头那样运作。以下是其工作原理，使用简单的类比：
1. 锚点：“坚实的地基”
首先，该方法利用你已有的视频（“源视角”），构建一个关于其已知事实的粗糙但坚实的 3D 骨架。这就像房子的地基。它并不完美，但因为它源于实际观测，所以是扎根于现实的。
2. 侦探工作：“寻找缺口”
接下来，该方法让 AI 想象从新角度看到的房间样子。但 G4S 不像过去那样完全信任 AI 绘制整幅新画面，而是像一名侦探。它将 AI 的画作与其已构建的坚实地基进行比较。
- “窗帘”问题：有时，当你移动头部时，你会看到沙发后面隐藏的东西。在 3D 建模中，AI 经常试图跨越这些隐藏区域“连接点”，创造出实际上并不存在的、薄薄的不可见几何片，称为“窗帘”。
- 解决方案：G4S 精确识别 AI 正在猜测的位置（缺口和“窗帘”），并将这些特定点标记为“信息添加区域”。它忽略 AI 仅仅复制已知内容的部分。
3. 缝合：“缝入新布料”
这是核心创新。G4S 不会将 AI 的整幅画作粘贴到模型上。相反，它只提取 AI 生成的新的、隐藏的部分（“新揭示区域”）。
- 在将这些新部分缝入之前，它会将其“熨平”。它强制新的几何结构与坚实的地基（锚点）完美对齐，以确保墙壁保持笔直，物体不会悬浮。
- 随后，它将这些可靠且经过修正的部件“缝合”进 3D 模型。如果 AI 画作的某一部分看起来可疑或与地基冲突，它就会被丢弃。
4. 结果：“连贯的 4D 世界”
最终结果是一个 4D 场景（随时间移动的 3D 世界），它具有以下特点：
- 几何根基稳固：因为它锚定在实际观测上，所以遵循物理规则。
- 快速：它不需要花费数小时微调模型。在强大的计算机上，它能在 10 分钟内构建出场景。
- 可编辑：因为它构建在坚实的网格（如线框）之上，而不是模糊的光点云之上，所以你可以实际移动或移除物体，而不会导致整体崩塌。
为什么这比旧方法更好？
想象一下，旧方法（基于辐射的重建）就像试图通过倾倒湿粘土来建造雕塑，并指望它干燥成正确的形状。如果粘土不一致，雕塑从一个角度看可能还行，但从另一个角度看就会崩塌。
几何 4D 缝合就像用乐高积木搭建。你从一个坚实的底座开始。当你需要添加一个新部分时，你只构建缺失的特定积木，仔细检查它们是否能完美卡入现有结构，然后将其锁定。如果一块积木不合适，你不会强行塞入；你只是不使用它。
简而言之：本文提出了一种扩展 3D 视频世界的方法，仅用“有根基”的几何结构填充缺失部分，确保最终结果稳定、一致且易于编辑，同时避免了从头开始重建整个场景这一昂贵且易出错的过程。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。