ChronoGS: Disentangling Invariants and Changes in Multi-Period Scenes
本文介绍了 ChronoGS，这是一种时间调制的 Gaussian 表示，通过解耦稳定与演化分量，实现了对具有不连续变化的多时段场景的高质量、一致性重建，并同步发布了 ChronoScene 基准数据集。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图创建一个单一、完美的城市街区三维模型。但有一个棘手的问题：你拥有该街区在数年间拍摄的照片。在第一组照片中，那里是一片空地；在第二组中，一栋建筑正在施工；在第三组中，建筑已完工，树木也已长高；在第四组中，树叶已落，光线也截然不同。
问题所在：“冰沙”与“时光机”
当前的三维重建工具就像两位极其固执的厨师：
- 静态厨师：这位厨师假设一切从未改变。如果你将四年的照片都喂给他，他会试图将它们混合成一杯巨大的“冰沙”。结果是一团模糊的混乱，空地、施工现场和完工的建筑同时存在，看起来既幽灵般飘忽又令人困惑。
- 动态厨师：这位厨师假设一切都在平滑移动，就像视频一样。他们期望建筑缓慢生长，树叶轻轻飘落。但现实生活并不总是平滑的；有时建筑会在一夜之间出现，或者树木会被砍倒。当这位厨师试图猜测照片之间发生了什么时，他们会在空隙中幻化出奇怪且不存在的结构。
解决方案：ChronoGS（“时光旅行蓝图”）
本文的作者引入了ChronoGS，这是一种新方法，它像一张智能的、能穿越时间的蓝图。它不强迫场景保持静态或平滑移动，而是理解时间是以离散的“时期”（如季节或施工阶段）形式存在的。
以下是其工作原理，使用一个简单的类比：
1. 锚定脚手架（骨架）
想象一个拥有永久性钢骨架（“锚定脚手架”）的施工现场。这个骨架代表了场景中永不改变的部分，比如地面、道路或建筑地基。ChronoGS 只需构建一次这个骨架，覆盖该场景曾经呈现的所有可能形状的并集。
2. “服装”系统（解耦不变量与变化）
一旦骨架建成，ChronoGS 就不会为每张照片重新构建整个模型。相反，它使用一个巧妙的“服装”系统：
- 基础套装（不变量）：骨架的每一部分都有一个“基础特征”，描述始终存在的内容（例如混凝土墙）。
- 季节性配饰（局部变化）：对于每个特定的时间段，系统会添加“局部配饰”。如果是时期 1，就添加“施工脚手架”配饰；如果是时期 2，就用“完工的窗户”替换它们；如果是时期 3，就添加“飘落的树叶”。
- 全局氛围（全局变化）：还有一个“全局情绪”设置，可以一次性改变整个场景的照明或天空颜色（例如“冬日阳光”与“夏日树荫”）。
3. “关闭开关”（几何激活）
这是魔法所在。当系统为“时期 1"渲染场景时，它会查看骨架并说：“好的，脚手架可见，但完工的窗户不可见。”它 literally 关闭（停用）了该特定时间不应存在的三维模型部分。当切换到“时期 2"时，它关闭脚手架并开启窗户。
为何这很重要
- 无模糊：因为它确切知道在哪个时间该穿哪套“服装”，所以它不会将施工现场与完工建筑混淆模糊。
- 无幽灵：因为它将时间视为离散时期而非平滑电影，所以它不会在施工阶段中间凭空捏造虚假建筑。
- 高效：它只为整个时间线构建一个“骨架”和一套“服装”，而不是为每一年构建一个全新的三维模型。这节省了海量的计算机内存。
新游乐场：ChronoScene
为了证明这行之有效，作者们没有仅使用旧数据，而是建立了一个名为ChronoScene的新游乐场。它包含真实世界的照片（如随年份变化的城市街区）和合成（计算机生成）场景，其中他们手动编辑了建筑和树木以模拟时间的流逝。该数据集是首个专门设计用于测试三维模型如何处理形状和外观上这些巨大、突然变化的数据集。
结果
当他们将 ChronoGS 与其他方法进行测试对比时，它获胜了。它为每一个时间段生成了更清晰、更准确的三维模型，精确捕捉了某一时刻的施工现场外观和下一时刻的完工公园外观，而不会将它们混淆。
简而言之，ChronoGS 是首个能够查看相隔数年的系列照片，并说出“我知道世界当时的样子，也知道它现在的样子，而且我能清晰地展示两者而不会混淆”的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。