💻 computer science

Tortho-Gaussian: Splatting True Digital Orthophoto Maps

Ortho-Gaussian 是一种利用具有各向异性核的 3D 高斯泼溅（3D Gaussian Splatting）和分而治之策略来生成高质量真数字正射影像图（True Digital Orthophoto Maps）的新颖方法，有效地克服了诸如不准确的数字表面模型（DSMs）和遮挡检测等传统挑战，并在边界精度和视觉保真度方面优于商业软件。

原作者： Xin Wang, Wendi Zhang, Hong Xie, Haibin Ai, Qiangqiang Yuan, Zongqian Zhan

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xin Wang, Wendi Zhang, Hong Xie, Haibin Ai, Qiangqiang Yuan, Zongqian Zhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图制作一张完美、平整、俯视视角的繁华城市地图。在现实世界中，如果你从无人机拍摄照片，高大的建筑会向图像中心倾斜（就像哈哈镜一样），而且建筑物的侧面（立面）会挡住视线，遮住其背后的地面。传统方法试图通过先构建一个复杂的地形 3D 模型，然后通过数学手段将建筑物“去倾斜”，并计算哪些部分被遮挡了。这个过程缓慢、容易出错，并且经常留下奇怪的伪影，比如幽灵般的重影或锯齿状边缘。

这篇论文介绍了一种名为 TOrtho-Gaussian 的新方法，它通过改变游戏规则彻底解决了这些问题。以下是该方法的原理，用简单的语言进行解释：

1. 神奇的“喷溅”油漆（3D 高斯泼溅/3D Gaussian Splatting）

这种方法不是构建由三角形组成的刚性 3D 模型（类似于线框模型），而是将场景视为由数百万个微小的、不可见的、3D “油漆团”（称为高斯核）组成的云团。

类比： 想象你正透过一扇起雾的窗户观察一座城市。你不是在画建筑物，而是有数百万个发光的 3D 椭球体漂浮在空中，它们代表了城市的颜色和形状。
诀窍： 当你想制作地图时，你不是从某个角度（透视投影）观察这些“油漆团”，而是从天空中垂直向下投射一束巨大的、笔直的强光（正交投影）。这些油漆团会“喷溅”在地面上。因为光线是垂直向下的，所以建筑物不会倾斜，建筑物的侧面也不会在俯视图中投射阴影——它们会直接从顶视图中消失。这自动解决了“遮挡”问题，而无需复杂的数学计算来确定哪些部分被遮挡了。

2. “分而治之”的策略

使用这种“油漆团”方法的一个问题是，如果你尝试一次性绘制整座城市，你的计算机内存（VRAM）会爆炸。这就像试图把整个海洋装进一个水桶里。

解决方案： 作者将城市切割成较小的、相互重叠的拼图块。他们在不同的计算机（或同一台计算机的不同部分）上分别绘制每个碎片，然后将这些碎片无缝地拼接在一起。
结果： 你现在可以绘制巨大的区域（例如整个街区），而不会耗尽内存，而且速度比以前更快。

3. “变形”油漆（全各向异性核/Fully Anisotropic Kernels）

标准的“油漆团”有点过于简单了。它们在处理一些棘手的问题时表现不佳，例如：

反射表面： 比如闪亮的玻璃或水面，它们在不同角度看起来完全不同。
细长结构： 比如细长的电线或树枝，在标准地图中往往看起来模糊或直接消失。
升级版： 作者赋予了这些油漆团“超能力”。他们使油漆团具有全各向异性，这意味着它们可以根据观察方向进行拉伸、旋转和改变透明度。
类比： 想象普通的油漆团是一个圆形的气球。而“全各向异性”的油漆团就像是一块太妃糖，它可以拉伸成一条细长的线，以完美地追踪电线，或者压扁以完美地模拟一片闪亮的水洼。这防止了在这些区域出现导致地图毁坏的“模糊”或“幽灵”边缘。

他们证明了什么？

团队将他们的方法与顶尖的商业软件（行业标准）进行了对比测试，发现：

更锐利的边缘： 建筑物的轮廓笔直且真实，没有锯齿或扭曲。
没有幽灵： 建筑物的侧面不会出现在俯视图中，也不会在不该出现的地方出现建筑物的“幽灵”图像。
更好的细节： 电线或起重机等细小物体渲染得非常清晰，而反射表面（如湖泊）看起来平滑且真实，没有孔洞或奇怪的伪影。
速度与规模： 与旧方法相比，他们可以更快地处理大面积区域，且消耗更少的计算机内存。

简而言之，TOrtho-Gaussian 是一种制作完美、平整的世界地图的新方法。它利用数百万个智能的、可变形的 3D 油漆团，通过从天空垂直向下“喷溅”来完成，从而绕过了传统 3D 建模中复杂的数学运算。

技术摘要：Tortho-Gaussian

1. 问题陈述

真正的数字正射影像图（TDOM）对于数字孪生和地理信息系统（GIS）至关重要，能够提供丰富的纹理和统一的几何比例。然而，传统的 TDOM 生成依赖于复杂的摄影测量工作流，涉及数字表面模型（DSM）和显式的遮挡检测。这些过程面临着以下挑战：

不准确的 DSM： 导致几何畸变。
退化的遮挡检测： 导致“鬼影”现象，即建筑物的立面出现在正射影像图中，而非地面或屋顶。
视觉伪影： 在弱纹理区域（如水体）以及反射表面或细长结构（如电线）上的渲染效果较差。
可扩展性问题： 现有的基于学习的方法（如神经辐射场 NeRF）面临训练时间慢和内存需求高的问题，难以扩展到大规模城市场景。此外，标准的 3D 高斯泼溅（3DGS）受限于显存（VRAM）限制，并在处理高频细节时存在混叠问题。

2. 方法论

作者提出了 Tortho-Gaussian，这是一个通过将 3D 高斯泼溅从透视投影适配为正交投影来生成 TDOM 的新颖框架。该方法由五个关键技术组件组成：

A. 正交泼溅 (Orthogonal Splatting)

与使用透视投影渲染新视角而非向心投影的 vanilla 3DGS 不同，Tortho-Gaussian 采用了正交泼溅。

投影： 3D 高斯核的均值（位置）和协方差（方差）使用正交投影矩阵 ( $P_o$ ) 而非透视矩阵投影到 2D 图像平面上。
机制： 这种方法绕过了对显式 DSM 生成和复杂遮挡检测（Z-缓冲）的需求。通过沿 Z 轴进行投影，该方法自然地渲染出比例统一的视图，使建筑物立面不会遮挡地面，从而有效地解决了传统方法中固有的“立面偏移”问题。

B. 全各向异性高斯核 (Fully Anisotropic Gaussian Kernel, FAGK)

为了解决具有挑战性场景（反射表面、细长结构和弱纹理）中的伪影，作者引入了全各向异性高斯核。

适应性： 与标准内核不同，FAGK 将球谐函数（SH）系数应用于所有属性：颜色、不透明度、旋转和缩放。
方向依赖性： 这使得高斯核在从不同方向观察时能够表现出不同的特征，使模型能够比各向同性或标准各向异性内核更准确地处理诸如电线和反射等各向异性特征。

C. 分而治之策略 (Divide-and-Conquer Strategy)

为了在有限的 GPU 显存内实现大规模场景重建（例如城市级区域）：

分区： 根据相机分布将场景划分为重叠的矩形子区域。
扩展： 扩展这些子区域的边界（例如 20%），以确保连续性并防止边界伪影。
选择： 根据可见性和覆盖范围为每个子区域选择相机和 3D 点，以确保鲁棒的初始化。
优化： 每个子区域使用有限的 VRAM 进行独立优化，生成的各向异性高斯场随后被无缝合并以形成统一的场景表示。

D. 工作流

预处理： 将稀疏点云（来自运动恢复结构 SfM）对齐到 x-y 轴。
分区： 将场景划分为多个子区域。
训练： 使用增强的 FAGK 为每个子区域优化 3DGS。
合并： 将优化后的场合并为一个单一场景。
渲染： 沿 Z 轴执行正交泼溅，以生成无需图像镶嵌或辐射校正的最终 TDOM。

3. 核心贡献

本文概述了三个主要贡献：

首个用于 TDOM 的正交泼溅技术： 一种偏离透视泼溅的新颖方法，用于生成比例统一的图像，从几何上绕过了对显式 DSM 和遮挡检测的需求。
通过分而治之实现可扩展性： 将 3DGS 扩展到大规模场景，显著提高了训练时间效率并降低了 VRAM 使用量，实现了此前 3DGS 无法实现的区域的正射影像渲染。
通过 FAGK 增强表示： 引入了即插即用的全各向异性高斯核，将透明度、缩放和旋转集成到球谐表示中，显著改善了对反射表面和细长结构的渲染。

4. 实验结果

作者使用 NPU-DroneMap 和 WHU 数据集，将 Tortho-Gaussian 与最先进的商业软件（ContextCapture, Metashape, Pix4DMapper, Map2DFusion）以及基于学习的方法（Ortho-NeRF）进行了评估。

定性性能：
- 建筑边缘： 该方法产生了高保真度的边缘，畸变极小，优于经常因微分校正不足而出现锯齿边缘或曲率的商业软件。
- 建筑立面： Tortho-Gaussian 成功消除了立面投影（鬼影），渲染出连续且无断裂的边界。
- 细长结构： FAGK 有效地恢复了电线、塔架和起重机的几何细节，避免了其他方法中出现的混叠和断裂现象。
- 弱纹理： 该方法更好地处理了水体和反射表面，减少了传统重建中常见的空洞和鬼影伪影。
定量性能：
- 精度： 与 Metashape 和 Pix4DMapper 的相对精度测试显示，平均相对误差分别为 0.155% 和 0.126%，表明其精度与商业标准相当。
- 效率： 在大规模场景（如 Phantom3 数据集）中，vanilla 3DGS 因 VRAM 限制（需要 >21GB）而失败，而 Tortho-Gaussian 仅使用约 10–11 GB 的 VRAM 就成功重建了场景，并在大约 40 分钟 内完成了训练。
消融研究：
- 分区： 研究发现 $2\times2$ 分区策略在保持高图像质量（SSIM/PSNR）的同时，是最具时间效率的。
- FAGK： 包含 FAGK 显著提高了各项指标（SSIM, PSNR, LPIPS）并减少了边缘扩张伪影，尤其是在较低的空间分辨率下。

5. 重要性与主张

本文声称 Tortho-Gaussian 为提升 TDOM 质量和可扩展性提供了一个稳健的替代方案。其重要性在于：

简化： 它消除了对复杂的、易出错的传统摄影测量步骤（如显式 DSM 生成和遮挡检测）的依赖。
高效： 它解决了 3DGS 的可扩展性瓶颈，使其适用于大面积城市重建。
高质量： 它实现了优于现有商业软件的视觉和几何保真度，特别是在处理复杂几何体（细长结构）和弱纹理方面。

作者将这项工作定位为迈向高效、大规模城市场景重建的一步，并指出未来的工作可以探索通过优化的分区策略以及集成语义信息（如分割模型）和深度先验来实现更大规模的城市级场景。