💻 computer science

Test-Time Adaptation for Height Completion via Self-Supervised ViT Features and Monocular Foundation Models

本文提出了名为 Prior2DSM 的免训练框架，通过在测试时利用自监督 ViT 特征与单目深度基础模型进行语义对应，并结合低秩适应（LoRA）技术将相对深度转换为绝对高度，从而实现了无需特定任务训练即可显著提升数字表面模型（DSM）补全精度与结构保真度的目标。

原作者： Osher Rafaeli, Tal Svoray, Ariel Nahlieli

发布于 2026-04-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Osher Rafaeli, Tal Svoray, Ariel Nahlieli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 Prior2DSM 的新方法，它的核心任务是：如何给一张“缺胳膊少腿”的地图补全高度信息，而且不需要重新训练模型。

为了让你更容易理解，我们可以把整个技术过程想象成**“修补一幅破损的立体拼图”**。

1. 背景：为什么我们需要修补？

想象一下，你手里有一张城市的3D 地形图（DSM），上面标着每栋楼、每棵树的高度。但是，这张图可能因为拍摄时的云层遮挡、传感器故障，或者城市里新盖了楼，导致地图上有很多**“空洞”（缺失的高度数据）或者“过时”**的数据。

传统方法（像填色游戏）： 以前的做法是看空洞周围是什么，然后简单地“平均”一下填进去。如果周围是平地，填进去就是平地；如果周围是高楼，填进去就是高楼。
- 缺点： 如果整个街区都塌了（完全缺失），或者新盖了一栋大楼，这种“看周围填”的方法就失效了，因为它不知道那里原本该有什么。
现在的 AI 方法（像猜谜游戏）： 现在的 AI 能根据一张普通的 2D 照片（RGB 图像）猜出哪里高哪里低。
- 缺点： AI 猜出来的高度通常是“相对”的（比如这栋楼比那栋高），而不是“绝对”的（比如这栋楼确切是 50 米高）。而且，如果照片里的物体和 AI 以前见过的不一样，它就容易猜错。

2. 核心创意：Prior2DSM 是怎么做的？

作者提出了一种**“零训练、测试时自适应”的方法。我们可以把它比作一个“聪明的老工匠”，他不需要重新学习怎么砌墙，而是利用自己脑子里的“通用知识”和“现场线索”**来修补。

这个工匠由三个关键部分组成：

A. 拥有“火眼金睛”的 DINOv3（语义理解者）

比喻： 想象 DINOv3 是一个看过全世界所有照片的超级艺术鉴赏家。它不看具体的像素，而是看“语义”。比如，它一眼就能认出“这是一扇窗户”、“那是一棵树”，哪怕它们在照片的不同角落，或者照片有点模糊。
作用： 当地图缺了一块时，这个鉴赏家会去照片里找**“长得像”的地方。比如，缺了一块是“红砖房”，它就会去照片里找其他完好的“红砖房”，看看它们大概多高。它通过“语义相似性”**来传递高度信息，而不是仅仅看距离远近。

B. 拥有“直觉”的单目深度模型（相对高度猜测者）

比喻： 这是一个**“直觉大师”**，它看着照片就能大概猜出哪里高哪里低（相对高度），但它不知道具体的米数。
作用： 它提供了一个基础的“地形骨架”。

C. 灵活的“校准器”（MLP + LoRA）

比喻： 这是整个系统的**“现场指挥官”**。
- LoRA（低秩适应）： 想象指挥官手里有一副**“可调节的眼镜”**。在测试时（修补地图时），他不需要换眼镜（重新训练模型），只需要微调一下眼镜的度数（调整少量参数），就能让“鉴赏家”和“直觉大师”更适应当前的场景。
- MLP（多层感知机）： 指挥官根据现场手里仅有的**“几个已知高度的标记点”**（比如地图上没坏的几个点），告诉“直觉大师”：“你猜的相对高度是对的，但要把整体放大 2 倍，再往上提 5 米”。

3. 工作流程：修补过程是怎样的？

输入： 给系统一张新拍的照片（RGB）和一张残缺的旧地图（Prior，里面有些高度是对的，有些是空的）。
找线索： “鉴赏家”（DINOv3）分析照片，发现：“哦，这里缺了一块，但照片里显示这里应该是个‘商场’。我看照片右上角也有个‘商场’，那个高度是已知的。”
传递信息： 系统利用“语义相似性”，把右上角“商场”的高度信息，通过“特征空间”搬运到缺失的地方。
现场校准： “指挥官”看着手里仅有的几个已知点，快速调整比例尺（Scale）和偏移量（Shift）。
- 以前： 需要把整个模型重新训练一遍才能适应新场景。
- 现在（Prior2DSM）： 就像给眼镜调个焦距，几秒钟就能搞定，不需要重新学习。
输出： 得到一张完整、精准、有绝对高度的新 3D 地图。

4. 为什么这个方法很厉害？（类比总结）

不用“死记硬背”： 以前的方法像学生死记硬背了“北京的房子多高”，到了上海就不灵了。Prior2DSM 像是一个经验丰富的老导游，到了新城市，看一眼就能根据当地建筑的“风格”（语义）推断出高度。
能补“大洞”： 即使整个街区都从地图上消失了，只要照片里还有，它就能通过“找长得像的邻居”把高度补回来。
既快又准： 它不需要在超级计算机上训练几天，而是在测试时（修补时）直接微调，既保留了大模型的通用能力，又适应了当前的具体情况。

5. 实际应用场景

城市体检： 2008 年的地图和现在的城市不一样了（新盖了楼），用这个方法可以快速更新地图，不需要重新去飞无人机测量。
虚拟世界构建： 如果你想在游戏里生成一个新的商业区，先画个草图（RGB），这个方法能自动生成对应的真实高度地图（DSM），让游戏里的建筑看起来更真实。

一句话总结：
Prior2DSM 就像是一个自带“通用知识”且能“现场临场发挥”的修补大师，它利用 AI 对物体“长相”的理解，结合少量的已知数据，瞬间就能把残缺的 3D 地图修补得完美无缺，而且不需要重新培训它。

1. 研究背景与问题定义 (Problem)

核心问题：
数字表面模型（DSM）是城市监测、环境分析和基础设施管理的关键数据。然而，现有的大规模 DSM 常因获取限制、重建伪影或环境变化而存在缺失区域或过时信息。

现有方法的局限性：

传统插值法： 依赖空间连续性假设（如克里金插值），当物体完全缺失（如新建建筑）时失效。
监督学习方法： 需要针对特定传感器和场景进行训练，泛化能力差，难以适应不同领域或数据分布的变化。
现有补全方法： 大多基于全局仿射重缩放或局部加权回归，无法处理完全缺失的物体；或者依赖特定的先验数据源，缺乏传感器无关性。
单目高度估计（MHE）的缺陷： 正射成像几何消除了透视高度线索，导致严重的尺度 - 高度模糊性（Scale-Height Ambiguity），且对光照变化敏感，泛化性差。

目标：
提出一种无需训练（Training-free）、测试时适应（Test-Time Adaptation, TTA） 的框架，利用基础模型（Foundation Models）从不完美的先验高度数据中恢复出精确的、具有度量单位（Metric）的 DSM，即使面对完全缺失的物体区域也能有效补全。

2. 方法论 (Methodology)

作者提出了 Prior2DSM 框架，其核心思想是将高度对齐重构为特征引导的校正过程，利用自监督视觉 Transformer（ViT）的语义特征空间来传播高度信息。

2.1 核心组件

输入数据：
- 不完整的先验高度图 ( $H_{prior}$ )：包含部分正确度量值，但存在缺失或错误区域。
- 更新的单目 RGB 图像 ( $I$ )：包含完整的表面外观。
- 变化掩膜 ( $M$ )：标识出需要补全或更新的区域。
相对高度估计 (Monocular Depth Foundation Models)：
- 利用预训练的单目深度基础模型（如 Depth Anything V2, Depth Pro, MoGe-2）从 RGB 图像生成相对高度图 ( $H_{rel}$ )。这些模型提供几何结构但缺乏绝对尺度。
自监督语义特征提取 (DINOv3)：
- 使用 DINOv3（自监督 ViT）提取密集的语义特征 ( $F$ )。
- 创新点： 采用步长重叠累积策略 (Strided Overlap Accumulation)。通过移动输入图像的子块步长（ $s < P$ ），提取重叠的语义视图并平均化，从而获得比标准 ViT 高 16 倍的语义采样密度，保留精细的建筑细节。
测试时适应 (TTA) 机制：
- LoRA (Low-Rank Adaptation)： 对 DINOv3 的注意力投影层（Attention Projection Layers）应用低秩适应。在推理过程中冻结预训练权重，仅微调少量 LoRA 参数，使模型适应当前场景的语义分布。
- MLP 尺度与偏移预测： 设计一个轻量级的多层感知机（MLP），输入为 ViT Token 特征，输出每个像素位置的空间变化尺度 ( $s$ ) 和 偏移 ( $b$ ) 参数。
- 优化目标： 利用现有的先验度量高度作为锚点，优化 LoRA 和 MLP 参数，将相对高度 ( $H_{rel}$ ) 转换为度量高度 ( $\hat{z} = s \cdot r + b$ )。
高度传播逻辑：
- 不同于传统的空间插值，该方法利用语义相似性。即使两个物体在空间上相距甚远，如果它们在 DINOv3 特征空间中相似（例如都是“屋顶”或“树木”），它们的高度模式（尺度/偏移）也可以相互传播。这使得完全缺失的物体也能被重建。

3. 主要贡献 (Key Contributions)

首个零样本高度补全框架： 提出了 Prior2DSM，这是首个利用冻结的 DINOv3 卫星基础模型进行零样本（Zero-shot）度量高度补全的方法，无需针对特定数据集进行监督训练。
基于特征空间的测试时适应 (TTA)： 结合了 LoRA 和 MLP 进行参数高效微调。通过语义特征空间对应关系传播度量信息，解决了传统方法在物体完全缺失时失效的问题。
系统性的基准测试： 在高分辨率航空（NAIP）和卫星（WorldView-3）数据集上，系统评估了多种单目基础模型骨干（Depth Anything V2, Depth Pro, MoGe-2）对补全精度的影响。
实际应用验证：
- DSM 更新： 成功将 2008 年的旧 DSM 更新为当前状态。
- RGB-DSM 协同编辑： 结合文本生成图像模型（Text2Earth），实现了根据文本提示生成新建筑并同步生成对应度量 DSM 的能力。

4. 实验结果 (Results)

实验在两个数据集上进行：Denver (NAIP, 复杂城市/高层建筑) 和 Fresno (WorldView-3, 低层住宅)。测试了 25%、50%、75% 不同程度的先验数据缺失。

定量指标 (MAE/RMSE/SSIM)：
- 显著优于基线： Prior2DSM 在所有缺失程度下均优于双线性插值、全局重缩放、局部加权线性回归 (LWLR) 和空间 kNN 方法。
- 对比 SOTA： 相比最先进的先验深度补全方法（如 PriorDA, Marigold-DC）和纯单目模型（RS3DAda），Prior2DSM 取得了更低的误差。
- 具体提升： 在 Denver 数据集的 25% 缺失情况下，相比全局重缩放基线，RMSE 降低了约 46% (从 9.91m 降至 5.31m)；在 Fresno 数据集上提升了约 18%。
- 鲁棒性： 随着缺失率增加（至 75%），其他方法性能急剧下降，而 Prior2DSM 保持了相对稳定的高精度。
消融实验 (Ablation Study)：
- LoRA 的重要性： 移除 LoRA（冻结 DINOv3）导致 RMSE 上升，证明 TTA 对适应新场景至关重要。
- 骨干模型选择： MoGe-2 在复杂场景（NAIP）中表现最佳，Depth Pro 次之，DAv2 相对平滑但在细节上略逊。Prior2DSM 能适配任何相对深度骨干。
- 直接预测 vs. 重缩放： 直接预测高度不如“相对高度 + 尺度/偏移校正”策略准确。
定性结果：
- 能够重建完全缺失的建筑物，保持结构保真度（SSIM 高）。
- 生成的 DSM 边缘清晰，无传统插值带来的平滑伪影。

5. 意义与局限性 (Significance & Limitations)

意义：

范式转变： 从“训练特定模型”转向“利用基础模型 + 测试时适应”，极大地提高了模型的泛化能力和跨域适用性。
解决痛点： 有效解决了传统方法无法处理“完全缺失物体”的难题，为 DSM 的自动化更新和动态维护提供了新方案。
多模态潜力： 展示了将生成式 AI（文本到图像）与几何重建（DSM 生成）结合的可能性，为数字孪生和城市仿真提供了工具。

局限性：

依赖相对深度质量： 最终结果的质量受限于输入的单目相对深度估计的准确性。
计算成本： TTA 优化过程需要额外的计算时间（RTX 4000 GPU 上约 8.2 分钟/平方公里），虽然对于局部更新可接受，但大规模部署仍需优化效率。
误差传播： 初始深度估计中的误差可能会传播到最终的度量 DSM 中。

总结：
Prior2DSM 通过巧妙结合自监督语义特征（DINOv3）和单目深度基础模型，利用测试时适应技术，实现了一种无需训练、高精度且鲁棒的 DSM 补全方法。它在处理复杂城市环境和数据缺失场景方面展现了超越现有技术的性能，为遥感领域的 3D 重建开辟了新的方向。