Test-Time Adaptation for Height Completion via Self-Supervised ViT Features and Monocular Foundation Models

1. Planteamiento del Problema

Los Modelos Digitales de Superficie (DSM) precisos son fundamentales para aplicaciones geoespaciales como la planificación urbana, el monitoreo ambiental y la gestión de infraestructuras. Sin embargo, los DSMs a gran escala a menudo contienen regiones incompletas o desactualizadas debido a limitaciones en la adquisición de datos, artefactos de reconstrucción o cambios en el entorno construido.

• Limitaciones de los métodos tradicionales: Los enfoques basados en interpolación espacial (como kriging) asumen continuidad espacial y fallan cuando objetos enteros (edificios, vegetación) están ausentes.
• Limitaciones de los métodos de aprendizaje profundo: Las técnicas basadas en aprendizaje supervisado requieren entrenamiento específico para cada sensor o dominio, lo que limita su generalización. Además, la estimación de altura monocula (MHE) sufre de ambigüedad de escala debido a la geometría de visión casi ortográfica de las imágenes satelitales/aéreas, lo que dificulta obtener medidas métricas precisas sin puntos de referencia.
• El desafío central: Existe una necesidad de un marco que pueda completar regiones faltantes utilizando priores de altura incompletos (DSMs antiguos o parciales) y nuevas imágenes monoculares, sin requerir entrenamiento específico para la tarea, manteniendo la fidelidad estructural y la precisión métrica.

2. Metodología: Prior2DSM

El artículo propone Prior2DSM, un marco libre de entrenamiento (training-free) que opera completamente en tiempo de prueba (Test-Time Adaptation o TTA). El objetivo es completar un DSM métrico utilizando priores incompletos y una imagen RGB actualizada.

Componentes Clave:

1. Modelos Fundacionales de Profundidad Monoculares: Se utilizan modelos preentrenados (como Depth Anything V2, Depth Pro, MoGe-2) para generar un mapa de altura relativa ($H_{rel}$) a partir de la imagen RGB. Estos modelos capturan la geometría relativa pero carecen de escala métrica absoluta.
2. Características Semánticas Auto-supervisadas (ViT): Se emplea el modelo DINOv3 (un Vision Transformer auto-supervisado) para extraer características semánticas densas de la imagen RGB. La hipótesis central es que regiones semánticamente similares (ej. edificios del mismo tipo, tipos de vegetación) comparten patrones de atención y distorsiones de profundidad, incluso si están espacialmente separados.
3. Extracción de Características Densas: Para evitar la pérdida de detalles finos típica de los ViT estándar (debido a la cuadrícula de parches rígida), se implementa una estrategia de acumulación con superposición de pasos (strided overlap). Esto aumenta la densidad de muestreo semántico 16 veces, permitiendo una alineación más precisa a nivel de píxel.
4. Adaptación en Tiempo de Prueba (TTA):
   • LoRA (Low-Rank Adaptation): Se aplica LoRA a las capas de atención de DINOv3 para adaptar las representaciones semánticas al escenario específico sin actualizar todos los parámetros del modelo.
   • MLP de Escala y Desplazamiento: Una red neuronal ligera (MLP) predice parámetros de transformación afín (escala $s$ y desplazamiento $b$) variables espacialmente para cada token. Estos parámetros convierten la profundidad relativa en altura métrica: $\hat{z} = s \cdot r + b$.
   • Optimización: El MLP y los parámetros de LoRA se optimizan utilizando los píxeles del prior de altura que sí son válidos (anclas métricas) durante la inferencia. Esto permite calibrar localmente la predicción de profundidad relativa basándose en la correspondencia semántica.

Flujo de Trabajo:

1. Entrada: Imagen RGB actual + DSM prior incompleto (con máscaras de cambio).
2. Generación de profundidad relativa y características semánticas.
3. Identificación de regiones faltantes mediante el prior.
4. Optimización TTA: Ajuste de LoRA y MLP usando los píxeles válidos del prior.
5. Aplicación de la transformación afín aprendida para generar el DSM métrico final ($H_{fine}$).

3. Contribuciones Clave

• Marco Libre de Entrenamiento: Es el primer modelo diseñado para la completación de altura zero-shot utilizando un modelo fundacional de satélite congelado (DINOv3), eliminando la necesidad de entrenamiento supervisado específico por dominio.
• Alineación Métrica Basada en Semántica: Propone propagar información de altura a través de la correspondencia en el espacio de características semánticas en lugar de la proximidad espacial, permitiendo la completación de objetos totalmente faltantes.
• Adaptabilidad a Múltiples Backbones: El marco es agnóstico al modelo de profundidad subyacente, permitiendo la integración de diversos modelos fundacionales (Depth Pro, MoGe-2, etc.).
• Aplicaciones Prácticas: Demuestra la utilidad del método en la actualización de DSMs temporales (corrección de cambios 2008-presente) y en la edición conjunta RGB-DSM mediante modelos generativos (Text2Earth).

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos de alta resolución: NAIP (Denver, aéreo, 30cm) y WorldView-3 (Fresno, satelital, 60cm), con niveles de incompletitud del prior del 25%, 50% y 75%.

• Rendimiento Cuantitativo:

  • Prior2DSM superó consistentemente a métodos de interpolación (bilineal), rescaling global, regresión lineal ponderada local (LWLR) y métodos basados en kNN espacial.
  • En el conjunto de datos NAIP (más complejo), Prior2DSM logró una reducción de hasta un 46% en el RMSE (Error Cuadrático Medio) comparado con el ajuste lineal global de modelos de profundidad monoculares.
  • En comparación con el estado del arte (PriorDA, Marigold-DC), Prior2DSM mostró menor sensibilidad a la falta de datos, manteniendo errores más bajos incluso con 75% de datos faltantes.
  • El uso de MoGe-2 como backbone de profundidad proporcionó los mejores resultados generales, seguido por Depth Pro.

• Rendimiento Cualitativo:

  • Los métodos de interpolación fallaron al reconstruir objetos completos, produciendo superficies suavizadas.
  • Prior2DSM preservó la fidelidad estructural de edificios y vegetación, generando bordes nítidos y alturas métricas coherentes.
  • En la prueba de actualización temporal (DSM 2008 vs. actual), el RMSE se redujo de 5.35 m a 3.83 m.

5. Significado e Impacto

Este trabajo representa un avance significativo en la teledetección y la visión por computadora al:

1. Resolver la ambigüedad de escala en entornos urbanos complejos sin depender de grandes conjuntos de datos etiquetados para cada nueva escena.
2. Democratizar la actualización de mapas 3D, permitiendo que agencias y empresas actualicen sus modelos digitales de superficie utilizando solo imágenes satelitales actuales y datos históricos parciales, sin costosos procesos de reentrenamiento.
3. Establecer un nuevo paradigma donde la comprensión semántica profunda (mediante ViT auto-supervisados) se acopla explícitamente con la reconstrucción geométrica, superando las limitaciones de los métodos puramente espaciales o sensor-específicos.

En resumen, Prior2DSM ofrece una solución robusta, eficiente y generalizable para la reconstrucción y actualización de modelos digitales de superficie, combinando la potencia de los modelos fundacionales con técnicas de adaptación en tiempo de prueba.