Test-Time Adaptation for Height Completion via Self-Supervised ViT Features and Monocular Foundation Models

1. Problema

Os Modelos Digitais de Superfície (DSM) são fundamentais para aplicações geoespaciais, como monitoramento urbano, gestão de infraestrutura e detecção de mudanças. No entanto, DSMs em larga escala frequentemente contêm regiões incompletas ou desatualizadas devido a limitações de aquisição, artefatos de reconstrução ou alterações no ambiente construído.

Os desafios principais identificados são:

• Falhas de Interpolação: Métodos tradicionais baseados em interpolação espacial (ex: krigagem) assumem continuidade espacial e falham quando objetos inteiros estão ausentes.
• Viés de Domínio e Sensor: Abordagens baseadas em aprendizado supervisionado exigem treinamento específico para cada sensor ou domínio, limitando sua generalização.
• Ambiguidade de Escala: A estimativa de altura monoculares (MHE) em imagens de sensoriamento remoto é um problema mal posto devido à geometria de visão quase ortográfica, que elimina pistas de perspectiva, resultando em ambiguidade entre escala e altura.
• Limitações de Métodos Atuais: Estratégias existentes de rescalamento (global ou local) não conseguem lidar bem com objetos completamente faltantes, e métodos baseados em prioridade (prior-based) muitas vezes dependem de treinamento supervisionado específico.

2. Metodologia: Prior2DSM

O artigo propõe o Prior2DSM, um framework livre de treinamento (training-free) que opera inteiramente no momento do teste (Test-Time Adaptation - TTA) para completar DSMs métricos. O método combina modelos fundacionais de visão e profundidade monoculares.

Componentes Principais:

1. Extração de Características Semânticas (DINOv3):

   • Utiliza o modelo auto-supervisionado DINOv3 para extrair representações semânticas densas da imagem RGB.
   • Implementa uma estratégia de acumulação com sobreposição de patches (strided overlap) para superar a resolução rígida dos tokens padrão do ViT, gerando mapas de características semânticas de alta resolução e densidade.
   • A hipótese central é que, sob visão ortográfica, elementos estruturais semelhantes (ex: tipos de telhados, vegetação) produzem padrões de atenção consistentes no espaço de características, permitindo a transferência de informações de altura entre regiões semanticamente análogas, mesmo que espacialmente distantes.

2. Estimativa de Profundidade Relativa (Foundation Models):

   • Utiliza modelos fundacionais de profundidade monoculares (como Depth Anything V2, Depth Pro e MoGe-2) para gerar um mapa de altura relativa inicial ($H_{rel}$).

3. Adaptação no Momento do Teste (TTA):

   • Em vez de treinar um novo modelo, o framework ajusta os parâmetros durante a inferência usando os dados de prioridade incompletos disponíveis.
   • LoRA (Low-Rank Adaptation): Aplica-se LoRA às camadas de atenção do DINOv3 para adaptar as representações semânticas ao cenário específico sem congelar totalmente o modelo.
   • MLP de Escala e Deslocamento: Um Multilayer Perceptron (MLP) leve prevê parâmetros de escala ($s$) e deslocamento ($b$) que variam espacialmente para cada token.
   • Fórmula de Calibração: A altura métrica final é estimada como $\hat{z} = s \cdot r + b$, onde $r$ é a profundidade relativa. O MLP é otimizado usando os pixels de altura métrica conhecidos (priors) para corrigir erros sistemáticos de escala e viés localmente.

4. Mecanismo de Completamento:

   • O método propaga informações de altura através da correspondência no espaço de características semânticas. Se um objeto está faltando em uma região, o modelo busca regiões semanticamente similares (identificadas pelo DINOv3) que possuem priores métricos válidos e transfere a calibração de escala/deslocamento para o objeto faltante.

3. Contribuições Chave

• Framework Livre de Treinamento: Primeiro modelo projetado para completamento de altura zero-shot utilizando um modelo fundacional de satélite congelado (DINOv3), eliminando a necessidade de conjuntos de dados supervisionados específicos.
• Correção Guiada por Características: Reformula o alinhamento de altura como uma correção guiada por características, permitindo a completamento de objetos totalmente faltantes (não apenas preenchimento de lacunas pequenas), superando as limitações da interpolação espacial.
• Adaptação Eficiente (TTA): Uso combinado de LoRA e MLP para calibrar localmente estimativas de profundidade relativa em métricas, adaptando-se a mudanças de domínio e condições de sensoriamento sem re-treinamento pesado.
• Benchmarks Sistemáticos: Avaliação abrangente de múltiplos backbones de profundidade fundacional (DAv2, Depth Pro, MoGe-2) e comparação com métodos state-of-the-art (PriorDA, Marigold-DC, interpolação, rescalamento global).
• Aplicações Práticas: Demonstração de atualização de DSMs temporais (correção de dados de 2008 para o presente) e geração acoplada RGB-DSM via integração com modelos de geração de texto para imagem (Text2Earth).

4. Resultados

Os experimentos foram realizados em datasets aéreos de alta resolução (NAIP - Denver) e satelitais (WorldView-3 - Fresno), com níveis de incompletude de prioridade de 25%, 50% e 75%.

• Desempenho Quantitativo:

  • O Prior2DSM superou consistentemente todos os métodos comparados (interpolação bilinear, rescalamento global/LWLR, kNN espacial, e modelos de completamento de profundidade existentes).
  • No dataset NAIP (urbano complexo), houve uma redução de até 46% no RMSE em comparação com o ajuste linear global de modelos de profundidade monoculares (MDE).
  • Em 25% de incompletude, o Prior2DSM alcançou um RMSE de 5.31 m (vs. 9.01 m do rescalamento global) no dataset NAIP.
  • O método demonstrou maior robustez à medida que a quantidade de dados faltantes aumentava, mantendo a fidelidade estrutural (SSIM mais alto).

• Análise de Componentes (Ablation Study):

  • O uso de LoRA no DINOv3 e a previsão de escala/deslocamento via MLP foram cruciais; a remoção de qualquer um resultou em aumento significativo do erro.
  • Entre os backbones de profundidade, o MoGe-2 e o Depth Pro geralmente performaram melhor que o Depth Anything V2 em cenários urbanos complexos, embora o framework seja agnóstico ao modelo base.

• Aplicações:

  • Na atualização temporal de DSMs (2008 vs. atual), o método reduziu o RMSE de 5.35 m para 3.83 m.
  • Sucesso na geração de DSMs métricos consistentes a partir de imagens RGB editadas sinteticamente.

5. Significância e Conclusão

O trabalho representa um avanço significativo na área de sensoriamento remoto e visão computacional ao demonstrar que é possível realizar completamento métrico de alta precisão sem treinamento supervisionado específico.

• Generalização: Ao explorar a similaridade semântica em vez da proximidade espacial, o método resolve o problema de "objetos faltantes" que limita os métodos de interpolação.
• Eficiência: A abordagem TTA com LoRA permite adaptação rápida a novos cenários com custo computacional gerenciável (aprox. 8,2 min/km² em GPU RTX 4000), viabilizando atualizações de grandes áreas.
• Impacto Futuro: O framework estabelece uma nova linha de pesquisa para o uso de modelos fundacionais auto-supervisionados em tarefas geométricas de sensoriamento remoto, permitindo a atualização de infraestruturas de dados geoespaciais de forma mais ágil e precisa.

Em resumo, o Prior2DSM oferece uma solução robusta e generalizável para a lacuna entre a estimativa de profundidade relativa e a reconstrução de alturas métricas precisas, superando as limitações de métodos anteriores dependentes de dados supervisionados ou de continuidade espacial estrita.