Test-Time Adaptation for Height Completion via Self-Supervised ViT Features and Monocular Foundation Models

1. Il Problema

I modelli di superficie digitale (DSM) accurati sono fondamentali per applicazioni geospaziali come il monitoraggio urbano, l'analisi ambientale e la gestione delle infrastrutture. Tuttavia, i DSM su larga scala spesso contengono regioni incomplete, obsolete o distorte a causa di limitazioni nell'acquisizione, artefatti di ricostruzione o cambiamenti nell'ambiente costruito.

Le sfide principali identificate sono:

• Limitazioni dei metodi tradizionali: L'interpolazione spaziale (es. kriging) assume la continuità spaziale e fallisce quando gli oggetti sono completamente mancanti.
• Limitazioni dei metodi basati sull'apprendimento supervisionato: I modelli recenti richiedono addestramento su dataset specifici per sensori o categorie di oggetti, limitando la generalizzazione a nuovi domini o condizioni di acquisizione.
• Ambiguità di scala: L'estimazione dell'altezza monoculare (MHE) da immagini satellitari o aeree soffre di ambiguità scala-altezza a causa della geometria di visione quasi ortografica, che elimina i cue prospettici.
• Mancanza di ancoraggio metrico: I metodi puramente monoculare non forniscono altezze assolute, mentre i metodi che usano prior (dati di altezza parziali) spesso non riescono a gestire regioni completamente vuote o cambiamenti strutturali significativi.

2. Metodologia: Prior2DSM

Gli autori propongono Prior2DSM, un framework training-free (senza addestramento specifico) che opera interamente al momento del test (Test-Time Adaptation - TTA) per completare i DSM metrici. Il sistema combina modelli fondazione per la visione e la profondità.

Componenti Chiave:

1. Modelli Fondazione Monoculari (MDE): Utilizza modelli pre-addestrati (come Depth Anything V2, Depth Pro, MoGe-2) per generare mappe di profondità relative ($H_{rel}$) dall'immagine RGB. Questi modelli catturano la geometria relativa ma non le altezze assolute.
2. Feature Semantiche Self-Supervised (DINOv3): Utilizza un encoder ViT (Vision Transformer) basato su DINOv3, addestrato in modo self-supervised su grandi dataset, per estrarre rappresentazioni semantiche dense. L'idea è che regioni semanticamente simili (es. tetti di edifici simili, tipi di vegetazione) condividano pattern di attenzione simili, indipendentemente dalla loro posizione spaziale.
3. Estrazione di Feature Dense: Per superare la risoluzione "a blocchi" dei token ViT standard, viene implementata una strategia di accumulo con sovrapposizione (strided overlap), aumentando la densità di campionamento delle feature semantiche di 16 volte.
4. Adattamento al Test (TTA) con LoRA e MLP:
   • LoRA (Low-Rank Adaptation): Vengono applicati parametri LoRA agli strati di attenzione di DINOv3 per adattarli al contesto specifico senza aggiornare i pesi originali.
   • MLP di Scala e Spostamento: Un piccolo multilayer perceptron (MLP) prevede parametri di scala ($s$) e spostamento ($b$) variabili nello spazio per ogni token. Questi parametri trasformano la profondità relativa in altezza metrica: $\hat{z} = s \cdot r + b$.
   • Ottimizzazione: Durante il test, i parametri del MLP e LoRA vengono ottimizzati utilizzando i pochi punti di altezza metrica noti (prior) disponibili nel DSM incompleto, permettendo una calibrazione locale.

Flusso di Lavoro:

Il sistema prende un'immagine RGB aggiornata e un DSM prior incompleto. Identifica le regioni mancanti, utilizza le feature semantiche per trovare corrispondenze con regioni note semanticamente simili, e applica la correzione di scala/spostamento locale per ricostruire le altezze mancanti con coerenza metrica.

3. Contributi Chiave

• Framework Training-Free: È il primo modello progettato per il completamento dell'altezza "zero-shot" utilizzando un modello fondazione ViT congelato (DINOv3) adattato solo al momento del test.
• Completamento tramite Corrispondenza Semantica: A differenza dei metodi che interpolano nello spazio fisico, Prior2DSM propaga le informazioni di altezza attraverso lo spazio delle feature semantiche, permettendo di ricostruire oggetti completamente mancanti basandosi su analogie semantiche.
• Adattabilità ai Modelli: Il framework è agnostico rispetto al modello di profondità sottostante. Gli autori hanno testato sistematicamente diversi backbone (Depth Anything V2, Depth Pro, MoGe-2) dimostrando che il metodo funziona bene con tutti, migliorando ulteriormente con modelli più recenti.
• Validazione su Scenari Reali: Il metodo è stato validato non solo su dati sintetici (mascheramento di dati), ma anche su scenari reali di aggiornamento temporale (DSM del 2008 vs dati attuali) e generazione congiunta RGB-DSM.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset ad alta risoluzione:

• NAIP (Denver, USA): Immagini aeree ad alta risoluzione (30 cm/pixel) con edifici alti e morfologia urbana complessa.
• WorldView-3 (Fresno, USA): Immagini satellitari (60 cm/pixel) con aree residenziali a bassa densità.

Metriche di Valutazione: MAE (Errore Assoluto Medio), RMSE (Errore Quadratico Medio Radice) e SSIM (Indice di Similarità Strutturale).

Risultati Principali:

• Superiorità rispetto agli stati dell'arte: Prior2DSM ha superato costantemente i metodi di interpolazione bilineare, la ridimensionamento globale/lineare, la regressione lineare pesata localmente (LWLR) e modelli avanzati come PriorDA e Marigold-DC.
• Riduzione dell'Errore: Nel dataset NAIP, con un'incompleteness del 25%, Prior2DSM ha ridotto l'RMSE del 46% rispetto alla ridimensionamento globale (da ~9.91m a ~5.31m).
• Robustezza alla Mancanza di Dati: Le prestazioni rimangono stabili anche con il 75% di dati mancanti, dove i metodi basati su interpolazione falliscono completamente nel ricostruire oggetti interi.
• Ablation Study: L'uso di LoRA e la previsione di scala/spostamento tramite MLP hanno dimostrato di essere componenti critici per la precisione, superando la previsione diretta dell'altezza o l'uso di backbone congelati senza adattamento.
• Applicazioni Pratiche: Il metodo ha dimostrato successo nell'aggiornamento di DSM obsoleti (riduzione RMSE da 5.35m a 3.83m) e nella generazione coerente di DSM metrici da immagini RGB modificate tramite modelli generativi (Text2Earth).

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nella geoinformatica e nel telerilevamento:

1. Superamento del Bias di Dominio: Elimina la necessità di addestramento supervisionato su dataset specifici, rendendo il modello applicabile a qualsiasi regione geografica o tipo di sensore purché siano disponibili prior parziali.
2. Risoluzione di Problemi Complessi: Risolve il problema del "riempimento dei vuoti" (void filling) per oggetti completamente assenti, un compito in cui i metodi tradizionali falliscono.
3. Efficienza Computazionale: Sebbene l'ottimizzazione TTA richieda tempo (circa 8 minuti per km² su GPU), è fattibile per aggiornamenti locali e offre un compromesso eccellente tra accuratezza e complessità rispetto all'addestramento di modelli da zero.
4. Versatilità: La capacità di integrare la generazione di immagini e la ricostruzione metrica apre nuove possibilità per la simulazione di scenari urbani futuri e la pianificazione territoriale.

In sintesi, Prior2DSM trasforma il completamento dell'altezza da un problema di interpolazione spaziale a un problema di allineamento semantico guidato da modelli fondazione, offrendo una soluzione robusta, precisa e generalizzabile per la generazione di DSM metrici aggiornati.