Clay-CNN Hybrids: Leveraging Geo-Foundational Models as Auxiliary Context for Landslide Detection

Sintesi Tecnica: Ibridi Clay-CNN per il Rilevamento di Frane

Definizione del Problema
La mappatura rapida delle frane post-evento è critica per la risposta ai disastri, ma rimane difficile da automatizzare a causa di due ostacoli tecnici primari: la somiglianza spettrale tra le cicatrici da frana e il suolo nudo, e un estremo squilibrio di classe (i pixel appartenenti alle frane comprendono solo circa il 2% del dataset). Gli approcci tradizionali di deep learning, in particolare le architetture U-Net, si affidano pesantemente a dati di addestramento specifici per il compito, che spesso non sono disponibili durante i disastri attivi. Mentre i Modelli Fondazionali Geospaziali (GFM) come Clay v1.5 offrono rappresentazioni generalizzabili pre-addestrate su immagini satellitari massicce e diversificate, non esiste una valutazione sistematica su come integrare al meglio questi modelli con architetture convoluzionali per ottimizzare il rilevamento delle frane in regimi con scarsità di dati.

Metodologia
Questo studio valuta l'integrazione di Clay v1.5, un Vision Transformer (ViT) geospaziale, con reti neurali convoluzionali (CNN) utilizzando il benchmark Landslide4Sense (L4S). Il dataset consiste in 3.799 chip di addestramento (128×128 pixel) contenenti 14 bande di input: 12 bande ottiche Sentinel-2 e 2 bande topografiche (DEM e pendenza). Lo studio impiega una strategia di "leave-out-location" geograficamente stratificata per prevenire la fuga spaziale (spatial leakage).

Sono state confrontate tre strategie architettoniche:

1. Baseline (U-Net): Una U-Net standard con quattro stadi di encoder, connessioni skip complete e 14 bande di input, fungendo da riferimento solo-CNN.
2. Architettura 1 (Backbone Clay): Clay v1.5 funge da encoder primario per le 12 bande ottiche, producendo una singola mappa di caratteristiche 16×16. I dati topografici sono elaborati tramite un "TerrainPyramid" separato e fusi residualmente a scale coarse del decoder utilizzando uno scalare apprendibile $\alpha$. Questa architettura manca di connessioni skip dell'encoder.
3. Architettura 2 (Hybrid U-Net + Clay): Un backbone U-Net elabora tutte le 14 bande attraverso quattro stadi di downsampling. Clay v1.5 elabora indipendentemente le 12 bande ottiche. L'output di Clay viene proiettato, ridimensionato a 8×8 e concatenato con il bottleneck della U-Net. La rappresentazione fusa viene quindi decodificata utilizzando le standard connessioni skip della U-Net.

Addestramento e Ottimizzazione
Tutti i modelli hanno utilizzato un protocolo di addestramento a due stadi per stabilizzare l'apprendimento:

• Stadio 1: L'encoder Clay è stato congelato durante l'addestramento del decoder, del ramo del terreno e dei livelli di fusione.
• Stadio 2: Adattatori Low-Rank Adaptation (LoRA) sono stati inseriti nei blocchi transformer di Clay (mirando alle proiezioni Q/K/V e alle MLP) per il fine-tuning dell'encoder a un tasso di apprendimento inferiore.
• Funzione di Perdita: Una combinazione di Binary Cross-Entropy (con un peso positivo di 25 per affrontare lo squilibrio) e Lovász hinge loss.
• Valutazione: I modelli sono stati valutati utilizzando il punteggio F1 pixel-wise, con soglie di classificazione ottimizzate sul set di validazione per tenere conto del grave squilibrio di classe.

Contributi Chiave

• Nuove Architetture: Introduzione di due design ibridi: uno che utilizza Clay come encoder primario con fusione del terreno multi-scala, e un secondo che utilizza Clay come contesto ausiliario del bottleneck all'interno di una U-Net.
• Ablazione Sistematica: Analisi completa del congelamento dell'encoder, del fine-tuning LoRA, delle strategie di addestramento a due stadi, delle formulazioni della perdita e dell'integrazione del terreno.
• Interpretabilità e Incertezza: Applicazione del Monte Carlo Dropout (MC Dropout) per la quantificazione dell'incertezza e della Gradient-weighted Class Activation Mapping (Grad-CAM) per diagnosticare il comportamento del modello e i contributi delle caratteristiche oltre le metriche aggregate.

Risultati

• Performance: Il modello Hybrid U-Net + Clay (Architettura 2) ha raggiunto il miglior punteggio F1 di test di 64,5 ± 1,8% (su tre seed), superando sia la baseline U-Net (59,9%) che il backbone Clay-only (55,2 ± 3,6%).
• Limitazioni Architetturali: Clay come encoder standalone è stato meno performante della baseline U-Net, confermando che l'output a scala singola del ViT senza connessioni skip è insufficiente per una segmentazione precisa a livello di pixel.
• Vantaggio Ibrido: L'iniezione delle rappresentazioni pre-addestrate di Clay come contesto ausiliario al bottleneck ha migliorato significativamente le prestazioni. Il modello ibrido ha scambiato una modesta riduzione del richiamo (recall) con un aumento sostanziale della precisione, riducendo i falsi positivi nel suolo nudo con somiglianza spettrale.
• Analisi dell'Incertezza: L'analisi MC Dropout ha rivelato che l'incertezza del modello si concentra correttamente sulle regioni soggette a errori (falsi positivi e falsi negativi) e sui bordi delle frane, indicando che il modello è consapevole dei propri limiti.
• Risultati Grad-CAM: L'analisi ha mostrato che la fusione del contesto di Clay ha agito come un prior correttivo, ampliando il contributo al di fuori degli interni delle cicatrici per sopprimere i falsi positivi in aree geomorfologicamente implausibili (es. campi agricoli pianeggianti), mentre il decoder CNN gestiva la localizzazione a livello di pixel.

Significato e Rivendicazioni
Il documento conclude che i Modelli Fondazionali Geospaziali sono più efficaci per il rilevamento delle frane quando complementano piuttosto che sostituire le architetture convoluzionali dettagliate spazialmente. Lo studio dimostra che i GFM forniscono la necessaria generalizzazione spettrale, mentre le CNN forniscono la precisione spaziale richiesta per la segmentazione. Questo approccio ibrido supera sia i GFM standalone che le tradizionali CNN in regimi con scarsità di dati, offrendo una soluzione scalabile per la mappatura rapida post-evento senza dipendere da estesi dati etichettati specifici per il compito. I risultati suggeriscono che questo principio di combinazione tra generalizzazione spettrale e precisione spaziale è applicabile ad altri compiti di mappatura di geopericoli e superfici planetarie.