Clay-CNN Hybrids: Leveraging Geo-Foundational Models as Auxiliary Context for Landslide Detection

Technische Samenvatting: Clay-CNN Hybriden voor het Detecteren van Aardverschuivingen

Probleemstelling
Snelle mapping van aardverschuivingen na een gebeurtenis is cruciaal voor rampenbestrijding, maar blijft moeilijk te automatiseren vanwege twee primaire technische obstakels: spectrale gelijkenis tussen aardverschuivingslittekens en kale bodem, en extreme klassenonbalans (aardverschuivingspixels beslaan slechts ~2% van de dataset). Traditionele deep learning-benaderingen, met name U-Net architecturen, zijn sterk afhankelijk van taakspecifieke trainingsdata, die tijdens actieve rampen vaak niet beschikbaar is. Hoewel Geospatial Foundation Models (GFMs) zoals Clay v1.5 algemene representaties bieden die zijn voorgetraind op massieve, diverse satellietbeelden, is er geen systematische evaluatie van hoe deze modellen het beste geïntegreerd kunnen worden met convolutionele architecturen om de detectie van aardverschuivingen in dataminimale regimes te optimaliseren.

Methodologie
Deze studie evalueert de integratie van Clay v1.5, een geospatial Vision Transformer (ViT), met convolutionele neurale netwerken (CNN's) met behulp van de Landslide4Sense (L4S) benchmark. De dataset bestaat uit 3.799 trainingschips (128×128 pixels) met 14 invoerkanalen: 12 Sentinel-2 optische banden en 2 topografische banden (DEM en helling). De studie maakt gebruik van een geografisch gestratificeerde "leave-out-location" strategie om ruimtelijke lekkage te voorkomen.

Drie architecturale strategieën werden vergeleken:

1. Baseline (U-Net): Een standaard U-Net met vier encoder-stadia, volledige skip-verbindingen en 14 invoerbanden, dienend als de CNN-only referentie.
2. Architectuur 1 (Clay Backbone): Clay v1.5 dient als de primaire encoder voor de 12 optische banden en produceert een enkele 16×16 feature map. Topografische gegevens worden verwerkt via een aparte "TerrainPyramid" en worden residueel gefuseerd op grove decoder-schalen met behulp van een leerbare scalaire $\alpha$. Deze architectuur mist encoder skip-verbindingen.
3. Architectuur 2 (Hybrid U-Net + Clay): Een U-Net backbone verwerkt alle 14 banden door vier downsampling-stadia. Clay v1.5 verwerkt onafhankelijk de 12 optische banden. De Clay-output wordt geprojecteerd, gedownsampled naar 8×8, en geconcateneerd met de U-Net bottleneck. De gefuseerde representatie wordt vervolgens gedecodeerd met beh heavy standaard U-Net skip-verbindingen.

Training en Optimalisatie
Alle modellen maakten gebruik van een tweestaps trainingsprotocol om het leerproces te stabiliseren:

• Fase 1: De Clay-encoder werd bevroren terwijl de decoder, de terrein-branch en de fusielagen werden getraind.
• Fase 2: Low-Rank Adaptation (LoRA) adapters werden ingevoegd in de Clay transformer-blokken (gericht op Q/K/V projecties en MLPs) om de encoder te finetunen met een lagere leersnelheid.
• Verliesfunctie: Een combinatie van Binary Cross-Entropy (met een positief gewicht van 25 om onbalans aan te pakken) en Lovász hinge loss.
• Evaluatie: Modellen werden geëvalueerd met behulp van de pixel-gewijze F1-score, waarbij classificatiedrempels werden geoptimaliseerd op de validatieset om rekening te houden met de ernstige klassenonbalans.

Belangrijkste Bijdragen

• Nieuwe Architecturen: Introductie van twee hybride ontwerpen: één waarbij Clay als primaire encoder wordt gebruikt met multi-scale terreinfusie, en een tweede waarbij Clay als aanvullende bottleneck-context binnen een U-Net fungeert.
• Systematische Ablatie: Uitgebreide analyse van encoder-bevriezing, LoRA fine-tuning, tweestaps trainingsstrategieën, verliesformuleringen en terreinintegratie.
• Interpreteerbaarheid en Onzekerheid: Toepassing van Monte Carlo Dropout (MC Dropout) voor onzekerheidskwantificatie en Gradient-weighted Class Activation Mapping (Grad-CAM) om modelgedrag en bijdrage van features te diagnosticeren voorbij de geaggregeerde metrieken.

Resultaten

• Prestaties: Het Hybrid U-Net + Clay model (Architectuur 2) behaalde de beste test F1-score van 64,5 ± 1,8% (over drie seeds), waarmee het zowel de U-Net baseline (59,9%) als de Clay-only backbone (55,2 ± 3,6%) overtrof.
• Architecturale Beperkingen: Clay als standalone encoder presteerde onder de U-Net baseline, wat bevestigt dat de single-scale output van de ViT zonder skip-verbindingen onvoldoende is voor precieze pixel-niveau segmentatie.
• Hybride Voordeel: Het injecteren van de voorgetrainde representaties van Clay als aanvullende context bij de bottleneck verbeterde de prestaties aanzienlijk. Het hybride model ruilde een bescheiden reductie in recall in voor een substantiële toename in precisie, waardoor fout-positieven door spectraal gelijke kale bodem werden verminderd.
• Onzekerheidsanalyse: MC Dropout-analyse toonde aan dat de onzekerheid van het model correct geconcentreerd was op foutgevoelige regio's (fout-positieven en fout-negatieven) en de grenzen van aardverschuivingen, wat aangeeft dat het model zich bewust is van zijn eigen beperkingen.
• Grad-CAM Bevindingen: Analyse toonde aan dat de fusie van Clay-context fungeerde als een corrigerende prior, die de bijdrage buiten de kern van de verschuivingen verbredde om fout-positieven in geomorfologisch onwaarschijnlijke gebieden (bijv. vlakke landbouwvelden) te onderdrukken, terwijl de CNN-decoder de pixel-niveau lokalisatie afhandelde.

Betekenis en Claims
Het artikel concludeert dat Geospatial Foundation Models het meest effectief zijn voor het detecteren van aardverschuivingen wanneer ze convolutionele architecturen met ruimtelijke details aanvullen in plaats van vervangen. De studie demonstreert dat GFMs de noodzakelijke spectrale generalisatie bieden, terwijl CNN's de ruimtelijke precisie leveren die vereist is voor segmentatie. Deze hybride benadering presteert beter dan zowel standalone GFMs als traditionele CNN's in dataminimale regimes, wat een schaalbare oplossing biedt voor snelle mapping na een gebeurtenis zonder afhankelijk te zijn van uitgebreide taakspecifieke gelabelde data. De resultaten suggereren dat dit principe van het combineren van spectrale generalisatie met ruimtelijke precisie toepasbaar is op andere geohazard en planetaire oppervlakte-mappingtaken.