Clay-CNN Hybrids: Leveraging Geo-Foundational Models as Auxiliary Context for Landslide Detection

Résumé technique : Hybrides Clay-CNN pour la détection des glissements de terrain

Énoncé du problème
La cartographie rapide des glissements de terrain après un événement est cruciale pour l'intervention en cas de catastrophe, mais reste difficile à automatiser en raison de deux obstacles techniques primaires : la similitude spectrale entre les cicatrices de glissements de terrain et les sols nus, et un déséquilibre de classe extrême (les pixels de glissement de terrain ne représentant qu'environ 2 % de l'ensemble de données). Les approches classiques d'apprentissage profond, particulièrement les architectures U-Net, dépendent fortement de données d'entraînement spécifiques à la tâche, qui sont souvent indisponibles lors de catastrophes actives. Bien que les modèles de fondation géospatiaux (GFM) comme Clay v1.5 offrent des représentations généralisables pré-entraînées sur des images satellites massives et diversifiées, il n'existe aucune évaluation systématique de la meilleure façon d'intégrer ces modèles aux architectures convolutionnelles pour optimiser la détection des glissements de terrain dans des régimes de données rares.

Méthodologie
Cette étude évalue l'intégration de Clay v1.5, un Vision Transformer (ViT) géospatial, avec des réseaux de neurones convolutionnels (CNN) en utilisant le benchmark Landslide4Sense (L4S). L'ensemble de données se compose de 3 799 puces d'entraînement (128×128 pixels) contenant 14 canaux d'entrée : 12 bandes optiques Sentinel-2 et 2 bandes topographiques (MNT et pente). L'étude emploie une stratégie de « leave-out-location » (exclusion de localisation) géographiquement stratifiée pour éviter la fuite spatiale.

Trois stratégies architecturales ont été comparées :

1. Base (U-Net) : Un U-Net standard avec quatre étapes d'encodeur, des connexions de saut (skip connections) complètes et 14 bandes d'entrée, servant de référence CNN seule.
2. Architecture 1 (Backbone Clay) : Clay v1.5 sert d'encodeur principal pour les 12 bandes optiques, produisant une carte de caractéristiques unique de 16×16. Les données topographiques sont traitées via un « TerrainPyramid » distinct et fusionnées de manière résiduelle aux échelles grossières du décodeur via un scalaire apprenable $\alpha$. Cette architecture est dépourvue de connexions de saut de l'encodeur.
3. Architecture 2 (Hybride U-Net + Clay) : Un backbone U-Net traite l'ensemble des 14 bandes à travers quatre étapes de sous-échantillonnage. Clay v1.5 traite indépendamment les 12 bandes optiques. La sortie de Clay est projetée, sous-échantillonnée à 8×8, et concaténée avec le goulot d'étranglement (bottleneck) de l'U-Net. La représentation fusionnée est ensuite décodée à l'aide de connexions de saut U-Net standard.

Entraînement et Optimisation
Tous les modèles ont utilisé un protocole d'entraînement en deux étapes pour stabiliser l'apprentissage :

• Étape 1 : L'encodeur Clay était gelé pendant l'entraînement du décodeur, de la branche de terrain et des couches de fusion.
• Étape 2 : Des adaptateurs de type Low-Rank Adaptation (LoRA) ont été insérés dans les blocs transformeurs de Clay (ciblant les projections Q/K/V et les MLP) pour affiner l'encodeur avec un taux d'apprentissage plus faible.
• Fonction de perte : Une combinaison de l'entropie croisée binaire (avec un poids positif de 25 pour traiter le déséquilibre) et de la perte Lovász hinge.
• Évaluation : Les modèles ont été évalués à l'aide du score F1 par pixel, avec des seuils de classification optimisés sur l'ensemble de validation pour tenir compte du déséquilibre de classe sévère.

Principales contributions

• Architectures novatrices : Introduction de deux conceptions hybrides : l'une utilisant Clay comme encodeur primaire avec une fusion de terrain multi-échelle, et une seconde utilisant Clay comme contexte auxiliaire au niveau du goulot d'étranglement au sein d'un U-Net.
• Ablation systématique : Analyse complète du gel de l'encodeur, de l'affinage par LoRA, des stratégies d'entraînement en deux étapes, des formulations de perte et de l'intégration du terrain.
• Interprétabilité et incertitude : Application du Dropout de Monte Carlo (MC Dropout) pour la quantification de l'incertitude et de la méthode Grad-CAM (Gradient-weighted Class Activation Mapping) pour diagnostiquer le comportement du modèle et les contributions des caractéristiques au-delà des métriques agrégées.

Résultats

• Performance : Le modèle hybride U-Net + Clay (Architecture 2) a obtenu le meilleur score F1 de test de 64,5 ± 1,8 % (sur trois graines/seeds), surpassant à la fois l'U-Net de base (59,9 %) et le backbone Clay seul (55,2 ± 3,6 %).
• Limitations architecturales : Clay en tant qu'encodeur autonome a sous-performé l'U-Net de base, confirmant que la sortie à échelle unique du ViT sans connexions de saut est insuffisante pour une segmentation précise au niveau du pixel.
• Avantage hybride : L'injection des représentations pré-entraînées de Clay comme contexte auxiliaire au niveau du goulot d'étranglement a considérablement amélioré les performances. Le modèle hybride a sacrifié une légère réduction du rappel pour une augmentation substantielle de la précision, réduisant les faux positifs dans les sols nus spectralement similaires.
• Analyse de l'incertitude : L'analyse par MC Dropout a révélé que l'incertitude du modèle se concentrait correctement sur les régions sujettes à l'erreur (faux positifs et faux négatifs) et sur les limites des glissements de terrain, indiquant que le modèle est conscient de ses propres limites.
• Constats Grad-CAM : L'analyse a montré que la fusion du contexte de Clay agissait comme un a priori correctif, élargissant la contribution en dehors de l'intérieur des cicatrices pour supprimer les faux positifs dans les zones géomorphologiquement implausibles (ex: champs agricoles plats), tandis que le décodeur CNN gérait la localisation au niveau du pixel.

Signification et revendications
L'article conclut que les modèles de fondation géospatiaux sont plus efficaces pour la détection des glissements de terrain lorsqu'ils complètent plutôt qu'ils ne remplacent les architectures convolutionnelles détaillées spatialement. L'étude démontre que les GFM fournissent la généralisation spectrale nécessaire, tandis que les CNN fournissent la précision spatiale requise pour la segmentation. Cette approche hybride surpasse à la fois les GFM autonomes et les CNN traditionnels dans les régimes de données rares, offrant une solution évolutive pour la cartographie rapide post-événement sans dépendre de vastes données étiquetées spécifiques à la tâche. Les résultats suggèrent que ce principe de combinaison de la généralisation spectrale et de la précision spatiale est applicable à d'autres tâches de cartographie de géorisques et de surfaces planétaires.