FusionAttNet Framework for Hierarchical Attention Driven Sentinel 1 and Sentinel 2 Fusion for Semi Arid Land Cover Classification in Far North Cameroon

Résumé Technique : FusionAttNet pour la classification de l'occupation du sol en zone semi-aride

Énoncé du problème
La cartographie précise de l'occupation du sol dans les régions semi-arides, spécifiquement dans l'écotone soudano-sahélien du Nord Cameroun, fait face à des défis importants dus à l'homogénéité spectrale de la végétation éparse, à une forte variabilité saisonnière et à une couverture nuageuse persistante qui obscurcit les données optiques. Les approches traditionnelles, incluant l'apprentissage profond basé uniquement sur l'optique et les méthodes de fusion par empilement de caractéristiques statiques, échouent souvent à distinguer des classes spectralement similaires (par exemple, le sol nu par rapport aux prairies) et sont vulnérables aux lacunes de données causées par les nuages. De plus, les cadres hiérarchiques existants reposent souvent sur des règles prédéfinies plutôt que sur des relations spatiales apprises, tandis que les modèles à capteur unique manquent de la robustesse requise pour une surveillance par tous les temps.

Méthodologie
L'étude propose FusionAttNet, un nouveau cadre d'apprentissage profond conçu pour intégrer dynamiquement les données de radar à synthèse d'ouverture (SAR) Sentinel-1 et les données optiques Sentinel-2. La méthodologie est structurée autour de plusieurs composantes clés :

• Zone d'étude et données : Le cadre a été validé sur une zone de 1 280 km² près de Maroua, au Cameroun, en utilisant une fenêtre temporelle de 12 mois (2021) pour capturer la pleine phénologie saisonnière. Les sources de données comprennent la réflectance de surface Sentinel-2 Niveau-2A (13 bandes, sous-échantillonnées à 10 m) et les données SAR GRD Sentinel-1 (polarisations VV/VH).
• Prétraitement et ingénierie des caractéristiques :
  • Pipeline Optique : Comprend le masquage des nuages (QA60), la mise à l'échelle et le calcul des indices de végétation (NDVI, EVI, NDWI).
  • Pipeline SAR : Implique le calibrage radiométrique, la conversion en dB et la dérivation des rapports de rétrodiffusion.
  • Indices Cross-Modaux : Le cadre génère des indices spécifiques tels que le rapport NDVI/VV pour fusionner les informations optiques et radar, aux côtés de variables topographiques dérivées du MNT SRTM.
• Architecture :
  • Traitement sensible à la modalité : Des flux de traitement parallèles gèrent séparément les données optiques et SAR avant la fusion, respectant les caractéristiques uniques de chaque capteur.
  • Mécanisme d'attention hiérarchique : Un système d'attention à trois niveaux opère aux niveaux du pixel, de la patch et du paysage. Cela permet au modèle de capturer des détails fins tout en résolvant simultanément les ambiguïtés spatiales grâce à des relations contextuelles plus larges.
  • Stratégie de fusion : Au lieu d'une concaténation statique, le modèle emploie un mécanisme de fusion adaptatif appris qui pondère dynamiquement les caractéristiques multi-échelles.
• Entraînement et optimisation : Le modèle utilise une fonction de perte d'entropie croisée pondérée avec lissage de labels et focal loss pour traiter le déséquilibre des classes. L'entraînement est optimisé à l'aide de l'optimiseur AdamW avec un recuit cosinus et des redémarrages à chaud (warm restarts). L'augmentation de données est appliquée spécifiquement pour préserver les textures de rétrodiffusion SAR.
• Approche d'ensemble : La sortie de classification finale est dérivée d'un ensemble combinant la branche d'apprentissage profond FusionAttNet avec des modèles d'apprentissage automatique traditionnels (Random Forest et XGBoost) pour maximiser le pouvoir discriminatif.

Principales contributions

1. Architecture d'attention hiérarchique : L'introduction d'un mécanisme d'attention pixel-patch-paysage qui résout efficacement la confusion spectrale dans les écotones semi-arides, particulièrement aux interfaces entre le sol nu et les prairies.
2. Fusion Cross-Modale sensible à la modalité : Le développement d'un cadre qui intègre la rétrodiffusion SAR avec des indices optiques (ex: NDVI/VV) pour atténuer les lacunes de données induites par les nuages sans dépendre d'un prétraitement de suppression des nuages complexe et sujet aux erreurs.
3. Augmentation optimisée pour le SAR : La mise en œuvre de techniques d'augmentation qui préservent les textures de rétrodiffusion, améliorant la capacité du modèle à se généraliser à travers les variations saisonnières.
4. Intégration d'ensemble : La combinaison réussie des caractéristiques d'apprentissage profond avec des heuristiques de boosting de gradient pour stabiliser la classification dans des paysages complexes et fragmentés.

Résultats
Le cadre FusionAttNet a été évalué par rapport aux modèles de référence (Random Forest, XGBoost et un réseau MultiModal autonome) sur un ensemble de données d'occupation du sol à huit classes.

• Performance globale : L'approche d'ensemble complète a atteint une exactitude globale de 96,75 % et un F1-Score pondéré de 0,9680.
• Comparaison : Cette performance a surpassé le réseau MultiModal autonome (94,75 % d'exactitude) et a égalé ou dépassé la base de référence XGBoost (96,75 %).
• Améliorations spécifiques aux classes :
  • Prairies : L'ensemble a corrigé un déficit de performance significatif du réseau autonome, augmentant le F1-score des prairies de 0,8905 à 0,9530 (une récupération absolue de +6,25 %).
  • Zones humides herbacées : Bien que difficiles, l'ensemble a stabilisé cette classe minoritaire à un F1-score de 0,7273, surpassant nettement la base de référence Random Forest (0,5000).
  • Classes macro-structurelles : Les classes avec des profils radiométriques distincts (couverture arborée, bâti, sol nu, eau permanente) ont atteint des mesures parfaites (F1 = 1,0000) dans toutes les configurations.
• Réduction des erreurs : L'étude rapporte une réduction de 14,7 % des erreurs de classification aux interfaces mixtes sol nu/prairie par rapport aux méthodes de pointe.

Signification
L'article affirme que FusionAttNet établit un nouveau paradigme pour la surveillance de l'occupation du sol en zone semi-aride en déplaçant l'accent du simple comblement des lacunes vers une fusion intelligente multi-capteurs. En exploitant la fiabilité de Sentinel-1 SAR par tous les temps aux côtés de la richesse spectrale de Sentinel-2, le cadre surmonte les limites de la dépendance aux nuages et de l'homogénéité spectrale. Les résultats démontrent qu'un mécanisme d'attention hiérarchique sensible à la modalité peut réduire considérablement la confusion spectrale dans les écotones sahéliens, fournissant une solution robuste et évolutive pour la surveillance opérationnelle de l'occupation du sol dans des environnements à données limitées et à variabilité saisonnière. L'étude souligne que si l'apprentissage profond seul offre des caractéristiques spatiales de haute qualité, l'intégration avec des ensembles d'apprentissage automatique traditionnels est cruciale pour neutraliser les vulnérabilités locales et atteindre une stabilité maximale dans les zones de transition complexes.