Building Damage Detection using Satellite Images and Patch-Based Transformer Methods

Résumé technique : Détection des dommages aux bâtiments à l'aide d'images satellites et de méthodes de Transformers basées sur des patchs

Énoncé du problème
L'évaluation rapide des dommages aux bâtiments suite à des catastrophes naturelles est cruciale pour une réponse efficace après une catastrophe. Bien que l'imagerie satellite offre une méthode évolutive pour la connaissance de la situation, le développement de classificateurs de dommages fiables est entravé par des défis de données importants. Spécifiquement, les jeux de données satellites souffrent souvent d'un déséquilibre de classe sévère (une forte prédominance des étiquettes « sans dommage ») et de bruit d'étiquetage. De plus, les distinctions visuelles entre les catégories de dommages — particulièrement entre « dommages mineurs », « dommages majeurs » et « détruit » — sont souvent subtiles. Le jeu de données xBD, un standard de référence pour les dommages au niveau des bâtiments à travers diverses géographies, illustre ces problèmes, présentant un banc d'essai difficile pour les modèles d'apprentissage automatique.

Méthodologie
L'étude évalue la performance des architectures Vision Transformer (ViT) sur le jeu de données xBD, en se concentrant spécifiquement sur DeiT-Tiny et DINOv2-small. La recherche emploie un pipeline de prétraitement ciblé et novateur ainsi que des stratégies de fine-tuning spécifiques pour répondre aux limitations de données dans des environnements de calcul contraints (Google Colab Pro/Pro+).

• Prétraitement par patchs : Pour atténuer le bruit de fond (ex. : nuages, routes) et isoler les caractéristiques structurelles, les auteurs ont conçu un pipeline personnalisé. Ce processus filtre les images pour ne conserver que celles contenant des bâtiments avec des étiquettes de dommages spécifiques. Il extrait ensuite des patchs aléatoires centrés sur les centroïdes des bâtiments. Une étape critique consiste à calculer un « ratio de vide » (la proportion de pixels transparents ou noirs) ; les patchs dépassant un seuil de 0,01 sont recadrés pour garantir que le bâtiment reste le point focal principal. Cela réduit la taille du jeu de données d'environ 50 % mais augmente la densité du signal.
• Architectures de modèles :
  • DeiT-Tiny : Un modèle de 5 millions de paramètres pré-entraîné sur ImageNet, utilisant une approche de distillation enseignant-élève avec un jeton [CLS] et un jeton de distillation distinct.
  • DINOv2-small : Un modèle de 22 millions de paramètres pré-entraîné de manière auto-supervisée sur le jeu de données LVD-142M. Il utilise des unités linéaires à porte Swish (SwiGLUs) et un jeton [CLS], mais omet le jeton de distillation utilisé par DeiT.
• Stratégies d'entraînement : Les auteurs ont comparé deux approches d'entraînement :
  1. Fine-tuning de bout en bout (End-to-End) : Entraînement complet du modèle avec des recherches par grille d'hyperparamètres (taux d'apprentissage, tailles de lots) contraintes par la mémoire GPU et les limites de temps.
  2. Fine-tuning de la tête gelée (Frozen-Head) : Seule la tête du classificateur est entraînée tandis que les poids de l'architecture (backbone) restent gelés, une stratégie adoptée pour gérer les coûts de calcul.
• Évaluation : Les modèles ont été évalués selon la précision (accuracy), la précision (precision), le rappel (recall) et les scores F1 moyennés par classe (macro-averaged). Pour atténuer les effets du déséquilibre de classe lors de l'évaluation, le processus de test a été répété sur cinq exécutions indépendantes.

Principales contributions

1. Pipeline de prétraitement ciblé : L'introduction d'une méthode par patchs qui isole les structures des bâtiments et minimise le bruit de fond, spécifiquement conçue pour gérer la nature bruitée et déséquilibrée de xBD.
2. Benchmarking des Transformers : Une évaluation comparative de DINOv2-small et DeiT pour la classification multi-classe des dommages aux bâtiments, fournissant des preuves empiriques de leur performance sur des données de catastrophe hautement déséquilibrées.
3. Optimisation pour ressources contraintes : Une analyse des stratégies de fine-tuning (Bout en bout vs Tête gelée) spécifiquement adaptées aux environnements disposant de ressources de calcul limitées, tels que Google Colab.

Résultats
L'étude a révélé que les petites architectures ViT, lorsqu'elles sont combinées au prétraitement et aux méthodes d'entraînement proposés, atteignent des performances compétitives par rapport aux bases de comparaison par réseaux de neurones convolutifs (CNN).

• Métriques de performance : Le modèle DeiT (End-to-End) a obtenu la meilleure performance globale avec une précision de 0,782 et un score F1 moyen par classe de 0,599. Le modèle DINOv2 (End-to-End) suit avec un score F1 de 0,565.
• Comparaison avec les bases de référence :
  • Les deux modèles de Transformers ont surpassé l'original ResNet (Gupta et al., 2019), qui rapportait un F1 de 0,320.
  • Le modèle DeiT (E2E) a légèrement sous-performé par rapport à la base de référence few-shot (Koukouraki et al., 2021) qui a atteint un F1 de 0,638, mais est resté compétitif.
  • Comparés à la méthode UNet Encoder + ResNet18 (Chen, 2020), les modèles de Transformers présentent des métriques moyennes par classe globales plus faibles, mais démontrent une performance individuelle supérieure pour les classes « Sans dommage » (0,90 contre 0,88), « Dommages majeurs » (0,73 contre 0,53) et « Détruit » (0,73 contre 0,55).
• Défis spécifiques aux classes : Les modèles ont éprouvé des difficultés significatives avec la classe « Dommages mineurs » (score F1 de 0,14), où les indices visuels sont les plus subtils. À l'inverse, les performances ont été solides pour les classes « Sans dommage », « Dommages majeurs » et « Détruit ».

Signification et affirmations
L'article affirme que les petites architectures ViT, lorsqu'elles sont couplées à un pipeline de prétraitement par patchs ciblé, peuvent gérer efficacement les données bruitées et déséquilibrées typiques des scénarios de réponse aux catastrophes. Les auteurs soutiennent que leur approche atteint des scores F1 moyens par classe compétitifs par rapport aux bases de référence CNN précédentes, améliorant particulièrement la détection des catégories de dommages sévères.

Les auteurs restent modestes concernant la classification des « Dommages mineurs », reconnaissant que les différences visuelles subtiles entre les dommages mineurs et l'absence de dommages restent un défi. Ils suggèrent que des travaux futurs pourraient y répondre en rééquilibrant explicitement le jeu de données (par exemple, en réduisant les échantillons « sans dommage » ou en utilisant l'IA générative pour l'augmentation), en modélisant des contextes de scène plus larges plutôt que des coupes de bâtiments individuels, et potentiellement en simplifiant l'espace des étiquettes pour mieux s'aligner sur les protocoles de triage humain. L'étude conclut que ces étapes pourraient renforcer davantage l'établissement des modèles basés sur les Transformers comme références solides pour une classification de catastrophe fiable.