GeoFormer: A Lightweight Swin Transformer for Joint Building Height and Footprint Estimation from Sentinel Imagery

Ce papier présente GeoFormer, un cadre d'apprentissage multi-tâches léger basé sur le transformateur Swin qui estime conjointement la hauteur et l'empreinte des bâtiments à l'échelle mondiale en utilisant uniquement des données Sentinel et un DEM, surpassant les modèles CNN de référence grâce à une attention locale par fenêtres et une excellente transférabilité spatiale.

L'essentiel

🏙️ GeoFormer : Le "Super-Héros" qui voit les villes en 3D (sans acheter de photos secrètes)

Imaginez que vous voulez connaître la taille et la forme de tous les bâtiments d'une ville, mais que vous êtes assis dans un avion qui vole très haut. Vous ne voyez que des toits, des ombres et des rues. C'est le défi que se sont lancés les chercheurs avec GeoFormer.

Leur objectif ? Créer une carte 3D précise du monde entier pour aider à prévoir les inondations, le changement climatique ou les risques de tremblement de terre, le tout gratuitement et sans utiliser de photos satellites payantes.

1. Le Problème : Pourquoi c'est difficile ?

Jusqu'à présent, connaître la hauteur exacte d'un immeuble demandait soit de payer des images ultra-détaillées (comme des photos prises par des drones privés), soit d'avoir des relevés topographiques précis. C'est comme essayer de deviner la taille d'un gâteau en regardant juste son ombre sur la table : c'est flou !

De plus, les anciennes méthodes étaient comme des lunettes de vue trop étroites. Elles regardaient un seul bâtiment à la fois et se perdaient souvent dans le chaos des rues voisines.

2. La Solution : GeoFormer, le détective aux lunettes intelligentes

Les chercheurs ont créé GeoFormer, un programme d'intelligence artificielle (IA) qui fonctionne comme un détective très malin.

• Il utilise des "lunettes" gratuites : Au lieu de payer, il regarde trois sources d'images gratuites et ouvertes :

  1. Sentinel-1 (Le radar) : Comme un détective qui voit dans le noir et sous la pluie. Il voit la forme des bâtiments même s'il y a des nuages.
  2. Sentinel-2 (La caméra couleur) : Il voit les couleurs et les textures pour distinguer un toit en tuiles d'un champ de blé.
  3. Le relief (DEM) : Il connaît la hauteur du sol pour ne pas confondre une montagne avec un gratte-ciel.

• Il ne regarde pas un seul point, mais un quartier entier :
  C'est ici que la magie opère. Au lieu de regarder un seul pixel (comme un point sur une photo), GeoFormer regarde une fenêtre de 500 mètres autour de chaque point.

  L'analogie : Imaginez que vous essayez de deviner la taille d'un immeuble. Si vous regardez juste la porte d'entrée, vous ne savez pas si c'est un garage ou un gratte-ciel. Mais si vous regardez tout le quartier (les rues, les autres bâtiments, la densité), vous comprenez immédiatement l'échelle. GeoFormer fait exactement cela : il comprend le contexte du quartier pour deviner la hauteur.

3. Pourquoi c'est génial ? (Les résultats)

Les chercheurs ont comparé GeoFormer à d'autres méthodes (comme des réseaux de neurones classiques, qu'on pourrait appeler des "étudiants en architecture").

• Plus précis : GeoFormer se trompe en moyenne de seulement 3,19 mètres sur la hauteur des bâtiments. C'est comme si, sur un immeuble de 30 mètres, il devinait le bon étage avec une erreur d'à peine un étage et demi !
• Plus léger : C'est le plus grand atout. GeoFormer est 35 fois plus léger que les autres modèles.

  L'analogie : Les autres modèles sont comme un camion de déménagement rempli de meubles inutiles (trop de données). GeoFormer est comme un vélo électrique : il va aussi vite, mais il consomme beaucoup moins d'énergie et de place. Cela permet de le faire tourner sur des ordinateurs normaux pour cartographier tout le monde.

4. L'entraînement : Apprendre sans tricher

Pour s'assurer que l'IA n'apprenait pas par cœur (comme un élève qui apprendrait les réponses d'un examen par cœur au lieu de comprendre la leçon), les chercheurs ont utilisé une astuce appelée "GeoSplit".

Ils ont divisé les villes en tranches comme un gâteau radial. Ils ont appris avec une partie du gâteau et ont testé l'IA sur une autre tranche, sans jamais mélanger les zones voisines. Cela garantit que l'IA a vraiment appris à reconnaître les formes des villes, et non juste à mémoriser des rues spécifiques.

5. Les super-pouvoirs révélés

En testant le programme, ils ont découvert trois choses importantes :

1. La hauteur du sol est indispensable : Si on enlève la carte du relief (les montagnes, les collines), l'IA perd son sens de la hauteur. C'est comme essayer de mesurer un immeuble sans savoir où commence le sol.
2. Les couleurs sont reines : Les images en couleur (optiques) sont plus importantes que le radar pour deviner la taille des bâtiments.
3. La taille de la fenêtre compte : Regarder un quartier de 500 mètres (5x5 blocs) est le point idéal. Regarder plus loin (900 mètres) rend l'IA "paresseuse" et moins précise.

6. Le test ultime : Le tremblement de terre

Pour voir si GeoFormer était vraiment robuste, les chercheurs l'ont envoyé dans une ville touchée par un tremblement de terre en Turquie (Kahramanmaraş), sans l'avoir jamais entraînée sur cette ville.

Résultat ? L'IA a réussi à voir la différence entre la ville "avant" et "après" le séisme. Elle a détecté que les bâtiments étaient plus bas et moins nombreux, simplement parce qu'ils s'étaient effondrés. C'est comme si elle avait vu la catastrophe se produire, même sans avoir été entraînée spécifiquement pour ça.

🎯 En résumé

GeoFormer est une nouvelle intelligence artificielle qui permet de dessiner une carte 3D précise de n'importe quelle ville du monde, en utilisant uniquement des images gratuites. Elle est plus précise, plus rapide et moins gourmande que les méthodes actuelles.

C'est un outil formidable pour aider les gouvernements à mieux préparer les catastrophes, à comprendre le climat et à planifier l'avenir de nos villes, le tout sans dépenser un centime en données privées.

Résumé technique

1. Problématique et Contexte

L'estimation précise de la hauteur des bâtiments (BH) et de leur empreinte au sol (BF) est cruciale pour la modélisation climatique, l'évaluation des risques de catastrophes et la cartographie démographique. Cependant, les données mondiales cohérentes et à haute résolution font défaut, en particulier dans les pays en développement.

Les défis majeurs identifiés sont :

• Limites des données existantes : Les produits globaux actuels (comme WSF3D ou GHS-BUILT) utilisent souvent des résolutions de 90 à 250 m et dépendent de données propriétaires (LiDAR aéroporté, images très haute résolution commerciales) ou de couches vectorielles auxiliaires (OSM) souvent incomplètes.
• Problème d'échelle et de mélange spectral : À la résolution native de Sentinel (10 m), un pixel chevauche souvent plusieurs bâtiments, des espaces vides ou de la végétation, rendant l'estimation précise difficile en raison du mélange de signaux (notamment en SAR).
• Généralisation : De nombreux modèles sont entraînés sur une seule ville et peinent à se généraliser à des morphologies urbaines différentes sans réajustement.

L'objectif de cet article est de développer une méthode capable d'estimer conjointement la BH et la BF à l'échelle mondiale, en utilisant uniquement des données ouvertes (Sentinel-1, Sentinel-2, DEM) et une résolution de grille de 100 m, qui correspond aux besoins des modèles climatiques et démographiques globaux.

2. Méthodologie : GeoFormer

L'approche proposée, GeoFormer, est un cadre d'apprentissage multi-tâches basé sur l'architecture Swin Transformer, conçu pour être léger et efficace.

A. Prétraitement des Données

• Données d'entrée : Fusion de trois sources ouvertes :
  • Sentinel-1 (SAR) : Polarisations VV et VH.
  • Sentinel-2 (Optique) : Bandes Rouge, Vert, Bleu et Infrarouge Proche (B2, B3, B4, B8).
  • SRTM DEM : Modèle Numérique de Terrain à 30 m.
• Cible (Ground Truth) : Utilisation du jeu de données de référence SHAFTS, qui agrège les inventaires de bâtiments vectoriels (cadastraux ou OpenStreetMap) en une grille régulière de 100 m x 100 m.
  • Indice d'empreinte ($\lambda_p$) : Proportion de la cellule couverte par les bâtiments.
  • Hauteur moyenne ($H_{ave}$) : Moyenne pondérée par la surface des hauteurs des bâtiments dans la cellule.
• Stratégie de partitionnement (GeoSplit) : Pour éviter la fuite de données (data leakage) due aux fenêtres de contexte chevauchantes, les villes sont divisées en secteurs radiaux plutôt que par échantillonnage aléatoire. Cela garantit une indépendance spatiale stricte entre les ensembles d'entraînement, de validation et de test.

B. Architecture du Modèle

• Backbone : Un Swin Transformer léger qui traite les données fusionnées comme un tenseur multi-canaux (8 bandes + masque binaire).
• Mécanisme d'attention : Utilisation de l'attention multi-têtes par fenêtre (W-MSA) et de l'attention par fenêtre décalée (SW-MSA) pour capturer les dépendances spatiales locales et globales de manière efficace.
• Apprentissage Multi-tâches : Le modèle partage le backbone mais possède deux têtes de prédiction distinctes :
  • Une tête pour la Hauteur (BH) avec activation ReLU.
  • Une tête pour l'Empreinte (BF) avec activation Sigmoid (contrainte entre 0 et 1).
• Fonction de perte : Utilisation d'une perte de Huber adaptative pondérée par l'incertitude de la tâche pour gérer les valeurs aberrantes et équilibrer les deux objectifs.

3. Contributions Clés

1. Développement de GeoFormer : Un cadre compact (seulement 0,32 M de paramètres) capable de prédire simultanément la BH et la BF à 100 m de résolution.
2. Supériorité de l'Attention Fenêtrée : Démonstration que l'attention locale par fenêtre (Swin Transformer) est plus efficace que les convolutions traditionnelles pour la récupération de paramètres de bâtiments au niveau de la scène, avec une réduction massive des paramètres par rapport aux CNN (35x moins que ResNet-18).
3. Analyse par Ablation Systématique :
   • Identification d'une fenêtre de contexte optimale de 5x5 (500 m).
   • Confirmation que le DEM est indispensable pour l'estimation de la hauteur.
   • Mise en évidence que le réflectance multispectrale (Sentinel-2) porte le signal prédictif dominant.
4. Liberté et Reproductibilité : Publication du code, des poids du modèle et du produit global résultant.

4. Résultats Expérimentaux

Les évaluations ont été menées sur 54 villes morphologiquement diverses à travers quatre continents.

• Performance de Précision :
  • GeoFormer atteint une RMSE de 3,19 m pour la hauteur des bâtiments, surpassant la meilleure base CNN (UNet) de 7,5 %.
  • Pour l'empreinte au sol, il atteint une RMSE de 0,050 et un $R^2$ de 0,80.
  • Le modèle 5x5 offre le meilleur compromis précision/robustesse. Une fenêtre plus grande (9x9) entraîne un lissage excessif.
• Efficacité Computationnelle :
  • Avec seulement 0,32 M de paramètres, GeoFormer est extrêmement léger tout en maintenant des temps d'inférence compétitifs sur GPU.
• Généralisation Spatiale (Transfert) :
  • Test sur Suwon (Corée du Sud) : Sans ajustement fin (fine-tuning), le modèle atteint une RMSE de 3,57 m sur une ville non vue, prouvant sa capacité à généraliser à des morphologies différentes.
  • Test sur Kahramanmaraş (Turquie) : Application « zero-shot » après le séisme de 2023. Le modèle détecte qualitativement la réduction de l'empreinte et de la hauteur des bâtiments dans les zones détruites, validant son potentiel pour l'évaluation rapide des dégâts.
• Analyse des Erreurs : Les erreurs résiduelles sont principalement liées aux bâtiments très hauts (>50m) et aux zones très denses, où les données d'entraînement sont rares (problème de distribution à longue traîne).

5. Signification et Impact

Ce travail représente une avancée significative pour la cartographie urbaine 3D globale :

• Accessibilité : En éliminant le besoin de données propriétaires (LiDAR, images commerciales) ou de couches vectorielles auxiliaires complètes, GeoFormer rend l'estimation de la morphologie urbaine accessible pour toutes les régions du monde, y compris le Sud global.
• Compatibilité Globale : La résolution de 100 m s'intègre nativement aux modèles climatiques (WUDAPT), aux grilles de population (WorldPop) et aux modèles de risques, évitant les coûts de ré-agrégation.
• Robustesse : La stratégie de partitionnement spatial rigoureuse et les tests de transfert démontrent que le modèle est robuste face aux changements de morphologie urbaine et de conditions d'acquisition.

En conclusion, GeoFormer établit un nouvel état de l'art pour l'estimation conjointe et efficace des paramètres de bâtiments à l'échelle mondiale, offrant un outil puissant pour la surveillance urbaine, la gestion des risques et la planification climatique.