💻 computer science

Joint Instance Segmentation and Geometric Attribute Regression for Roof Structures in Aerial Imagery

Cet article présente une méthode qui étend Mask R-CNN pour effectuer conjointement la segmentation d'instances de toits et la régression d'attributs géométriques (hauteur, pente et azimut) à partir d'images aériennes uniques, en utilisant une fonction de perte conditionnelle d'azimut et une représentation de la hauteur log-normalisée afin d'atteindre une reconstruction précise de modèles de bâtiments en 3D sans nécessiter de données 3D au moment de l'inférence.

Auteurs originaux : Luuk Versteeg, Rob G. J. Wijnhoven, Martin R. Oswald

Publié 2026-05-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luuk Versteeg, Rob G. J. Wijnhoven, Martin R. Oswald

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une photo géante et haute résolution d'une ville prise depuis un hélicoptère. Maintenant, imaginez que vous souhaitiez connaître la forme exacte, la hauteur et l'inclinaison de chaque toit sur cette image sans jamais quitter votre fauteuil ni vous rendre sur place. C'est exactement ce que décrit cet article : un programme informatique intelligent qui examine une seule photo aérienne et « mesure » instantanément les bâtiments qu'elle contient.

Voici une explication simple de leur méthode, utilisant quelques analogies du quotidien.

La Grande Idée : L'« Architecte en Une Seule Prise »

Habituellement, pour créer un modèle 3D d'une ville, il faut utiliser des scanners laser coûteux (LiDAR) survolant la zone, ou bien visiter chaque bâtiment avec un mètre ruban. Cet article déclare : « Inutile de tout cet équipement coûteux. »

Ils ont conçu un système qui apprend à partir de quelques cartes 3D coûteuses (spécifiquement provenant des Pays-Bas) puis applique cette connaissance à des photos 2D ordinaires. Pensez-y comme un étudiant qui étudie quelques plans détaillés dans une bibliothèque, puis, lorsqu'on lui montre un simple croquis d'une maison, peut deviner avec précision sa hauteur et la pente de son toit. Une fois la leçon apprise, l'étudiant n'a plus besoin des plans ; il lui suffit du croquis.

Comment le Système Fonctionne

Les chercheurs ont pris un outil standard de vision par ordinateur (appelé Mask R-CNN, efficace pour détecter et délimiter des objets) et lui ont donné un « super-pouvoir » : une nouvelle branche cérébrale dédiée à la prédiction de nombres.

Le Contour (Segmentation) : D'abord, le système dessine un masque autour de chaque toit qu'il voit, séparant une maison de sa voisine.
Les Mesures (Régression) : Ensuite, pour chaque toit délimité, il prédit trois choses :
- Hauteur : Quelle est la hauteur du bâtiment ?
- Pente : Quelle est la pente du toit ? (Est-elle plate comme une crêpe ou raide comme un toboggan ?)
- Azimut : Vers quelle direction le toit est-il orienté ? (Nord, Sud, Est ou Ouest ?)

Les Deux « Tricheurs » Qu'ils Ont Inventés

L'article met en évidence deux astuces ingénieuses utilisées pour rendre le système bien plus intelligent que les tentatives précédentes.

1. L'Astuce « Ignorez les Toits Plans » (Perte Conditionnelle d'Azimut)

Le Problème : Si vous regardez un toit plat de dessus, il n'a pas de « direction ». C'est simplement une surface plane. Cependant, les données utilisées pour entraîner l'IA (appelées 3DBAG) attribuaient accidentellement des directions de boussole aléatoires (comme « Nord » ou « Sud ») à ces toits plats, simplement parce que l'ordinateur devait choisir quelque chose.
L'Analogie : Imaginez essayer d'enseigner à un chien à pointer vers le Nord. Si vous dites au chien « Pointe vers le Nord » alors qu'il est assis sur une table plate, et « Pointe vers le Sud » alors qu'il est sur la même table cinq minutes plus tard, le chien devient confus.
La Solution : Les chercheurs ont dit à l'IA : « Si le toit est plat, ignorez complètement la direction de la boussole. » En empêchant l'IA d'essayer d'apprendre à partir de ces directions aléatoires et confuses, l'erreur de prédiction de la direction du toit a diminué de près de moitié.

2. L'Astuce « Livre de Bord » (Hauteur Log-Normalisée)

Le Problème : La plupart des maisons sont petites (peut-être 3 à 9 mètres), mais quelques-unes sont des gratte-ciel ou des tours d'église (plus de 100 mètres). Si vous demandez à un ordinateur d'apprendre les hauteurs normalement, il s'obsède sur les quelques tours géantes et oublie les milliers de petites maisons. C'est comme un professeur qui note une classe où un élève obtient 1000 et tous les autres 5 ; le professeur ne se concentre que sur le 1000.
L'Analogie : Au lieu de mesurer la hauteur en mètres linéaires, ils ont utilisé une échelle « logarithmique ». Pensez-y comme l'échelle de Richter pour les tremblements de terre : un petit saut dans le nombre représente un énorme saut dans la réalité. Cela écrase les grands nombres pour que l'ordinateur prête une attention égale aux petites maisons et aux grandes tours.
Le Résultat : Cela a rendu les prédictions de hauteur 17 % plus précises.

Quelle est sa Performance ?

Le système a été testé sur plus de 17 000 photos aériennes de villes néerlandaises. Voici comment il a performé :

Direction du Toit : Il a deviné la direction de la boussole à environ 7 degrés près (environ la largeur de votre petit doigt tenu à bras tendu).
Pente du Toit : Il a deviné l'angle à environ 4 degrés près.
Hauteur : Il a deviné la hauteur à environ 1 mètre près (environ la taille d'un adulte grand).
Détection des Toits : Il a délimité avec succès environ 56 % des toits parfaitement (un score très fort pour ce type de tâche complexe).

Le Bémol (Limites)

L'article est honnête sur les endroits où le système éprouve des difficultés :

Formes Confuses : Si un toit s'incline vers l'intérieur de tous les côtés (comme une pyramide), le système se trompe parfois sur sa direction car il n'a qu'une seule photo.
Données Anciennes : Parfois, la photo montre une nouvelle maison, mais les données d'entraînement indiquent qu'il y avait là une vieille grange. Le système peut être pénalisé pour avoir raison parce que la « vérité terrain » est fausse.
Pas de Travail d'Équipe : Le système traite chaque toit comme une île. Il ne réalise pas que deux maisons côte à côte ont généralement des hauteurs similaires. Il les devine indépendamment, ce qui peut entraîner des incohérences étranges.

La Conclusion

Cet article prouve que vous n'avez pas besoin de lasers 3D coûteux pour obtenir une compréhension 3D décente d'une ville. Si vous disposez d'une photo aérienne de haute qualité, cette IA peut construire un modèle 3D simplifié des bâtiments, complet avec hauteur et angles de toit. C'est une avancée majeure car les photos aériennes sont disponibles presque partout, rendant possible l'analyse de la géométrie des bâtiments pour des choses comme la planification de l'énergie solaire ou l'évaluation des risques d'assurance à grande échelle.

Résumé technique : Segmentation d'instances et régression d'attributs géométriques pour les structures de toiture dans les images aériennes

Énoncé du problème
Une connaissance géométrique précise du milieu bâti — spécifiquement la hauteur des bâtiments, la pente et l'orientation (azimut) des toitures — est cruciale pour la planification de la durabilité, l'évaluation énergétique, l'évaluation des risques d'assurance et la gestion du logement. Cependant, l'acquisition de ces données à l'échelle nationale est difficile. Bien que le LiDAR fournisse des modèles 3D précis, il est coûteux et peu fréquent. L'inspection manuelle n'est pas évolutive. Les méthodes existantes basées sur l'apprentissage se concentrent souvent sur des attributs uniques (par exemple, la hauteur uniquement) ou opèrent au niveau sémantique plutôt qu'au niveau des instances, échouant à distinguer plusieurs segments de toiture sur un même bâtiment. De plus, de nombreuses approches nécessitent des images multi-vues ou des conditions d'acquisition spécifiques qui limitent leur applicabilité.

Méthodologie
Les auteurs proposent une méthode pour prédire conjointement des masques de segments de toiture au niveau des instances et trois attributs géométriques continus (hauteur du bâtiment, pente de la toiture et azimut de la toiture) à partir d'une seule orthophotographie aérienne.

Architecture : L'approche étend le cadre Mask R-CNN avec une branche de régression d'attributs dédiée.
- Backbone : Le modèle utilise un backbone DINOv3 ConvNeXt-Base, qui exploite un pré-entraînement auto-supervisé par distillation de connaissances. Cela s'est avéré surpasser significativement ResNet-50 et EfficientNetV2-M, en particulier dans la génération de limites de masques précises.
- Extraction de caractéristiques : Un Feature Pyramid Network (FPN) extrait les caractéristiques. La branche d'attributs partage des caractéristiques RoI alignées 7×7 avec les branches de classification et de boîte englobante.
- Sortie : Pour chaque segment de toiture détecté, le réseau produit un masque binaire, une boîte englobante et trois attributs : la hauteur ( $h$ ), l'angle de pente ( $\alpha$ ) et l'azimut ( $\phi$ ). L'azimut est encodé comme un vecteur unitaire 2D $(\cos \phi, \sin \phi)$ pour gérer la discontinuité circulaire.
Jeu de données : Le modèle est entraîné et évalué sur un jeu de données à grande échelle de 17 353 images aériennes néerlandaises (résolution de 8 cm/pixel). La vérité terrain est dérivée automatiquement de 3DBAG, un jeu de données national de reconstructions de bâtiments LoD2.2 combinant les empreintes cadastrales avec le LiDAR aéroporté (AHN). Le jeu de données contient plus de 2 millions d'annotations d'instances.
Innovations techniques clés :
1. Perte d'azimut conditionnelle : Les toitures plates (pente $\le 15^\circ$ ) dans la vérité terrain 3DBAG se voient attribuer des valeurs d'azimut arbitraires car une surface horizontale n'a pas d'orientation boussole significative. Les auteurs introduisent un mécanisme de contrôle qui supprime la perte d'azimut pour ces segments plats. Cela empêche le modèle d'apprendre des étiquettes bruyantes et réduit considérablement l'erreur de prédiction de l'azimut.
2. Représentation de hauteur log-normalisée : Les hauteurs de bâtiments dans le jeu de données sont fortement asymétriques à droite (la plupart sont <20 m, avec une longue queue de structures hautes). La régression directe fait que les bâtiments hauts dominent le signal de gradient. Les auteurs appliquent une transformation de log-normalisation ( $h_{norm} = (\log h - \mu)/\sigma$ ) pour remodeler la distribution cible en une forme quasi-gaussienne, équilibrant ainsi le signal de gradient sur toutes les plages de hauteur.
3. Entraînement en deux étapes : Le modèle est entraîné en deux étapes. D'abord, seuls les composants Mask R-CNN (détection et segmentation) sont entraînés pour assurer un appariement d'instances fiable. Deuxièmement, le backbone est gelé et la branche de régression d'attributs est entraînée conjointement avec les autres branches.

Résultats
Évalué sur un ensemble de test retenu avec une séparation géographique stricte, la méthode atteint les métriques de performance suivantes :

Segmentation d'instances : Un AP50 de 0,566 et une précision moyenne moyenne (mAP) de 0,298.
Régression d'attributs (Erreur Absolue Moyenne) :
- Pente de toiture : ~4,08°
- Azimut : ~6,96° (amélioré à ~7° avec la perte conditionnelle)
- Hauteur du bâtiment : ~1,03 mètre

Études d'ablation et analyse :

Backbone : Le DINOv3 ConvNeXt-Base a surpassé les autres backbones, atteignant une mAP de 0,204 à l'étape de détection uniquement, contre 0,129 pour ResNet-50.
Conception de la perte : La perte d'azimut conditionnelle a réduit l'erreur absolue moyenne (MAE) de l'azimut de 41 % (de ~21,8° à ~12,9°) sans dégrader les autres attributs.
Représentation de la hauteur : La représentation log-normalisée a amélioré la régression de la hauteur de 17 % par rapport à la régression directe sur les hauteurs brutes (réduisant la MAE de 1,878 m à 1,556 m dans l'ablation, et à ~1,03 m dans le modèle final avec une résolution plus élevée).
Résolution : L'augmentation de la résolution d'entrée de 512×512 à 768×768 a constamment amélioré toutes les métriques.
Performance par cluster : Le modèle fonctionne mieux sur les toitures à pente moyenne à forte (taux de correspondance >69 %). Les performances se dégradent pour les bâtiments très hauts et les toitures à faible pente, où les indices visuels sont plus faibles ou l'environnement est complexe.

Signification et revendications
L'article revendique que ce travail est le premier à prédire conjointement des masques de bâtiments au niveau des instances avec une régression continue de la hauteur, de la pente et de l'azimut à partir d'une seule image aérienne 2D.

La signification principale réside dans l'évolutivité de l'approche. En utilisant des données de référence 3D coûteuses (3DBAG dérivé du LiDAR) uniquement pour l'entraînement, le modèle résultant peut être déployé partout où des images aériennes sont disponibles pour inférer des attributs géométriques 3D. Cela permet la reconstruction de modèles de bâtiments 3D simplifiés (LoD2) sans nécessiter d'entrée multi-vues ni de LiDAR au moment de l'inférence. Les auteurs affirment que cela fournit une base évolutive pour des applications en planification énergétique, évaluation des risques d'assurance et gestion durable du bâti, comblant le fossé où des données géométriques précises sont actuellement indisponibles à l'échelle des parcs de bâtiments nationaux.

Les auteurs notent également des limites, en particulier concernant la granularité de la vérité terrain 3DBAG (qui peut diviser des surfaces visuellement cohérentes en plusieurs polygones) et les désalignements temporels entre les images et les données 3D, ce qui peut amener les métriques quantitatives à sous-estimer la performance qualitative réelle du modèle.