WMS-Net:Wavelet-Mamba Synergistic Network for Joint Semantic Segmentation and Height Estimation of Remote Sensing Images

Dans le monde de la télédétection, où les satellites et les avions capturent la Terre depuis les hauteurs, une seule photographie recèle deux histoires distinctes qui attendent d'être racontées. Une histoire concerne ce que sont les choses : une route, un arbre, un bâtiment ou une voiture. Il s'agit de la segmentation sémantique, un processus qui étiquette chaque pixel d'une image avec une catégorie spécifique. La seconde histoire concerne la hauteur de ces choses. Il s'agit de l'estimation de la hauteur, qui transforme une image plate en une carte tridimensionnelle du terrain, révélant les toits imposants des gratte-ciel ou les pentes douces d'une colline. Pendant des décennies, les informaticiens ont tenté de résoudre ces deux problèmes séparément, en entraînant différents algorithmes pour reconnaître les objets et d'autres pour mesurer l'élévation. Cependant, ces deux tâches sont profondément liées ; la forme d'un bâtiment aide à définir sa hauteur, et connaître la hauteur d'un toit aide à le distinguer du sol. Le défi résidait dans le fait que lorsque les ordinateurs tentent d'apprendre les deux à la fois, le bruit et la complexité des images réelles font souvent que les deux leçons s'entravent mutuellement, entraînant des contours flous ou des mesures inexactes.

Une équipe de chercheurs de l'Université d'architecture et de technologie de Xi'an a développé une nouvelle approche pour démêler cette relation, créant un système qu'ils appellent WMS-Net. Au lieu de forcer un seul algorithme à jongler simultanément avec les deux tâches, ils ont conçu un réseau qui divise l'information visuelle en différentes couches de détails avant de les recombiner. Imaginez que vous regardiez une photographie et que vous sépariez les contours nets et précis d'un bâtiment des couleurs douces et larges du ciel et du sol. Les chercheurs ont réalisé que la tâche consistant à identifier ce qu'est un objet repose largement sur ces bords tranchants et ces textures fines, tandis que la tâche de mesurer la hauteur dépend davantage des formes lisses et continues et des contours globaux. Pour exploiter cette différence, leur nouveau système utilise un outil mathématique appelé transformée en ondelettes pour agir comme un filtre. Cet outil sépare les données de l'image en composantes de haute fréquence, qui contiennent les détails fins et les bords, et en composantes de basse fréquence, qui détiennent les informations structurelles plus larges.

Une fois les données séparées, le système dirige les détails de haute fréquence vers la partie du réseau responsable de l'identification des objets, garantissant que les contours des bâtiments et des arbres soient dessinés avec précision. Simultanément, il envoie l'information lisse de basse fréquence à la partie du réseau calculant la hauteur, permettant à celle-ci de comprendre la forme globale et l'élévation sans être distraite par les textures bruyantes. Cette séparation empêche les deux tâches de se confondre. Cependant, le simple fait de séparer les données ne suffit pas ; le système doit également comprendre comment les objets se rapportent les uns aux autres à travers l'ensemble de l'image, comme une longue route qui traverse une ville ou un groupe d'arbres qui forme une canopée continue. Pour y parvenir, les chercheurs ont incorporé un composant basé sur une architecture moderne connue sous le nom de Mamba. Cette partie du système agit comme un scanner à longue portée, capable de connecter des parties distantes de l'image avec très peu d'efforts de calcul, lui permettant de modéliser la structure globale de la scène efficacement.

La dernière pièce du puzzle est un mécanisme qui permet aux deux flux d'informations distincts — les étiquettes d'objets détaillées et la carte de hauteur lisse — de communiquer entre eux. Les chercheurs ont construit un module d'attention croisée qui permet à l'information de hauteur de guider la reconnaissance d'objets, garantissant que le contour d'un bâtiment reste cohérent avec son élévation mesurée, et vice versa. Cela crée une boucle de rétroaction où les deux tâches s'affinent mutuellement, corrigeant les erreurs qui pourraient survenir si elles travaillaient de manière isolée. Testé sur deux ensembles de données majeurs d'images aériennes des villes de Vaihingen et de Potsdam en Allemagne, ce nouveau système a démontré des performances supérieures par rapport aux méthodes existantes. Sur l'ensemble de données de Vaihingen, le système a atteint un score de précision de 83,2 % pour l'identification des objets et un taux d'erreur très bas pour les mesures de hauteur. Sur l'ensemble de données de Potsdam, plus vaste et à plus haute résolution, il a atteint une précision de 86,8 % pour l'identification des objets et a maintenu un taux d'erreur similaire pour la hauteur.

Les résultats suggèrent qu'en respectant les différentes manières dont les humains et les machines perçoivent le détail par rapport à la structure, et en permettant à ces différentes vues de collaborer plutôt que de rivaliser, il est possible de créer un outil beaucoup plus fiable pour cartographier le monde. Le système ne produit pas seulement une liste d'étiquettes ou une carte de hauteur approximative ; il produit une compréhension tridimensionnelle cohérente de la scène où les limites d'un bâtiment s'alignent parfaitement avec sa hauteur mesurée. Cette approche offre un nouveau cadre pour la façon dont les ordinateurs peuvent apprendre à voir le monde dans plusieurs dimensions à la fois, transformant des photographies plates en données riches et exploitables pour l'urbanisme, la surveillance des catastrophes et la modélisation des villes intelligentes. Le succès de cette méthode ne réside pas dans le fait de rendre l'ordinateur plus intelligent de manière générale, mais dans le fait de lui donner une manière plus claire d'organiser l'information visuelle qu'il reçoit, en séparant le bruit du signal et les bords des formes avant de lui demander de donner un sens à l'ensemble.