WMS-Net:Wavelet-Mamba Synergistic Network for Joint Semantic Segmentation and Height Estimation of Remote Sensing Images

In der Welt der Fernerkundung, in der Satelliten und Flugzeuge die Erde von oben erfassen, hält ein einzelnes Foto zwei unterschiedliche Geschichten bereit, die darauf warten, erzählt zu werden. Eine Geschichte handelt davon, was Dinge sind: eine Straße, ein Baum, ein Gebäude oder ein Auto. Dies ist bekannt als semantische Segmentierung, ein Prozess, bei dem jedes Pixel eines Bildes einer bestimmten Kategorie zugeordnet wird. Die zweite Geschichte handelt davon, wie hoch diese Dinge sind. Dies ist die Höhenschätzung, die ein flaches Bild in eine dreidimensionale Karte des Geländes verwandelt und die hohen Dächer von Wolkenkratzern oder die sanften Hänge eines Hügels offenbart. Jahrzehntelang haben Informatiker versucht, diese beiden Probleme getrennt zu lösen, indem sie verschiedene Algorithmen trainierten, um Objekte zu erkennen, und andere, um die Höhe zu messen. Diese beiden Aufgaben sind jedoch tief miteinander verbunden; die Form eines Gebäudes hilft dabei, seine Höhe zu definieren, und das Wissen um die Höhe eines Daches hilft dabei, es vom Boden zu unterscheiden. Die Herausforderung bestand darin, dass, wenn Computer versuchen, beides gleichzeitig zu lernen, das Rauschen und die Komplexität realer Bilder oft dazu führen, dass sich die beiden Lektionen gegenseitig stören, was zu unscharfen Kanten oder ungenauen Messungen führt.

Ein Team von Forschern der Xi'an University of Architecture and Technology hat einen neuen Ansatz entwickelt, um diese Beziehung zu entwirren, und ein System namens WMS-Net entwickelt. Anstatt einen einzelnen Algorithmus zu zwingen, beide Aufgaben gleichzeitig zu bewältigen, entwarfen sie ein Netzwerk, das die visuellen Informationen vor der Rekombination in verschiedene Detailebenen aufteilt. Stellen Sie sich vor, Sie betrachten ein Foto und trennen die scharfen, präzisen Umrisse eines Gebäudes von den glatten, breiten Farben des Himmels und des Bodens. Die Forscher erkannten, dass die Aufgabe, zu identifizieren, was ein Objekt ist, stark auf diesen scharfen Kanten und feinen Texturen beruht, während die Aufgabe, die Höhe zu messen, eher von den glatten, kontinuierlichen Formen und allgemeinen Konturen abhängt. Um diesen Unterschied zu nutzen, verwendet ihr neues System ein mathematisches Werkzeug namens Wavelet-Transformation, das als Filter fungiert. Dieses Werkzeug trennt die Bilddaten in hochfrequente Komponenten, die die feinen Details und Kanten enthalten, und niederfrequente Komponenten, die die breiteren strukturellen Informationen halten.

Sobald die Daten getrennt sind, leitet das System die hochfrequenten Details an den Teil des Netzwerks weiter, der für die Identifizierung von Objekten verantwortlich ist, wodurch sichergestellt wird, dass die Kanten von Gebäuden und Bäumen mit Präzision gezeichnet werden. Gleichzeitig sendet es die niederfrequenten, glatten Informationen an den Teil des Netzwerks, der die Höhe berechnet, sodass dieser die allgemeine Form und Höhe verstehen kann, ohne durch verrauschte Texturen abgelenkt zu werden. Diese Trennung verhindert, dass sich die beiden Aufgaben gegenseitig verwirren. Doch die bloße Trennung der Daten reicht nicht aus; das System muss auch verstehen, wie Objekte im gesamten Bild miteinander in Beziehung stehen, wie etwa die Art und Weise, wie sich eine lange Straße durch eine Stadt zieht oder wie eine Gruppe von Bäumen ein kontinuierliches Blätterdach bildet. Um dies zu erreichen, integrierten die Forscher eine Komponente, die auf einer modernen Architektur namens Mamba basiert. Dieser Teil des Systems fungt wie ein Langstreckenscanner, der in der Lage ist, ferne Teile des Bildes mit sehr geringem Rechenaufwand miteinander zu verbinden, was es ermöglicht, die globale Struktur der Szene effizient zu modellieren.

Das letzte Puzzleteil ist ein Mechanismus, der es den beiden getrennten Informationsströmen – den detaillierten Objektbezeichnungen und der glatten Höhenkarte – ermöglicht, miteinander zu kommunizieren. Die Forscher bauten ein Cross-Attention-Modul, das die Höheninformationen dazu bringt, die Objekterkennung zu leiten, wodurch sichergestellt wird, dass die Umrisse eines Gebäudes konsistent mit seiner gemessenen Höhe bleiben, und umgekehrt. Dies schafft eine Rückkopplungsschleife, in der sich die beiden Aufgaben gegenseitig verfeinern und Fehler korrigieren, die auftreten könnten, wenn sie isoliert arbeiten würden. Bei Tests auf zwei bedeutenden Datensätzen von Luftbildern aus den Städten Vaihingen und Potsdam in Deutschland zeigte dieses neue System eine überlegene Leistung im Vergleich zu bestehenden Methoden. Auf dem Vaihingen-Datensatz erreichte das System eine Genauigkeit von 83,2 % bei der Identifizierung von Objekten und eine sehr niedrige Fehlerrate bei den Höhenmessungen. Auf dem größeren, hochauflösenden Potsdam-Datensatz erreichte es eine Genauigkeit von 86,8 % bei der Objekterkennung und behielt eine ähnlich niedrige Fehlerrate für die Höhe bei.

Die Ergebnisse legen nahe, dass es möglich ist, ein viel zuverlässigeres Werkzeug zur Kartierung der Welt zu schaffen, indem man die unterschiedlichen Arten respektiert, wie Menschen und Maschinen Details gegenüber Strukturen wahrnehmen, und indem man diese verschiedenen Ansichten zusammenarbeiten lässt, anstatt sie konkurrieren zu lassen. Das System erzeugt nicht nur eine Liste von Bezeichnungen oder eine grobe Höhenkarte; es erzeugt ein kohärentes, dreidimensionales Verständnis der Szene, bei dem die Grenzen eines Gebäudes perfekt mit seiner gemessenen Höhe übereinstimmen. Dieser Ansatz bietet einen neuen Rahmen dafür, wie Computer lernen können, die Welt in mehreren Dimensionen gleichzeitig zu sehen, indem sie flache Fotografien in reichhaltige, handlungsrelevante Daten für die Stadtplanung, die Katastrophenüberwachung und die Modellierung von Smart Cities verwandeln. Der Erfolg dieser Methode liegt nicht darin, den Computer im allgemeinen Sinne intelligenter zu machen, sondern ihm einen klareren Weg zu geben, die visuellen Informationen zu organisieren, indem er das Rauschen vom Signal und die Kanten von den Formen trennt, bevor er darum bittet, das Ganze zu verstehen.