WMS-Net:Wavelet-Mamba Synergistic Network for Joint Semantic Segmentation and Height Estimation of Remote Sensing Images

In de wereld van remote sensing, waar satellieten en vliegtuigen de aarde van bovenaf vastleggen, bevat één enkele foto twee verschillende verhalen die verteld moeten worden. Het ene verhaal gaat over wat dingen zijn: een weg, een boom, een gebouw of een auto. Dit staat bekend als semantische segmentatie, een proces waarbij elk pixel in een afbeelding wordt gelabeld met een specifieke categorie. Het tweede verhaal gaat over hoe hoog die dingen zijn. Dit is hoogteschatting, wat een plat beeld verandert in een driedimensionale kaart van het terrein, waarbij de torenhoge daken van wolkenkrabbers of de flauwe hellingen van een heuvel worden onthuld. Decennialang hebben computerwetenschappers geprobeerd deze twee problemen afzonderlijk op te lossen, door verschillende algoritmen te trainen om objecten te herkennen en andere om hoogte te meten. Echter, deze twee taken zijn diep met elkaar verbonden; de vorm van een gebouw helpt bij het definiëren van de hoogte, en het kennen van de hoogte van een dak helpt om het te onderscheiden van de grond. De uitdaging was dat wanneer computers proberen beide taken tegelijkertijd te leren, de ruis en complexiteit van echte afbeeldingen vaak ervoor zorgen dat de twee lessen elkaar in de weg zitten, wat leidt tot wazige randen of onnauwkeurige metingen.

Een team van onderzoekers aan de Xi'an University of Architecture and Technology heeft een nieuwe aanpak ontwikkeld om deze relatie te ontwarren, door een systeem te creëren dat ze WMS-Net noemen. In plaats van één algoritme beide taken tegelijkertijd te laten jongleren, hebben ze een netwerk ontworpen dat de visuele informatie opsplitst in verschillende lagen van detail voordat ze worden gecombineerd. Stel je voor dat je naar een foto kijkt en de scherpe, heldere contouren van een gebouw scheidt van de gladde, brede kleuren van de lucht en de grond. De onderzoekers realiseerden zich dat de taak om te identificeren wat een object is, sterk leunt op die scherpe randen en fijne texturen, terwijl de taak om de hoogte te meten meer afhankelijk is van de gladde, continue vormen en algemene contouren. Om dit verschil uit te buiten, gebruikt hun nieuwe systeem een wiskundig hulpmiddel genaamd een wavelettransformatie om als een filter te fungen. Dit hulpmiddel splitst de afbeeldingsgegevens in hoogfrequente componenten, die de fijne details en randen bevatten, en laagfrequente componenten, die de bredere structurele informatie vasthouden.

Zodra de gegevens zijn gescheiden, stuurt het systeem de hoogfrequente details naar het deel van het netwerk dat verantwoordelijk is voor het identificeren van objecten, waardoor de randen van gebouwen en bomen met precisie worden getekend. Tegelijkertijd stuurt het de laagfrequente, gladde informatie naar het deel van het netwerk dat de hoogte berekent, zodat het de algemene vorm en hoogte kan begrijpen zonder afgeleid te worden door ruisige texturen. Deze scheiding voorkomt dat de twee taken elkaar in de war brengen. Het splitsen van de gegevens is echter niet voldoende; het systeem moet ook begrijpen hoe objecten met elkaar samenhangen in de gehele afbeelding, zoals hoe een lange weg door een stad strekt of hoe een cluster van bomen een continu bladerdak vormt. Om dit te bereiken, hebben de onderzoekers een component geïntegreerd die gebaseerd is op een moderne architectuur genaamd Mamba. Dit deel van het systeem werkt als een scanner met een groot bereik, in staat om verre delen van de afbeelding met zeer weinig rekenkracht met elkaar te verbinden, waardoor het de globale structuur van de scène efficiënt kan modelleren.

Het laatste puzzelstukje is een mechanisme waarmee de twee aparte informatiestromen — de gedetailleerde objectlabels en de gladde hoogtemap — met elkaar kunnen communicen. De onderzoekers hebben een cross-attention module gebouwd die de hoogte-informatie toestaat de objectherkenning te sturen, wat ervoor zorgt dat de omtrek van een gebouw consistent blijft met de gemeten hoogte, en vice versa. Dit creëert een feedbackloop waarbij de twee taken elkaar verfijnen, waarbij fouten die zouden kunnen optreden als ze geïsoleerd zouden werken, worden gecorrigeerd. Bij tests op twee belangrijke datasets van luchtfoto's uit de steden Vaihingen en Potsdam in Duitsland, toonde dit nieuwe systeem een superieure prestatie vergeleken met bestaande methoden. Op de Vaihingen-dataset behaalde het systeem een nauwkeurigheidsscore van 83,2% voor het identificeren van objecten en een zeer lage foutmarge voor hoogtemetingen. Op de grotere, hogere resolutie dataset van Potsdam bereikte het 86,8% nauwkeurigheid voor objectidentificatie en behield het een vergelijkbaar lage foutmarge voor de hoogte.

De resultaten suggereren dat door respect te tonen voor de verschillende manieren waarop mensen en machines detail versus structuur waarnemen, en door deze verschillende visies samen te laten werken in plaats van met elkaar te laten concurreren, het mogelijk is om een veel betrouwbaarder hulpmiddel voor het in kaart brengen van de wereld te creëren. Het systeem produceert niet alleen een lijst met labels of een ruwe hoogtemap; het produceert een samenhangend, driedimensionaal begrip van de scène waarbij de grenzen van een gebouw perfect overeenkomen met de gemeten hoogte. Deze aanpak biedt een nieuw kader voor hoe computers tegelijkertijd in meerdere dimensies naar de wereld kunnen kijken, waardoor platte foto's worden omgezet in rijke, bruikbare gegevens voor stedelijke planning, rampenmonitoring en smart city-modellering. Het succes van deze methode ligt niet in het slimmer maken van de computer in algemene zin, maar in het geven van een duidelijkere manier om de visuele informatie die het ontvangt te organiseren, door de ruis van het signaal en de randen van de vormen te scheiden voordat het wordt gevraagd om de essentie van het geheel te begrijpen.