WMS-Net:Wavelet-Mamba Synergistic Network for Joint Semantic Segmentation and Height Estimation of Remote Sensing Images

위성이나 항공기가 하늘에서 지구를 포착하는 원격 탐사의 세계에서, 단 한 장의 사진은 기다리고 있는 두 가지 서로 다른 이야기를 담고 있습니다. 한 이야기는 사물이 무엇인지에 관한 것입니다: 도로, 나무, 건물, 혹은 자동차와 같은 것들 말입니다. 이것은 모든 픽셀에 특정 범주를 레이블링하는 과정인 시맨틱 세그멘테이션(semantic segmentation)으로 알려져 있습니다. 두 번째 이야기는 그 사물들이 얼마나 높은지에 관한 것입니다. 이는 높이 추정(height estimation)으로, 평면적인 사진을 지형의 3차원 지도로 변래하여 고층 빌딩의 우뚝 솟은 지붕이나 언덕의 완만한 경사를 드러냅니다. 수십 년 동안 컴퓨터 과학자들은 이 두 문제를 별개로 해결하려고 노력해 왔으며, 사물을 인식하는 알고리즘과 고도를 측정하는 서로 다른 알고리즘을 훈련시켜 왔습니다. 그러나 이 두 작업은 깊이 연결되어 있습니다. 건물의 형태는 그 높이를 정의하는 데 도움을 주며, 지붕의 높이를 아는 것은 그것을 지면과 구별하는 데 도움이 됩니다. 문제는 컴퓨터가 이 두 가지를 동시에 학습하려고 할 때, 실제 이미지의 노이즈와 복잡성이 종종 두 가지 학습 내용을 서로 방해하여 모호한 경계나 부정확한 측정값으로 이어지게 한다는 점이었습니다.

시안 건축대학교(Xi'an University of Architecture and Technology)의 연구진은 이 관계를 풀어내기 위한 새로운 접근 방식을 개발하여, WMS-Net이라 불리는 시스템을 만들어냈습니다. 단일 알고리즘이 두 작업을 동시에 처리하도록 강요하는 대신, 그들은 시각 정보를 다양한 세부 계층으로 나눈 뒤 다시 결합하는 네트워크를 설계했습니다. 사진을 보면서 건물의 날카롭고 선명한 윤곽선과 하늘 및 지면의 부드럽고 넓은 색상을 분리하는 것을 상상해 보십시오. 연구진은 사물이 무엇인지 식별하는 작업은 이러한 날카로운 가장자리와 미세한 질감에 크게 의존하는 반면, 높이를 측정하는 작업은 더 부드럽고 연속적인 형태와 전반적인 윤곽에 더 의존한다는 점을 깨달았습니다. 이러한 차이를 활용하기 위해, 그들의 새로운 시스템은 수학적 도구인 웨이브렛 변환(wavelet transform)을 필터 역할을 하는 도구로 사용합니다. 이 도구는 이미지 데이터를 미세한 디테일과 가장자리를 포함하는 고주파 성분과, 더 넓은 구조적 정보를 담고 있는 저주파 성분으로 분리합니다.

데이터가 분리되면, 시스템은 고주파 디테일을 사물을 식별하는 데 책임이 있는 네트워크 부분으로 보내 건물의 가장자리와 나무의 경계가 정밀하게 그려지도록 보장합니다. 동시에, 저주파의 부드러운 정보는 높이를 계산하는 네트워크 부분으로 보내 노이즈가 많은 질면에 방해받지 않고 전반적인 형태와 고도를 이해할 수 있도록 합니다. 이러한 분리는 두 작업이 서로 혼동되는 것을 방지합니다. 그러나 단순히 데이터를 나누는 것만으로는 충분하지 않습니다. 시스템은 또한 도시를 가로지르는 긴 도로가 어떻게 뻗어 있는지, 혹은 나무 군락이 어떻게 연속적인 캐노피를 형성하는지와 같이 이미지 전체에서 사물들이 서로 어떻게 관계를 맺는지 이해해야 합니다. 이를 달 achieve하기 위해, 연구진은 현대적인 아키텍처로 알려진 맘바(Mamba)에 기반한 구성 요소를 통합했습니다. 이 시스템의 일부는 마치 장거리 스캐너처럼 작동하여, 매우 적은 계산량으로 이미지의 먼 부분들을 연결함으로써 장면의 전역적 구조를 효율적으로 모델링할 수 있게 해줍니다.

이 퍼즐의 마지막 조각은 두 개의 분리된 정보 스트림, 즉 상세한 사물 레이블과 부드러운 높이 지도가 서로 대화할 수 있게 하는 메커니즘입니다. 연구진은 높이 정보가 사물 인식을 유도하여 건물의 윤곽이 측정된 고도와 일관성을 유지하고, 그 반대의 경우도 마찬가지가 되도록 하는 교차 주의(cross-attention) 모듈을 구축했습니다. 이는 두 작업이 고립되어 작동할 때 발생할 수 있는 실수를 수정하며 서로를 정교하게 만드는 피드백 루프를 생성합니다. 독일의 파이힝겐(Vaihingen)과 포츠담(Potsdam)의 항공 이미지로 구성된 두 가지 주요 데이터셋에서 테스트했을 때, 이 새로운 시스템은 기존 방식들에 비해 우수한 성능을 보여주었습니다. 파이힝겐 데이터셋에서 이 시스템은 사물 식별에 대해 83.2%의 정확도를 달성했으며 매우 낮은 높이 측정 오차율을 기록했습니다. 더 크고 고해상도인 포츠담 데이터셋에서는 사물 식별 정확도 86.8%에 도달했으며, 유사하게 낮은 높이 오차율을 유지했습니다.

이 결과는 인간과 기계가 디테일과 구조를 인식하는 서로 다른 방식을 존중하고, 이러한 서로 다른 관점들이 경쟁하기보다 협력하게 함으로써, 세계를 매핑하는 데 훨씬 더 신뢰할 수 있는 도구를 만들 수 있음을 시사합니다. 이 시스템은 단순히 레이블 목록이나 대략적인 높이 지도를 만드는 것이 아니라, 건물의 경계가 측정된 높이와 완벽하게 일치하는 일관된 3차원적 이해를 산출합니다. 이 접근 방식은 컴퓨터가 어떻게 여러 차원에서 동시에 세상을 볼 수 있는지에 대한 새로운 프레임워크를 제공하며, 평면적인 사진을 도시 계획, 재난 모니터링, 스마트 시티 모델링을 위한 풍부하고 실행 가능한 데이터로 변화시킵니다. 이 방법의 성공은 컴퓨터를 일반적인 의미에서 더 똑똑하게 만드는 것이 아니라, 전체를 이해하라고 요구하기 전에 노이즈로부터 신호를, 그리고 형태로부터 가장자리를 분리함으로써 컴퓨터가 받는 시각 정보를 정리하는 더 명확한 방법을 제공하는 데 있습니다.