BMTransUNet: Boundary-Aware Gated Multimodal Transformer for Remote Sensing Semantic Segmentation

우주에서 찍은 거대한 고해Resolution 도시 사진을 보고 있다고 상상해 보세요. 인간에게는 평평한 도로, 높은 건물, 풀밭을 구분하는 것이 쉽습니다. 하지만 컴퓨터에게 모든 것은 그저 색깔 점들의 격자일 뿐입니다. 이것이 바로 **원격 탐사 의미론적 분할(remote sensing semantic segmentation)**의 세계입니다. 이 분야는 과학자들이 컴퓨터에게 이미지의 모든 픽셀이 실제로 무엇인지(예: "나무", "자동차", 또는 "건물") 라벨을 붙이도록 가르치는 분야입니다.

오랫동안 컴퓨터는 표준 색상 사진(RGB)만을 본다면 이 작업에 꽤 능숙했습니다. 하지만 마치 어두운 방 안에서 검은 고양이를 찾는 것처럼 어려움을 겪는 것처럼, 컴퓨터는 그림자가 드리워지거나 날씨가 나쁘거나 물체가 매우 비슷하게 보일 때 혼란을 느낍니다. 컴퓨터가 더 잘 볼 수 있도록 돕기 위해, 과학자들은 두 번째 "눈"인 **DSM(디지털 표면 모델)**을 제공하기 시작했습니다. 만약 색상 사진이 한 폭의 그림이라면, DSM은 지면의 높이를 나타내는 3D 지도와 같습니다. 이는 색상을 보여주지는 않지만, 건물이 얼마나 높은지 또는 골짜기가 얼마나 깊은지를 컴퓨터에게 정확히 알려줍니다. 큰 과제는 이 두 가지 매우 다른 유형의 정보, 즉 화려한 사진과 높이 지도를 어떻게 결로 하여 컴퓨터가 장면을 완벽하게 이해하게 하느냐는 것이었습니다. 특히 한 사물이 끝나고 다른 것이 시작되는 경계 부분에서 말이죠.

여기서 산둥 대학교와 화중과기대학교의 연구진이 설계한 새로운 컴퓨터 모델인 BMTransUNet이 등장합니다. 이 모델을 복잡한 사건을 다루는 아주 똑똑한 탐정 팀이라고 생각해 보세요. 이 팀은 단지 단서들을 하나씩 살펴보는 대신, 조사하는 매 단계마다 "색상 단서"(사진으로부터)와 "높이 단서"(3D 지도로부터)를 결합하는 특별한 전략을 가지고 있습니다.

연구진은 기존 방식들이 종종 이 단서들을 너무 일찍 혹은 너무 늦게 섞으려고 한다는 점을 발견했습니다. 이는 마치 붓을 들기도 전에 물감을 섞으려 하거나, 그림이 마른 후에야 새로운 층을 덧입히려는 것과 같습니다. 반면, BMTransUNet은 "이중 분기(dual-branch)" 접근 방식을 사용합니다. 두 명의 탐정이 나란히 걷고 있다고 상상해 보세요. 한 명은 색상을 연구하고, 다른 한 명은 높이를 연구합니다. 매 걸음마다 그들은 MAGF(모달리티 인식 게이트 퓨전)라고 불리는 특별한 도구를 사용하여 서로의 노트를 비교합니다. 이 도구는 스마트한 문지기 역할을 하여, 특정 순간에 색상 단서와 높이 단서에 각각 얼마만큼의 무게를 둘지 결정합니다. 이는 마치 요리사가 수프를 맛보고 "좋아, 지금은 소금(높이)이 조금 더 필요하지만, 후추(색상)는 좀 줄여야겠어"라고 결정하는 것과 같습니다.

하지만 팀은 여기서 멈추지 않았습니다. 그들은 훌륭하게 정보를 섞더라도 물체의 가장자리(예: 지붕과 하늘 사이의 날카로운 선)가 종종 흐릿해진다는 점을 알아차렸습니다. 이를 해결하기 위해 그들은 사물의 윤곽을 특별히 찾아내는 고성능 돋보기와 같은 "에지 강화(edge enhancement)" 모듈을 추가했습니다. 또한, 조사의 맨 처음 단계에서 얻은 선명하고 깨끗한 가장자리를 최종 솔루션에 다시 주입하는 특별한 "스킵 연결(skip connection)"(EASC)을 구축하여 미세한 디테일이 손실되지 않도록 했습니다. 마지막으로, 그들은 "듀얼 헤드(dual-head)" 전략으로 모델을 훈련시켰습니다. 즉, 컴퓨터는 물체가 무엇인지 식별하는 것과 그 윤곽을 완벽하게 그리는 것이라는 두 가지 퍼즐을 동시에 풀어야 합니다. 만약 윤곽을 틀리게 그리면, 컴퓨터는 다시 시도해야 한다는 것을 알게 됩니다.

연구진이 이 새로운 탐정 팀을 두 개의 유명한 항공 이미지 데이터셋(Vaihingen 및 Potsdam)으로 테스트했을 때, 결과는 인상적이었습니다. Vaihengen 데이터셋에서 BMTransUNet은 **98.38%**의 전체 정확도와 **85.33%**의 평균 IoU(mIoU)를 달 achievement 했습니다. 이는 **96.48%**의 정확도와 **78.26%**의 mIoU를 기록한 인기 있는 모델인 TransUNet을 포함한 많은 최상위 모델들보다 뛰어난 성적이었습니다. 이 새로운 모델은 특히 키 큰 나무와 낮은 관목을 구별하거나, 더 큰 물체 사이에 숨겨진 작은 자동차를 찾아내는 것과 같이 까다로운 쌍을 구별하는 데 탁적했습니다.

이 논문은 색상과 높이 정보가 끊임없이 서로 소통하게 함으로써 모델이 훨씬 더 명확한 세계의 이미지를 만들어낸다고 제안합니다. 모델이 더 단순한 버전보다 약간 더 복잡하고 더 많은 컴퓨터 메모리를 사용하지만, 연구진은 그 트레이드오프(trade-off)가 상당한 정확도 향상을 위해 충분히 가치가 있음을 보여줍니다. 그들은 이 접근 방식이 위에서 내려다본 세상을 이해하도록 돕는 강력한 새로운 방법을 제공한다고 결론지었으며, 다만 향후 연구에서 레이더나 텍스트 설명과 같은 더 많은 유형의 데이터를 추가하여 시스템을 더욱 똑똑하게 만들 수 있을 것이라고 언급했습니다.