BuildMamba: A Visual State-Space Based Model for Multi-Task Building Segmentation and Height Estimation from Satellite Images

"BuildMamba: 위성 영상으로부터의 다중 작업 건물 분할 및 높이 추정을 위한 시각적 상태 공간 기반 모델"의 기술적 요약

문제 제기
단일 뷰 RGB 위성 영상으로부터의 정확한 건물 분할 및 높이 추정은 도시 계획, 인프라 모니터링, 위험 평가 등을 포함한 도시 분석에 필수적입니다. 그러나 이 작업은 3D 구조를 가리는 거의 수직 촬영 기하학과 질감 및 그림자 같은 간접적인 외관 단서에 대한 의존성으로 인해 본질적으로 잘못 설정된 (ill-posed) 문제입니다. 단일 이미지 깊이 아키텍처를 종종 적응시키는 기존 접근 방식은 다음과 같은 여러 한계를 겪습니다:

• 구조적 약점: 이미지 질감과 높이 사이의 암시적 상관관계에 자주 의존하며, 건물 형태의 명시적 구조적 이해가 부족합니다.
• 아티팩트: 일반적인 문제로는 경계 번짐, 고층 구조물의 체계적 과소 추정, 균일한 지붕 질감과 조명 변화에 대한 민감성이 포함됩니다.
• 보조 데이터 의존성: 많은 견고한 방법은 추론 시 종종 사용 불가능한 보조 모달리티 (예: SAR, LiDAR, DSM) 나 보조 지도 (예: 토지 이용 마스크) 를 필요로 하여 RGB 전용 환경에서의 확장성을 제한합니다.
• 계산적 트레이드오프: 전통적인 Transformer 를 통한 글로벌 모델링은 이차적 계산 복잡도를 초래하는 반면, CNN 은 장거리 의존성에 어려움을 겪습니다.

방법론: BuildMamba
저자들은 오직 RGB 입력만을 사용하여 건물 분할과 높이 추정을 동시에 수행하도록 설계된 통합 다중 작업 프레임워크인 BuildMamba를 제안합니다. 이 아키텍처는 글로벌 컨텍스트 모델링과 계산 효율성 사이의 균형을 맞추기 위해 시각적 상태 공간 백본 (VMamba) 을 기반으로 구축되었습니다. 이 프레임워크는 네 가지 주요 구성 요소로 구성됩니다:

1. 시각적 상태 공간 백본 (VMamba):
   표준 어텐션 메커니즘 대신, 모델은 2D 시각 데이터에 대해 일반화된 선택적 상태 공간 모델 (S6) 을 활용합니다. 이는 특징 맵을 서로 다른 방향으로 이동하는 네 가지 고유한 시퀀스로 이미지 패치를 펼치는 **크로스 스캔 모듈 (CSM)**을 사용합니다. 이를 통해 모델은 공간적 국소성을 유지하면서 선형 계산 복잡도 ($O(N)$) 로 장거리 글로벌 의존성을 포착하여 Transformer 의 효율성 병목 현상을 해결합니다.

2. Mamba 어텐션 모듈 (MAM):
   각 인코더 단계의 출력에 통합된 MAM 은 공간적 중요도를 동적으로 재조정합니다. 적응형 평균 풀링을 통해 높이 및 너비 차원을 따라 특징을 처리하여 유익한 영역을 강조하고 노이즈를 억제하는 어텐션 맵을 생성합니다. 이는 듀얼 패스 인코더가 추출한 로컬 및 글로벌 특징의 융합을 향상시킵니다.

3. 공간 인식 Mamba-FPN (S-MambaFPN):
   장거리 의존성 전파에서 표준 특징 피라미드 네트워크 (FPN) 의 한계를 해결하기 위해, 저자들은 정제 연산자를 게이트된 상태 공간 스캔으로 대체합니다. 이 모듈은 베이스라인 Mamba 브랜치와 로컬 및 중거리 단서를 포착하기 위해 깊이별 합성곱 (3×3 및 7×7) 을 사용하는 공간 인식 스캔 브랜치를 결합합니다. 출력은 요소별 곱셈을 통해 결합되어, 네트워크가 각 피라미드 수준에서 공간적 증거와 장거리 컨텍스트를 융합할 수 있게 합니다.

4. 마스크 인식 높이 정제 (MHR):
   이 모듈은 분할과 높이 추정 간의 비대칭성을 활용합니다. 분할 마스크는 종종 더 빠르게 수렴하며 더 신뢰할 수 있는 구조적 경계를 제공합니다. MHR 모듈은 분할 마스크를 구조 인식 신뢰도 사전 지식으로 취급합니다. 원시 높이 예측과 분할 마스크를 2 채널 입력으로 받아 잔차 높이 보정을 예측합니다. 게이트된 업데이트 함수는 분할 신뢰도에 기반하여 이 잔차를 조절하여 저질감 영역에서 높이 아티팩트 (스펙클 노이즈) 를 효과적으로 억제하고, 높이를 마스크의 사소한 함수로 붕괴시키지 않으면서 경계를 선명하게 합니다.

손실 함수
이 프레임워크는 복합 목적 함수로 훈련됩니다:

• 분할 손실: 클래스 불균형을 처리하기 위한 크로스 엔트로피와 Dice 손실의 혼합, 그리고 구조적 일관성을 강제하기 위한 라플라시안 엣지 맵을 사용한 경계 인식 항을 포함합니다.
• 회귀 손실: 높이 추정을 위해 아웃라이어와 건물의 긴 꼬리 분포를 처리하기 위해 Huber 손실이 사용되며, 이는 미분 가능성을 유지하면서 극단적인 값이 기울기를 불안정하게 하는 것을 방지합니다.

주요 기여
이 논문은 다음과 같은 기여를 주장합니다:

• 통합 RGB 전용 프레임워크: DSM 또는 SAR 과 같은 보조 모달리티의 필요성을 제거하고 구조적 제약을 통해 분할과 높이 회귀를 명시적으로 결합한 다중 작업 모델.
• 새로운 아키텍처 모듈: 글로벌 - 로컬 특징 상호작용 및 다중 스케일 집적을 향상시키기 위한 Mamba 어텐션 모듈 (MAM) 과 공간 인식 Mamba-FPN (S-MambaFPN) 의 통합.
• 마스크 인식 정제: 회귀 아티팩트를 정제하고 높이 잔차를 보정하기 위해 분할 출력을 신뢰도 사전 지식으로 사용하는 특정 모듈.
• 경계 인식 전략: 건물 가장자리를 따라 높이 불연속성을 강조하여 경계 평활화를 줄이는 손실 전략.

실험 결과
BuildMamba 는 DFC19, DFC23, 그리고 다양한 도시 환경, 오표시, 누락 데이터를 특징으로 하는 까다로운 Huawei BHE 데이터셋 등 세 가지 벤치마크에서 평가되었습니다.

• 분할 성능: BuildMamba 는 DFC19 에서 0.90의 SOTA IoU 점수를, DFC23 에서 0.93의 IoU 점수를 달성했습니다. 복잡한 Huawei BHE 데이터셋에서는 0.60의 IoU 를 달성하여 두 번째로 좋은 모델 (UANet) 보다 7.0% 더 높은 성능을 보였습니다.
• 높이 추정 성능: 이 모델은 DFC19 에서 1.06m의 RMSE 를, DFC23 에서 1.77m의 RMSE 를 달성했습니다. Huawei BHE 데이터셋에서는 9.23m의 RMSE 와 0.806 의 $\delta_1$ 정확도를 달성했습니다.
• 비교: 이 모델은 UANet, FarSeg++, DSMNet, HTC-DC 와 같은 베이스라인을 일관되게 능가했습니다. 특히 DFC23 에서 RMSE 기준으로 이전 최고의 RGB 전용 방법 (HTC-DC) 보다 약 31.6% 더 높은 성능을 보였습니다.
• 절대 실험: 실험은 각 구성 요소 (VMamba 백본, MAM, S-MambaFPN, MHR) 가 점진적으로 성능에 기여함을 확인했습니다. Mamba 백본은 ResNet-101 및 Swin-S 백본에 비해 더 나은 정확도 - 복잡도 트레이드오프를 제공하는 것으로 나타났습니다.

의의 및 주장
저자들은 BuildMamba 를 글로벌 컨텍스트와 계산 효율성 사이의 트레이드오프를 특히 다루는 단일 이미지 위성 기반 높이 추정의 특정 문제에 대한 해결책으로 위치시킵니다. 이 논문은 시각적 상태 공간 모델을 활용함으로써 BuildMamba 가 RGB 전용 방법의 새로운 성능 상한선을 확립한다고 주장합니다. 그 의의는 보조 데이터에 의존하지 않고 다양하고 약하게 레이블이 지정된 실제 시나리오에서 견고하고 구조적으로 일관된 예측을 제공할 수 있는 능력에 있으며, 이를 통해 단일 뷰 영상으로부터 확장 가능한 3D 도시 재구성을 가능하게 합니다. 저자들은 이 작업이 이전의 예비 프레임워크의 상당히 확장된 버전이며, 여러 데이터셋에 걸쳐 확장성과 견고성에 대한 더 엄격한 분석을 제공한다고 언급합니다.