Building Change Detection in Earthquake: A Multi-Scale Interaction Network and A Change Detection Dataset

기술 요약: 지진 발생 시 건물 변화 탐지: 다중 스케일 상호작용 네트워크 및 변화 탐지 데이터셋

문제 정의
지진은 막대한 건물의 붕괴와 인명 피해를 야기하며, 이는 긴급 구조 작업을 위한 신속하고 신뢰할 수 있는 피해 평가를 필요로 한다. 다중 시기 원격 탐사(RS) 영상을 이용한 변화 탐지(Change Detection, CD)는 이러한 목적을 위한 핵심적인 도구이다. 심층 신경망(DNN) 기반의 방법론들은 일반적인 CD 작업에서 인상적인 성능을 달elle 성을 달성해 왔으나, 지진 발생 직후의 짧은 영상 촬영 간격을 가진 포스트 이벤트 시나리오에 적용될 때는 상당한 한계에 직면한다. 예를 들어, 재난 발생 후 며칠 이내에 포스트 이벤트 영상이 획득되는 경우, 전(pre) 이벤트와 후(post) 이벤트 영상 사이의 촬영 각도 차이로 인해 "사이드 룩킹(side-looking)" 문제가 발생한다. 이러한 기하학적 불일치는 특히 고층 건물이 밀집된 지역에서 공간적 정렬 오류를 유발하여 기존 CD 방법론의 정확도를 저하시킨다. 또한, 단기적인 재난 구호에 특화된 방법론을 개발하고 평가하는 데 필요한 전문화된 데이터셋의 부재는 발전을 저해하고 있다.

방법론: MSI-Net
이러한 과제를 해결하기 위해, 저자들은 오프셋 보정 기능이 포함된 다중 스케일 특징 상호작용 네트워크(Multi-Scale Feature Interaction Network with Offset Calibration, MSI-Net)를 제안한다. 이 아키텍처는 두 시기의 원격 탐사 영상으로부터 다중 스케일 특징을 추출하기 위해 가중치 공유 방식의 사이미즈(Siamese) 인코더(ResNet-18 기반)를 기반으로 구축되었다. 네트워크는 세 가지의 새로운 모듈을 통합한다:

1. 결합 교차 주의(Joint Cross-Attention, JCA) 모듈: 서로 다른 스케일의 두 시기 특징 간에 충분한 상호작용을 촉진하도록 설계되었다. 이는 두 개의 서브 블록으로 구성된다:

   • 채널 교차 주의(Channel Cross-Attention, CCA): 교차 시기 주의 맵을 계산함으로써 시간적 영상 간의 정보 교환을 강화하고 특징 분포를 더 유사하게 만든다.
   • 공간 결합 주의(Spatial Joint Attention, SJA): 교차 주의와 자기 주의(self-attention) 메커니니즘을 모두 활용하여 공간적 세부 분포를 탐색하고 장거리 의존성을 포착한다. 두 시기 영상의 쿼리(query)를 결합하여 자기 주의와 교차 주의를 동시에 달성함으로써 글로벌 공간 관계를 효과적으로 모델링한다.
   • 참고: 의미론적 정보가 적은 얕은 층의 특징(shallow features)은 JCA 모듈을 거치지 않고 보정 모듈로 직접 전달된다.

2. 다중 스케일 오프셋 보정(Multi-Scale Offset Calibration, MOC) 모듈: 이 모듈은 사이드 룩킹 불일치 문제를 구체적으로 겨냥한다. 이 모듈은 두 시기의 특징을 컨볼루션(convolution)하고 결합함으로써 특징 간의 오프셋 필드를 추정한다. 이 오프셋 필드를 사용하여, 모듈은 양선형 보간법(bilinear interpolation)을 통한 적응형 정렬을 수행함으로써 서로 다른 촬영 각도로 인해 발생하는 공간적 불일치를 교정한다. 이 보정 과정은 사이드 룩킹 이슈가 변화 탐지 정확도에 미치는 부정적인 영향을 완화한다.

3. 특징 통합(Feature Integration, FeI) 모듈: 이 모듈은 MOC 모듈에서 보정된 특징을 JCA 모듈의 다중 스케일 특징과 융합한다. 최종 변화 맵 예측을 위해 특징들을 결합하기 전, 투영(projection) 메커니즘을 사용하여 불일치를 줄인다.

네트워크는 변화된 픽셀과 변화되지 않은 픽셀 사이의 클래스 불균형 문제를 해결하기 위해 가중치 교차 엔트로피 손실 함수(weighted cross-entropy loss function)를 사용하여 최적화된다.

주요 기여
본 논문은 세 가지 주요 기여를 제시한다:

1. TUE-CD 데이터셋: 저자들은 지진 발생 후 단기간 내 건물 피해를 평가하기 위해 특별히 설계된 새로운 변화 탐지 데이터셋인 터키 지진 CD 데이터셋(TUE-CD)을 구축하였다. 이 데이터셋은 2023년 2월 6일 발생한 규모 7.8의 터키 지진 후 5일 이내에 WorldView-2 위성으로 촬영된 256×256 크기의 쌍을 이루는 1,656개의 두 시기 원격 탐사 영상 쌍을 포함한다. 이 데이터셋은 사이드 룩킹 불일치가 포함된 샘플을 명시적으로 포함하여, 단기 재난 평가를 위한 벤치마크를 제공한다.
2. MSI-Net 아키텍처: JCA, MOC, FeI 모듈의 통합을 통해 사이드 룩킹 이슈의 영향을 억제하고, 서로 다른 시기의 원격 탐사 영상으로부터 특징의 정렬을 개선하도록 설계된 전용 네트워크를 제안한다.
3. 새로운 모듈 설계: 충분한 특징 상호작용을 위한 JCA 모듈(공간 결합 및 채널 교차 주의 결합)과 두 시기 특징의 정확한 공간 보정을 통한 공간적 불일치 완화를 위한 MOC 모듈의 설계를 제시한다.

실험 결과
저자들은 WHU-CD(건물 변화), CLCD(경작지 변화), 그리고 새로 구축된 TUE-CD의 세 가지 데이터셋에 대해 광범한 실험을 수행하였다. MSI-Net은 9가지의 최신 DNN 기반 CD 방법론(FC-EF, BIT, GAS-Net, HANet 포함)과 비교되었다.

• WHU-CD: MSI-Net은 정밀도(Precision, 96.66%), mF1(95.58%), mIoU(91.81%), 그리고 전체 정확도(Overall Accuracy, 99.27%)에서 최고의 성능을 달성하였다.
• CLCD: MSI-Net은 재현율(Recall), mF1, mIoU, 그리고 OA에서 가장 높은 점수를 기록하였으며, 두 번째로 우수한 방법인 HANet보다 mF1에서 0.6% 앞섰다.
• TUE-CD: 심각한 사이드 룩킹 이슈가 존재하는 도전적인 지진 시나리오에서, MSI-Net은 최고의 mF1(78.02%), mIoU(68.48%), OA(96.16%)를 달성하였다. 이는 두 번째로 우수한 방법인 AMTNet보다 각각 mF1에서 1.13%, mIoU에서 1.24% 향상된 수치이다.
• 절제 연구(Ablation Studies): 실험을 통해 JCA, MOC, 또는 FeI 모듈 중 하나라도 제거하면 성능 저하가 발생함을 확인하였다. 구체적으로, MOC 모듈을 제거하면 교정되지 않은 사이드 룩킹 불일치로 인해 경계선이 흐릿해지고 변화 영역이 불완전해지는 결과가 나타났으며, JCA를 제거하면 무관한 영역에 대한 잘못된 추정이 발생하였다.

의의 및 주장
본 논문은 MSI-Net이 기존의 최신 방법들과 비교하여, 특히 사이드 룩킹 불일치가 빈번한 짧은 영상 촬영 간격의 포스트 이벤트 시나리오에서 더욱 효과적인 포스트 지진 건물 피해 평가 솔루션을 제공한다고 주장한다. TUE-CD 데이터셋을 도입함으로써, 저자들은 단기 재난 대응을 위한 가용 데이터의 공백을 메우고자 한다. 제안된 네트워크의 효율적인 두 시기 특징 상호작용 및 공간 오프셋 보정 능력은 더 완전한 경계 정보를 생성하고 복잡한 재난 시나리오에서 허위 양성(false positives)을 줄일 수 있게 한다. 결과적으로 MSI-Net은 지진 발생 직후의 긴급 구호 활동을 위한 견고한 도구임을 시사한다.