Align and Segment: Unsupervised Learning for Building Segmentation From Misaligned Labels

기술 요약: 정렬 및 분할 (Align and Segment, AnS)

문제 정의
이미지 분할을 위한 지도 학습은 일반적으로 공간적으로 정렬된 이미지와 레이블 세트를 필요로 합니다. 그러나 원격 탐사 및 기타 도메인에서는 레이블이 이미지(예: 위성 또는 드론)와 다른 출처(예: OpenStreetMap, 크라우드 소싱 데이터)에서 유래하는 경우가 많아, 상당한 공간적 불일치가 발생합니다. 이러한 불일치는 모델 성능을 심각하게 저하시킬 수 있는 레이블 노이의 한 형태인 레이블 노이즈로 작용합니다.

본 연구에서 식별된 핵심 과제는 잘못된 정사 보정(orthorectification)이나 토지 대장 불일치로 인해 발생하는 일관된 변위(translation error)와 같은 **체계적 불일치(systematic misalignment, 편향된 노이즈)**입니다. 표준 세그멘테이션 네트워크는 이러한 불일치된 레이블을 그대로 학습할 수 있는 충분한 용량을 가지고 있어, 실제 기저의 분할을 학습하는 대신 노이즈가 있는 레이블을 직접 예측함으로써 학습 과정을 "지름길(shortcut)"로 가로채는 현상이 발생합니다. 이 문제에 대한 기존 접근 방식은 대개 미세하고 편향되지 않은 불일치를 가정하거나, "골든(golden)" 레이블(깨끗한 정답 레이기)을 감독을 위해 요구하지만, 고품질 건물 데이터가 부족한 많은 실제 시나리오에서 이러한 데이터는 매우 희귀합니다.

방법론: 정렬 및 분할 (AnS)
저자들은 골든 레이블 없이도 레이블 정렬과 의미론적 분할을 동시에 학습할 수 있는 모델 불가지론적(model-agnostic)인 비지도 학습 프레임워크인 **Align and Segment (AnS)**를 제안합니다. 이 아키텍처는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 분할 네트워크 (SNet): 입력 이미지를 확률적 분할 마스크로 매핑하는 표준 의미론적 분할 네트워크(예: ConvNeXt 인코더를 갖춘 U-Net)입니다.
2. 변환 네트워크 (TNet): 공간 변환 네트워크(STN)에서 영감을 받은 경량 모듈입니다. 이는 불일치된 레이블 마스크와 SNet의 예측 분할 마스크를 입력으로 받아 아핀 변환(affine transformation) 파라미터($\hat{\theta}$)를 예측합니다. 이 변환은 불일치된 레이블에 적용되어 재정렬된 마스크($I_{\hat{y}a}$)를 생성합니다.

SNet이 불일치된 레이벨을 직접 학습하는 것(지름길 학습)을 방지하고 TNet이 올바른 변환을 학습하도록 하기 위해, 저자들은 두 가지 핵심 메커니즘을 도입했습니다:

• 일관성 손실 ($L_{Con}$): 자기 지도 학습 기반의 정규화 항입니다. 시스템은 불일치된 레이블에 알려진 무작위 변환을 적용하고 이를 TNet에 입력합니다. TNet이 이 알려진 변환의 역변환을 예측하지 못할 경우 페널티를 받습니다. 결정적으로, 이 손실은 SNet의 출력과 독립적이므로, T-Net이 SNet의 잠재적으로 노이즈가 있는 예측에 의존하는 대신 두 분할 마스크 간의 관계를 바탕으로 정렬을 학습하도록 강제합니다.
• 데이터 증강 (Data Augmentation): 체계적 편향(예: 일정한 50픽셀 이동)에 대응하기 위해, 저자들은 이미지와 불일치된 레이블 쌍 모두에 기하학적 증강(플립, 회전)을 적용합니다. 이를 통해 기대값 측면에서 변위 편향이 제거되도록 하여, 모델이 실제 정렬이 아닌 편향 자체를 학습하는 지역 최적점(local optimum)에 빠지는 것을 방지합니다.

전체 훈련 목적 함수는 재정렬된 레이블과 SNet 예측 사이의 표준 교차 엔트로피 손실과 일관성 손실을 결합합니다.

주요 기여

1. 새로운 방법론: 골든 레이블을 요구하거나 편향되지 않은 변환을 가정하지 않고도, 기존의 모든 의미론적 분할 네트워크를 사용하여 불일치된 레이블로부터 직접 학습할 수 있게 하는 플러그 앤 플레이(plug-and-play) 방식인 AnS를 제안했습니다.
2. 분리 전략: 자기 일관성 손실과 특정 데이터 증강을 결합하는 것이 지름길 학습을 효과적으로 완화하여, 네트워크가 정렬 수정과 분할 예측을 성공적으로 분리할 수 있음을 입증했습니다.
3. 실증적 검증: 합성 및 실제 데이터셋(Las Vegas, Paris, Khartoum, San Juan, 그리고 다중 도시 ReBO 데이터셋)에 대한 광범위한 실험을 통해, AnS가 다양한 도시, 건물 밀도 및 노이즈 수준(무작위 및 체계적 노이즈 모두)에 걸쳐 일반화됨을 보여주었습니다.

결과

• 성능: 체계적 편향이 있는 합성 데이터셋($D_{bias}$)에서, AnS는 비지도 학습 베이스라인(Map Alignment, AutoCorrect, Spatial Correction)보다 성능이 우수했으며, 일반적으로 깨끗한 레이블이나 특정 훈련 조건을 요구하는 지도 학습 베이스라인(MapRepair, Alignment Correction Network)과 비교해도 경쟁력 있는 결과를 달양했습니다.
• 강건성: 무작위 노이즈 시나리오에서는 최대 100픽셀, 체계적 편향 시나리오에서는 약 70픽셀의 불일치 크기까지도 견고함을 유지했습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 일관성 손실과 데이터 증강이 서로 보완적임을 확인했습니다. 둘 중 하나라도 제거하면, 특히 체계적 편향이 있는 설정에서 성능 저하가 발생했습니다.
• 실제 응 Anwendungen: OpenStreetMap 건물 풋프린트와 WorldView-3 이미지를 결방하여 적용했을 때, AnS는 불일치를 성공적으로 수정했습니다. 결과물인 분할 마스크에서 일부 흐릿함(레이블 자체의 오류 및 특화된 경계 손실의 부재로 기인)이 나타났으나, 정렬 변환은 정확하게 추정되었습니다.

의의
본 논문은 독립적인 이미지와 기존 풋프린트 데이터(OpenStreetMap 또는 Google Open Buildings 등) 사이의 불일치가 이러한 가치 있는 수기 큐레이션 데이터셋을 딥러닝 모델 훈련에 대규모로 활용하는 데 있어 주요한 병목 현상임을 주장합니다. 고품질 건물 분할과 정밀한 레이블-이미지 정렬을 "골든" 레이블 없이도 동시에 학습할 수 있음을 입증함으로써, AnS는 광범적인 커버리지를 가진 저렴하고 고품질인 건물 풋프린트 데이터를 생성할 수 있는 경로를 제시합니다. 이는 특히 큐레이션된 데이터가 부족한 비공식 거주지의 도시 계획 및 리스크 평가 분야에서 매우 중요합니다. 본 연구는 정렬과 분할의 공동 학습이 실현 가능할 뿐만 아니라, 방대한 양의 기존 (비록 불일치되어 있을지라도) 지형 공간 데이터를 활용하기 위해 필수적임을 확립했습니다.