PolyBuild: An End-to-End Method for Polygonal Building Contour Extraction from High-Resolution Remote Sensing Images

기술 요약: PolyBuild

문제 정의
고해 resolución 원격 탐사 이미지에서 벡터화된 건물 폴리곤 윤곽선을 추출하는 것은 매핑, 도시 모델링 및 재구성에 매우 중요합니다. 그러나 이 작업은 다양한 영상 조건, 복잡한 건물 구조, 나무나 그림자와 같은 장애물로 인해 상당한 어려움에 직면해 있습니다. 주류 방식은 일반적으로 픽셀 수준의 시맨틱 세그멘테이션(semantic segmentation)을 수행한 후 후처리 벡터화를 거칩니다. 이러한 방법들은 종종 거칠고 울퉁불퉁한 윤곽선을 생성하며, 폐쇄(occlusion) 문제에 취약하고 직접적인 벡터 정보를 제공하지 못합니다. 윤곽선 기반 방식은 정점(vertex) 회귀를 통해 더 직접적인 접근 방식을 제공하지만, 기존 솔루션들은 다음과 같은 한계를 가집니다. 일부는 실제 타겟과 거리가 먼 지나치게 단순한 초기 윤곽선(예: 바운딩 박스 또는 타원)에 의존하며, 다른 방식은 제한된 중심점 특징에 의존하여 회귀 거리가 증가함에 따라 오차가 누적됩니다. 또한, 많은 방법이 윤곽선 정점 간의 전역적 공간 관계를 포착하는 능력이 부족하여 부정확한 회귀 오프셋을 초-래합니다.

방법론
본 논문은 후처리가 필요 없는 건물 벡터 폴리곤을 직접 추출하는 엔드 투 엔드(end-to-end) 프레임워크인 PolyBuild를 제안합니다. 아키텍처는 두 가지 주요 모듈로 구성됩니다:

1. 초기 윤곽선 생성 모듈 (ICGM):

   • 단일 건물 중심점에 의존하는 대신, ICGM은 각 건물 인스턴스에 대한 바운딩 박스(bbox)를 먼저 예측하고 이를 네 개의 하위 영역(좌상, 우상, 좌하, 우하)으로 나눕니다.
   • 네 개 하위 영역의 중심부로부터 특징을 추출하고 이를 결합(concatenate)합니다.
   • 이 결합된 특징들은 정점 오프셋(vertex offsets)을 회귀하는 데 사용됩니다. 이 오프셋들은 각각의 하위 영역 중심점에 더해져 초기 윤곽선을 생성합니다.
   • 이 접근 방식은 더 풍부한 건물 정보를 활용하고 단일 중심점 방식에 비해 회귀 거리를 줄여, 더 안정적이고 정밀한 초기 외곽선을 생성합니다.
   • 이 모듈은 DLA-34 백본, 중심점 예측 헤드(Focal Loss로 학습), bbox 파라미터 예측 헤드(Smooth L1 Loss로 학습), 그리고 오프셋 예측 헤드를 사용합니다.

2. 윤곽선 최적화 모듈 (COM):

   • ICGM에 의해 생성된 초기 윤곽선은 종종 거칠기 때문에 정교화가 필요합니다. COM은 하이브리드 CNN-Transformer 아키텍처를 채택하여 세 번의 반복(iteration)을 통해 윤곽선을 반복적으로 최적화합니다.
   • 조대 조정 (Coarse Adjustment): 윤곽선 정점과 하위 영역 중심점의 결합된 특징을 사용하여 예비적인 전역 조정을 수행합니다.
   • 정밀 최적화 (Fine Optimization): COM의 핵심은 Transformer 디코더를 사용합니다. 이는 로컬 윤곽선 특징(원형 컨볼루션을 통해 추출됨)과 정점 위치 정보를 입력으로 받습니다. Transformer의 셀프 어텐션(self-attention) 메커니즘은 모델이 전역 정점을 쿼리하고 서로 다른 위치에 있는 정점 간의 의존성을 구축할 수 있게 하여, 로컬 및 전역 공간 관계를 모두 포착합니다.
   • 손실 함수 (Loss Functions): 처음 두 번의 최적화 반복은 Smooth L1 손실을 사용하여 감독됩니다. 세 번째 반복은 예측된 정점을 가장 가까운 지면 진실(ground truth) 경계점과 정렬하고, 특히 위상적 정확성을 보장하기 위해 코너 정점을 타겟팅하는 **동적 매칭 손실(Dynamic Matching Loss, DML)**을 사용합니다.

주요 기여

• 엔드 투 엔드 프레임워크: PolyBuild는 건물 탐지와 윤곽선 추출의 병렬 구현을 가능하게 하여 별도의 후처리 단계가 필요하지 않습니다.
• 새로운 초기 윤곽선 생성: 본 논문은 단일 중심점이 아닌 결합된 하위 영역 중심 특징을 사용하는 ICGM을 도입했습니다. 이 전략은 더 풍부한 윤곽선 정보를 제공하며 후속 최적화의 복잡성을 크게 줄여줍니다.
• CNN-Transformer 통합: 윤곽선 최적화 모듈(COM)은 로컬 특징 추출을 위한 CNN과 전역 의존성 모델링을 위한 Transformer를 혁신적으로 통합합니다. 이를 통해 네트워크는 연관된 정점을 자동으로 쿼리하고 인덱싱할 수 있으며, 고정된 컨볼루션 커널이나 RNN에만 의존하는 방법보다 윤곽선 오류를 더 정확하게 수정할 수 있습니다.
• 최첨단 성능 (State-of-the-Art): 광범ening한 실험을 통해 PolyBuild가 여러 데이터셋에서 기존의 마스크 기반 및 윤곽선 기반 방법들을 능가함을 입증했습니다.

실험 결과
저자들은 WHU 항공 건물 데이터셋, WHU-Mix (Vector) 건물 데이터셋, Crowd AI 데이터셋의 세 가지 데이터셋에서 PolyBuild를 평가했습니다.

• WHU 항공 데이터셋: PolyBuild는 **74.0%**의 AP(Average Precision)와 **80.7%**의 AR(Average Recall)을 달 기록하였으며, 이는 두 번째로 우수한 윤곽선 기반 방식(Line2Poly, 73.8% AP)을 앞질렀고, Mask R-CNN(65.3% AP)과 같은 마스크 기반 방식보다 크게 뛰어난 성능을 보였습니다.
• WHU-Mix 데이터셋: 도전적이고 다양한 WHU-Mix 데이터셋에서 PolyBuild는 53.5 mAP와 62.2 mAR을 달성하여, 가장 우수한 마스크 기반 방식보다 0.6 AP, 가장 우수한 윤곽선 기반 방식보다 0.9 mAP 높은 성능을 보였습니다. 또한 지리적으로 분리된 Test Set II에서도 높은 정확도를 유지하여 강력한 일반화 능력을 입증했습니다.
• Crowd AI 데이터셋: PolyBuild는 60.6% AP를 달성하여 PolyMapper(55.7% AP)를 포함한 다른 방법들을 능가했습니다.
• 어블레이션 연구 (Ablation Studies): 실험 결과, ICGM 전략(네 개의 하위 영역 특징 결합)이 가장 정확한 초기 윤곽선을 생성함을 확인했습니다. 또한, COM 모듈의 포함이 최종 윤곽선 정확도를 크게 향상시켰으며, 전체 모델은 베이스라인 대비 2.0%의 AP 증가를 보여주었습니다.
• 효율성: 복잡한 아키텍처에도 불구하고, PolyBuild는 30.3M의 파라미터 수를 가지며 RTX 2080 Ti GPU를 사용하여 512×512 이미지에 대해 30.46 FPS의 추론 속도를 달성합니다.

의의 및 주장
본 논문은 PolyBuild가 직접적인 엔드 투 엔드 솔루션을 제공함으로써 현재의 건물 추출 방식의 근본적인 한계를 해결한다고 주장합니다. 픽셀 수준의 세그멘테이션과 단일 지점 회귀에서 벗어남으로써, 특히 복잡한 건물 형태와 폐쇄 상황을 처리할 때 더 높은 정밀도와 견고함을 달성합니다. 저자들은 CNN과 Transformer 아키텍처의 통합이 정점 위치와 그 상호 의존성에 대한 더 나은 이해를 가능하게 하여 고품질의 경계 묘사를 이끌어낸다고 강조합니다. 이 방법은 정확한 인스턴스 수준의 건물 윤곽선이 필요한 다운스트림 측량 및 매핑 애플리케이션을 위한 중요한 진보로 제시됩니다. 저자들은 PolyBuild가 견고하지만, 그 성능이 여전히 초기 객체 탐지 단계에 의존한다는 점을 인정하며, 향후 연구에서 복잡한 위상을 가진 심하게 폐쇄된 영역의 재구성을 더욱 개선하기 위해 Transformer와 RNN을 통합하는 방향을 탐색할 수 있다고 언급했습니다.