Multi-Modal Building Inspection via Perceiver IO Fusion of Satellite and Street-Level Imagery

기술 요약: 위성 및 거리 기반 영상 퍼시버 IO 융합을 통한 다중 모달 건물 검사

문제 제기
국가 규모로 건축 환경을 유지하고 보험을 적용하려면 지붕 재질 및 구조 요소와 같은 개별 건물 속성에 대한 상세한 정보가 필요합니다. 전통적인 수동 검사는 비용이 많이 들고 느리며 상당한 탄소 배출을 유발합니다. 원격 감지는 확장 가능한 대안을 제공하지만, 위성 영상에만 의존하면 위에서 보이는 속성으로 분석이 제한되어 중요한 외벽 수준의 세부 사항을 놓치게 됩니다. 반면, 거리 기반 영상은 외벽과 재질의 근접한 뷰를 제공하지만 가림 현상, 불규칙한 커버리지, 일관성 없는 카메라 각도 등의 문제를 겪습니다. 핵심 과제는 각 건물당 가변적인 수의 거리 기반 입력을 처리할 수 있고, 주변 환경의 맥락적 단서를 잃지 않으면서 목표 구조물을 주변 환경에서 분리하며, 다중 레이블 지붕 속성을 공동으로 예측할 수 있는 통합 프레임워크로 위성 및 거리 기반 영상이라는 이질적인 모달리티를 융합하는 데 있습니다.

방법론
저자들은 공유 DINOv2 백본에서 파생된 공간 패치 토큰을 기반으로 작동하는 퍼시버 IO(Perceiver IO) 아키텍처를 중심으로 한 다중 모달 분류 프레임워크를 제안합니다.

• 데이터셋 구성: 10 개 국가에 걸쳐 32,135 개의 건물 (61,672 개의 지붕 세그먼트) 로 구성된 대규모 데이터셋이 구축되었습니다. 각 세그먼트는 단일 위성 영상과 가변적인 수의 거리 기반 뷰 (평균 세그먼트당 4.54 개, 훈련 중 최대 8 개 샘플링) 로 페어링됩니다. 이 데이터셋은 6 가지 지붕 요소 (예: 태양광 패널, dormers) 와 7 가지 지붕 재질 (예: 슬레이트, 비투멘) 을 식별하는 두 가지 다중 레이블 작업을 지원합니다.
• 마스크 전략: 목표 건물을 분리하기 위해 네 가지 전략이 평가되었습니다: (1) 전체 영상, (2) 하드 크로핑 (배경 영영), (3) 인버티드 크로핑 (건물 영영), (4) RGB-M(이진 건물 발자국 마스크를 네 번째 입력 채널로 추가). RGB-M 전략은 모델이 환경적 맥락을 유지하면서 건물에 집중할 수 있게 하는 "소프트 공간 사전"을 제공하여, 사전 훈련된 패치 통계를 방해하는 하드 크로핑보다 우수한 성능을 보였습니다.
• 백본 및 미세 조정: 본 연구는 ResNet-50 과 DINOv2-S 를 비교합니다. 결과는 DINOv2-S 를 완전히 미세 조정하는 것이 선형 프로빙 및 부분 미세 조정보다 훨씬 우수한 성능을 보이며, 자연 이미지에서 항공/거리 기반 건물 이미지로의 도메인 전환은 초기 특징 레이어의 업데이트가 필요함을 시사합니다.
• 융합 아키텍처: 세 가지 융합 전략이 비교되었습니다:
  1. 연결 (Concatenation): 위성 및 최대 풀링된 거리 기반 뷰에서 추출된 글로벌 특징 벡터를 병합합니다.
  2. 특징 벡터 트랜스포머: 글로벌 벡터 시퀀스를 트랜스포머 인코더로 처리합니다.
  3. 퍼시버 IO: 제안된 방법은 두 모달리티의 원시 공간 패치 토큰을 처리합니다. 이는 하나의 위성 영상과 $N$개의 거리 기반 영상에서 온 가변 길이 토큰 시퀀스를 고정 크기의 잠재 표현으로 압축하기 위해 크로스 어텐션을 사용합니다. 이는 세밀한 패치 수준의 정보를 보존하고 패딩이나 자르기 없이 가변적인 입력 수를 자연스럽게 처리합니다.

주요 결과

• 마스크: RGB-M 전략은 두 모달리티와 백본 전반에 걸쳐 일관되게 최고의 성능을 발휘하여, DINOv2-S 를 사용한 위성 영상에서 지붕 요소에 대해 0.939 mAP, 지붕 재질에 대해 0.729 mAP 를 달성했습니다.
• 융합 성능: 퍼시버 IO 융합 모델은 연결 및 특징 벡터 트랜스포머 기준선보다 우수한 성능을 보였습니다. 위성 전용 기준선이 스카이라이트 및 비투멘과 같은 위에서 가장 잘 보이는 클래스로 인해 매크로 평균 mAP 에서 약간의 우위를 유지했지만, 퍼시버 IO 모델은 거리에서 보이는 속성에 대해 상당한 클래스별 향상을 제공했습니다. 주목할 만한 개선 사항으로는 슬레이트 +11.3 AP, 유리 +4.5 AP, dormers +1.3 AP가 있습니다.
• 아키텍처 민감도: 퍼시버 IO 성능은 잠재 벡터 수 ($N_z$) 보다 잠재 차원성 ($D_z$) 에 더 민감한 것으로 나타났습니다. $N_z=128$ 및 $D_z=512$ 구성이 가장 좋은 균형을 제공했습니다.
• 어텐션 분석: Grad-CAM 시각화는 RGB-M 전략이 건물에 초점을 맞추면서 경계 맥락을 활용하는 균형 잡힌 어텐션 패턴을 생성함을 확인시켰습니다. 반면, 굴뚝과 같은 클래스의 경우 어텐션이 때때로 확산되어 모델이 직접적인 국소화 대신 맥락적 단축키에 의존할 수 있음을 시사했습니다.

의의 및 주장
본 논문은 이질적인 입력과 여러 출력 작업을 수용할 수 있는 확장 가능하고 유연한 다중 모달 건물 검사 아키텍처를 확립합니다. 저자들은 기존 연구와 달리 특징 벡터 수준이 아닌 공간 토큰 수준에서 융합함으로써 세밀한 세부 사항을 보존한다고 주장합니다. 또한 퍼시버 IO 사용은 성능 저하 없이 가변적인 수의 거리 기반 뷰를 자연스럽게 처리할 수 있게 합니다.

이 연구는 모달리티가 진정으로 보완적인 뷰를 제공할 때 다중 모달 융합이 가장 가치 있음을 결론지었습니다. 위에서 보이는 클래스의 prevalence 로 인해 위성 전용 모델이 매크로 평균 지표에서 여전히 우위를 점하지만, 융합 접근 방식은 거리 수준의 특정 속성 탐지를 크게 향상시킵니다. 저자들은 향후 작업으로 카메라 메타데이터를 기하학적 임베딩으로 인코딩하고, 패치 수준의 마스크를 위해 토큰 기반 아키텍처를 활용하며, 프레임워크를 다중 작업 학습 (분할 및 회귀) 으로 확장하는 것을 제안합니다.