Towards Realistic Open-Vocabulary Remote Sensing Segmentation: Benchmark and Baseline

논문 요약: 현실적인 오픈 보카불러리 원격 탐지 분할을 위한 벤치마크와 베이스라인

1. 문제 정의 (Problem)

원격 탐사 (Remote Sensing, RS) 분야에서 오픈 보카불러리 분할 (Open-Vocabulary Semantic Segmentation, OVRSIS) 은 훈련 시 정의되지 않은 새로운 객체 클래스를 텍스트 프롬프트를 통해 식별하고 분할하는 것을 목표로 합니다. 그러나 현재 OVRSIS 연구는 다음과 같은 심각한 한계에 직면해 있습니다.

• 데이터의 파편화와 부족: 기존 연구들은 iSAID, Potsdam 등 제한된 소규모 데이터셋에 의존하며, 클래스 불균형과 장면 다양성이 부족합니다.
• 부적절한 벤치마크: 자연 이미지 (Natural Images) 를 위해 설계된 기존 모델 (CLIP 등) 을 원격 탐사 이미지 (상향식 관점, 다양한 회전, 복잡한 배경) 에 직접 적용하면 성능이 급격히 저하됩니다. 또한, 실제 지리 공간 응용 (건물 추출, 홍수 감지 등) 을 반영하는 표준화된 평가 프로토콜이 부재합니다.
• 기존 방법론의 비효율성: 이전 연구 (예: RSKT-Seg) 는 여러 외부 인코더를 사용하여 도메인 적응을 시도했으나, 이는 계산 비용이 높고 메모리 효율성이 낮았습니다.

2. 제안 방법 (Methodology)

이 논문은 OVRSISBenchV2라는 새로운 대규모 벤치마크와 Pi-Seg라는 효율적인 베이스라인 모델을 제안합니다.

가. OVRSIS95K (대규모 훈련 데이터셋)

• 규모: 약 95,000 개의 이미지 - 마스크 쌍으로 구성되며, 35 개의 공통 의미론적 카테고리를 포함합니다.
• 다양성: 도시 (town), 산업 (industrial), 숲 (forest), 수변 (waterfront), 황무지 (wasteland) 등 5 가지 대표 원격 탐사 장면을 포괄합니다.
• 구축 프로세스: 캡션 기반 카테고리 생성, 마스크 제안 추출, 인간 검증 (Human Audit) 을 포함한 확장 가능한 반자동 주석 파이프라인을 사용하여 고품질 데이터를 구축했습니다.

나. OVRSISBenchV2 (새로운 벤치마크)

• 확장: OVRSIS95K 와 10 개의 하위 평가 데이터셋을 통합하여 총 17 만 개 이상의 이미지와 128 개의 카테고리를 포함합니다.
• 평가 프로토콜: 표준 오픈 보카불러리 분할뿐만 아니라, 건물 추출, 도로 추출, 홍수 감지와 같은 실제 응용 지향적인 태스크를 포함하여 현실적인 배포 시나리오를 평가합니다.

다. Pi-Seg (베이스라인 모델)

• 핵심 아이디어: 여러 무거운 외부 인코더를 추가하는 대신, 의미론적 유도 잡음 (Semantically Guided Perturbation) 메커니즘을 통해 시각 - 텍스트 특징 공간의 전이성 (Transferability) 을 향상시킵니다.
• 아키텍처:
  1. Text-SPM (Text Semantic Perturbation Module): 학습 가능한 잔류 잡음을 텍스트 임베딩에 주입하여 카테고리 의미의 이웃을 확장하고 어휘 편향을 줄입니다.
  2. Image-SPM (Image Semantic Perturbation Module): 텍스트 브랜치에서 유도된 의미 정보를 통해 시각 특징에 공간적으로 적응적인 잡음을 생성합니다. 이는 객체 경계를 해치지 않으면서 시각 - 텍스트 정렬을 강화합니다.
  3. Cost Aggregation: 교란된 특징을 기반으로 밀도 비용 맵 (Cost Map) 을 생성하고, 공간 및 클래스 집합을 통해 노이즈를 필터링하여 최종 분할 결과를 도출합니다.
• 장점: RSKT-Seg 와 달리 추가적인 무거운 인코더 없이도 경량화되어 있으며, 회전 불변성과 복잡한 배경에서의 강건성을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. OVRSIS95K 구축: 원격 탐사 오픈 보카불러리 분할을 위한 대규모이고 균형 잡힌 훈련 기반을 제공하여 데이터 희소성과 클래스 불균형 문제를 해결했습니다.
2. OVRSISBenchV2 제안: 17 만 개 이상의 이미지와 128 개 카테고리를 포함하며, 다양한 하위 태스크 (건물, 도로, 홍수) 를 평가하는 통합된 벤치마크를 정립했습니다. 이는 기존 V1 보다 훨씬 현실적이고 도전적인 평가 환경을 제공합니다.
3. Pi-Seg 모델 개발: 의미론적 유도 잡음 학습을 통해 효율적이고 강력한 베이스라인을 제시했습니다. 이는 외부 인코더에 의존하지 않으면서도 오픈 보카불러리티와 도메인 적응 능력을 동시에 향상시킵니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • OVRSISBenchV1 및 V2: Pi-Seg 는 ViT-B 및 ViT-L 백본 모두에서 기존 SOTA 모델 (CAT-Seg, GSNet, RSKT-Seg 등) 을 능가하거나 경쟁력 있는 성능을 보였습니다. 특히 더 까다로운 OVRSISBenchV2와 하위 태스크에서 가장 큰 성능 향상을 기록했습니다.
  • 하위 태스크: 건물 추출, 도로 추출, 홍수 감지 태스크에서 Pi-Seg 는 mIoU 와 mACC 모두에서 최상의 평균 성능을 달성했습니다.
• 효율성: Pi-Seg 는 RSKT-Seg 보다 파라미터 수가 적고 (ViT-B 기준 1.55 억 vs 3.98 억), 추론 시 슬라이딩 윈도우를 사용하지 않아 계산 비용 (GFLOPs) 이 낮고 FPS 가 높습니다.
• 적응성: 다양한 해상도 (저해상도 및 고해상도) 와 무작위 시드 실험에서 Pi-Seg 는 일관된 강건성과 재현성을 입증했습니다.
• 시각화: 생성된 분할 맵은 객체 경계가 더 선명하고, 배경 노이즈가 억제되었으며, 의미론적으로 더 일관된 결과를 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 원격 탐사 분야의 오픈 보카불러리 분할 연구에 다음과 같은 중요한 기여를 합니다:

• 현실적인 평가 기준 정립: 기존 연구의 한계를 넘어, 실제 지리 공간 응용을 반영하는 대규모 벤치마크 (OVRSISBenchV2) 를 제공함으로써 향후 연구의 표준을 제시했습니다.
• 효율적인 전이 학습 전략: 무거운 외부 인코더에 의존하지 않고, **의미론적 유도 잡음 (Perturbation)**을 통해 특징 공간의 범위를 확장하는 새로운 접근법을 제시했습니다. 이는 계산 자원이 제한된 환경에서도 고성능을 달성할 수 있는 길을 열었습니다.
• 연구 기반 마련: OVRSIS95K 와 Pi-Seg 는 향후 원격 탐사 이미지 분석, 재난 대응, 환경 모니터링 등 다양한 분야에서 오픈 보카불러리 모델 개발을 위한 강력한 기반이 될 것입니다.

요약하자면, 이 연구는 데이터와 벤치마크의 부재라는 근본적인 문제를 해결하고, 효율적이면서도 강력한 새로운 모델 (Pi-Seg) 을 제안함으로써 원격 탐사 오픈 보카불러리 분할의 실용화와 발전을 크게 앞당겼습니다.