Open-Vocabulary Semantic Segmentation Network Integrating Object-Level Label and Scene-Level Semantic Features for Multimodal Remote Sensing Images

"멀티모달 원격 감지 이미지를 위한 객체 수준 레이블과 장면 수준 의미론적 특징을 통합한 오픈-어휘 의미 분할 네트워크 (TSMNet)"에 대한 상세한 기술 요약입니다.

1. 문제 제기

현재 원격 감지 분야의 의미 분할은 세 가지 주요 과제를 직면하고 있습니다:

• 단일 모달 데이터의 한계: 단일 소스 이미지 (예: 광학) 는 스펙트럼 모호성 (예: 아스팔트와 그림자의 구분) 으로 인해 어려움을 겪으며, 기상 조건에 취약합니다. 멀티모달 접근법 (광학 및 SAR 결합) 이 존재하지만, 종종 단순한 특징 연결 또는 가중 평균에 의존하여 복잡한 교차 모달 의미론적 관계를 완전히 포착하지 못합니다.
• 비시각적 지식의 간과: 기존 멀티모달 프레임워크는 시각 데이터 (광학/SAR) 를 통합하지만 비시각적 텍스트 데이터를 무시합니다. 텍스트 데이터는 지리적 맥락, 물질 특성 등 풍부한 실세계 지식을 포함하여 시각적 패턴과 개념 간의 의미론적 간극을 메울 수 있습니다.
• 경직된 클래스 분류 체계: 전통적인 모델은 미리 정의된 고정된 클래스 집합으로 제한됩니다. 이는 보이지 않는 카테고리를 인식하지 못하게 하여 새로운 시나리오나 사용자 정의 매핑 요구 사항에 대한 적응력을 제한합니다. 자연어 설명을 통한 분류를 가능하게 하는 오픈 - 어휘 의미 분할 (OVSS) 이 필요합니다.

2. 방법론: TSMNet

저자들은 텍스트 감독을 받는 멀티모달 오픈 - 어휘 의미 분할 네트워크인 TSMNet을 제안합니다. 이 아키텍처는 계층적 학습을 통해 이미지와 텍스트 특징을 통합된 의미 공간에 정렬하도록 설계되었습니다.

핵심 구성 요소:

1. 멀티모달 시각 인코더:

   • 비전 트랜스포머 (ViT) 백본을 활용하여 광학 및 SAR 이미지로부터 다중 수준 특징을 추출합니다.
   • 멀티모달 특징 교정 모듈 (MFRM): 광학 및 SAR 특징 간의 채널 및 공간 가중치를 동적으로 조정하여 이질성을 보정하고 상호 보완적 정보를 강화합니다.
   • 멀티모달 특징 융합 모듈 (MFFM): 교차 모달 어텐션 메커니즘을 활용하여 다중 스케일 전반에 걸쳐 심층 의미론적 상호작용 및 집적을 수행하며, 국부적 세부 사항과 전역적 의미론을 모두 보존합니다.

2. 이중 분기 텍스트 인코더 및 융합:

   • 텍스트 인코더: CLIP(텍스트 처리를 위해 BERT 사용) 을 기반으로 하여 두 가지 유형의 텍스트 정보를 추출합니다:
     • 객체 수준 레이블: 특정 카테고리 이름 (예: "도로", "나무").
     • 장면 수준 의미론: 전역적 설명 및 맥락 (예: "고층 건물이 있는 밀집된 도시 지역").
   • 맥락 인식 프롬프팅: 정적 템플릿 대신, 모델은 시각적 단서에 기반하여 텍스트 특징을 정제하기 위해 학습 가능한 텍스트 맥락 및 교차 어텐션 메커니즘을 사용합니다.
   • 융합 전략:
     • 객체 수준 융합: 픽셀 단위 시각 특징을 카테고리 텍스트 임베딩과 정렬하여 분할 마스크를 생성합니다.
     • 장면 수준 융합: 전역 이미지 표현을 장면 설명과 정렬하기 위해 대비 학습 (InfoNCE 손실) 을 갖춘 전역 정렬 모듈을 사용하여 분할 작업의 사전 지식으로 작용합니다.

3. 손실 함수:
   훈련 목적 함수는 네 가지 손실을 결합합니다:

   • 객체 수준 레이블 손실: 픽셀 - 클래스 정렬을 위한 교차 엔트로피 손실.
   • 장면 수준 의미론 손실: 전역 이미지 - 텍스트 쌍을 정렬하기 위한 InfoNCE 대비 손실.
   • 분할 작업 손실: 마스크 일관성을 보장하기 위한 교차 엔트로피 및 Dice 손실의 조합.

4. 추론:
   이 모델은 오픈 - 어휘 추론을 지원합니다. 사용자는 미리 정의된 클래스뿐만 아니라 임의의 자연어 설명을 입력할 수 있습니다. 네트워크는 픽셀 특징과 인코딩된 텍스트 임베딩 간의 코사인 유사도를 계산하여 동적으로 분할 마스크를 생성합니다.

3. 주요 기여

1. 새로운 아키텍처 (TSMNet): 시각 (광학/SAR) 및 텍스트 모달리티를 시너지 있게 통합하는 프레임워크로, 객체 수준 레이블과 장면 수준 의미론을 동시에 처리하기 위한 이중 분기 텍스트 인코더를 도입했습니다.
2. 고급 융합 메커니즘:
   • 노이즈와 의미론적 간극을 해결하기 위해 이질적인 광학 및 SAR 데이터를 효과적으로 융합하는 MFRM과 MFFM의 개발.
   • 인간이 해석 가능한 의사 결정을 위해 시각적 특징을 정제하기 위해 텍스트 사전 지식을 사용하는 텍스트 유도 시각 의미론적 융합 모듈의 구현.
3. 새로운 데이터셋: 기존 자원의 공백을 메우기 위해 저자들은 두 가지 새로운 고품질 멀티모달 비전 - 언어 데이터셋을 구축했습니다:
   • SWJTU-Vision-Language: 네 개 중국 도시의 2,712 쌍의 광학/SAR 이미지로, 수동 픽셀 수준 레이블 및 상세한 텍스트 설명이 포함되어 있습니다.
   • YESeg-OPT-SAR: 0.5m 해상도의 RGB/SAR 이미지 2,231 쌍으로, 상세한 텍스트 주석이 포함되어 있습니다.
4. 오픈 - 어휘 기능: 고정된 분류 체계의 제약을 극복하고 자연어를 통해 보이지 않는 카테고리를 인식할 수 있게 합니다.

4. 실험 결과

저자들은 단일 모달 (Deeplab V3+), 멀티모달 시각 (CMGFNet, MCANet), 기존 오픈 - 어휘 모델 (DenseCLIP, TACOSS) 을 포함한 최첨단 (SOTA) 모델들과 TSMNet 을 비교 평가했습니다.

• SWJTU-Vision-Language 성능:

  • TSMNet 은 69.73% 전체 정확도 (OA) 및 48.83% mIoU를 달성했습니다.
  • 두 번째로 좋은 모델 (DenseCLIP) 보다 OA 에서 1.64%, mIoU 에서 1.39% 더 높은 성능을 보였습니다.
  • "도로" 및 "나무"와 같은 까다로운 클래스에서 주목할 만한 개선이 관찰되었습니다.

• YESeg-OPT-SAR 성능:

  • TSMNet 은 85.33% OA 및 66.69% mIoU를 달성했습니다.
  • DenseCLIP(85.13% OA, 65.47% mIoU) 및 기타 멀티모달 베이스라인을 능가했습니다.
  • 정성적 분석 결과, TSMNet 은 시각적 특징에만 의존하는 모델에 비해 (예: 벌판과 저층 식생을 혼동하는 등) 오분류 오류를 현저히 줄인 것으로 나타났습니다.

• 절대성 연구 (Ablation Studies):

  • 멀티모달 융합 네트워크를 제거하면 mIoU 가 약 1.8% 감소했습니다.
  • 자연어 지침을 제거하고 (시각 데이터만 사용) 성능이 크게 저하되어, 텍스트 설명이 의미론적 간극을 메우고 일반화를 개선하는 데 결정적임을 입증했습니다.

5. 의의

• 패러다임 전환: 이 연구는 텍스트 지식을 통합하여 설명 가능한 원격 감지 분석을 위한 새로운 패러다임을 확립하며, 모델의 의사 결정을 더 해석 가능하게 하고 인간 인지 (전역에서 국부로 이해) 와 정렬시킵니다.
• 일반화: 오픈 - 어휘 기능을 활용함으로써, 모델은 고정된 클래스 집합에 대한 재훈련 없이 새로운 지리적 시나리오 및 센서 유형에 적응할 수 있으며, 단순히 텍스트 프롬프트를 업데이트하면 됩니다.
• 데이터 자원: 두 가지 새로운 비전 - 언어 데이터셋의 공개는 해당 분야의 중요한 병목 현상을 해결하여 향후 멀티모달 원격 감지 연구의 벤치마크를 제공합니다.
• 실제 적용: 자연어를 통해 카테고리를 정의할 수 있는 능력은 비전문가가 맞춤형 토지 이용 지도를 생성할 수 있게 하여, 도시 계획, 재난 대응, 환경 모니터링 분야에서 원격 감지의 유용성을 향상시킵니다.