SoDa2: Single-Stage Open-Set Domain Adaptation via Decoupled Alignment for Cross-Scene Hyperspectral Image Classification

기술 요약: SoDa2: 교차 장면 초분광 이미지 분류를 위한 분리 정렬을 통한 단일 단계 오픈셋 도메인 적응

문제 제기
교차 장면 초분광 이미지 (HSI) 분류는 원격 탐사의 근본적인 작업이지만, 실제 시나리오에 적용될 때 상당한 도전에 직면합니다. 기존의 딥러닝 방법은 훈련 (소스) 데이터와 테스트 (타겟) 데이터가 독립적이고 동일하게 분포되어 있다고 가정합니다. 그러나 센서, 촬영 조건, 대기 효과의 차이로 인해 '도메인 이동 (domain shift)'이 발생하여 새로운 장면에 적용될 때 모델 성능이 저하됩니다. 또한, 실제 타겟 도메인에는 소스 도메인에 존재하지 않는 '미확인 클래스 (unknown classes)'가 종종 포함되어 있어 표준 폐쇄셋 도메인 적응 (DA) 방법이 무효화됩니다. HSI 를 위한 기존 오픈셋 도메인 적응 (OSDA) 접근법은 두 가지 주요 한계에 직면해 있습니다:

1. 하이브리드 정렬 문제: 대부분의 방법은 혼합된 스펙트럼 - 공간 특징을 통합된 공간에서 정렬합니다. 그러나 스펙트럼 및 공간 특징은 분류에 서로 다르게 기여하며 독립적으로 분포합니다. 혼합된 특징을 직접 정렬하면 교차 도메인 전이 가능성이 훼손될 수 있습니다.
2. 계산 비효율성: 현재 OSDA 방법은 일반적으로 사전 훈련을 followed byjoint 훈련하는 두 단계 훈련 전략을 사용하는 이중 분류기 아키텍처에 의존하여 복잡한 절차와 높은 계산 비용을 초래합니다.

방법론: SoDa2
저자들은 **분리 정렬 (decoupled alignment)**을 기반으로 한 단일 단계 오픈셋 도메인 적응 방법인 SoDa2를 제안합니다. 이 프레임워크는 미확인 클래스에 대한 사전 지식 없이도 알려진 클래스와 미확인 클래스를 적응적으로 구별하면서 도메인 불변 특징을 추출하도록 설계되었습니다. 아키텍처는 세 가지 핵심 구성 요소로 구성됩니다:

1. 기여도 인식 이중 모달리티 특징 추출:
   특징을 초기에 융합하는 대신, 이 방법은 병렬 분기를 사용하여 스펙트럼 및 공간 특징을 독립적으로 추출합니다.

   • 스펙트럼 분기: 세밀한 대역 정보와 고수준 스펙트럼 특징을 보존하기 위해 교차 계층 잔여 연결을 가진 합성곱 계층을 사용합니다.
   • 공간 분기: 3D 합성곱 계층을 사용하여 전역 구조와 국소 질감을 포착하며, 잔여 연결을 통해 얕은 세부 정보를 보존합니다.
   • 주의 메커니즘: 채널 주의 및 공간 주의 모듈이 각 분기에 적용되어 특징을 적응적으로 재가중치하며, 분류 작업에 가장 정보적인 스펙트럼 대역과 공간 위치를 강조합니다.

2. 분리 정렬 모듈:
   도메인 이동을 해결하기 위해 이 방법은 소스 및 타겟 도메인 간의 최대 평균 불일치 (MMD) 를 최소화합니다. 핵심적으로, 이 정렬은 분리되어 있습니다:

   • MMD 는 스펙트럼 특징 ($L_{spe}$) 과 공간 특징 ($L_{spa}$) 에 대해 별도로 계산됩니다.
   • 이 접근법은 이질적인 혼합 특징을 정렬함으로써 발생하는 혼란을 피하여, 모델이 각 모달리티에 대한 독립적인 도메인 불변 표현을 학습할 수 있게 합니다.
   • 전체 정렬 손실은 스펙트럼 및 공간 MMD 손실의 합입니다.

3. 오픈셋 인식 모듈 (단일 단계 프레임워크):
   이 방법은 타겟 도메인에 대한 이중 분기 인코더를 사용하여 단일 훈련 단계에서 알려진 클래스와 미확인 클래스를 구별합니다:

   • 정렬된 특징 인코더: MMD 손실 (소스 및 타겟 간의 공유 의미) 로 제약된 도메인 불변 특징을 학습합니다.
   • 고유 특징 인코더: 교차 도메인 제약 없이 타겟 고유의 특징을 학습하여 미확인 클래스의 판별 특성을 포착합니다.
   • 일관성 측정: 이 방법은 각 타겟 샘플에 대해 정렬된 특징과 고유 특징 간의 제곱 코사인 유사도를 계산합니다.
   • 가우시안 혼합 모델 (GMM): 이러한 유사도 점수의 분포는 두 개의 구성 요소 (알려진 클래스와 미확인 클래스를 나타냄) 를 가진 GMM 로 모델링됩니다. 샘플은 점수가 어떤 가우시안 구성 요소와 일치하는지에 따라 분류되어, 미확인 클래스에 대한 명시적 레이블 없이 오픈셋 인식이 가능해집니다.

주요 기여

1. 분리 정렬 전략: 이 논문은 HSI 데이터에서 모달리티가 고유한 분포 특성을 가질 때 하이브리드 정렬의 한계를 해결하기 위해 MMD 를 사용하여 스펙트럼 및 공간 특징을 독립적으로 정렬하는 새로운 접근법을 제시합니다.
2. 단일 단계 훈련 프레임워크: 기존 두 단계 OSDA 방법과 달리 SoDa2 는 특징 추출, 도메인 정렬, 오픈셋 인식을 통합된 비용 효율적인 단일 단계 훈련 프로세스로 통합합니다.
3. 기여도 인식 특징 추출: 주의 메커니즘을 갖춘 병렬 스펙트럼 및 공간 분기의 설계는 두 모달리티에서 판별 특징을 선택적으로 강화할 수 있게 합니다.
4. GMM 기반 오픈셋 인식: 이 방법은 정렬된 특징과 고유 특징 간의 일관성 점수를 모델링하기 위해 GMM 을 사용하여, 미확인 클래스에 대한 사전 지식 없이도 알려진 클래스와 미확인 클래스를 자동으로 분리합니다.

실험 결과
저자들은 SoDa2 를 세 가지 교차 장면 HSI 데이터셋에서 평가했습니다:

• PU-PC: 파비아 대학교 (소스) 에서 파비아 센터 (타겟) 로.
• HU13-HU18: 휴스턴 2013 (소스) 에서 휴스턴 2018 (타겟) 으로.
• ZY-GF: 자위안 1-02D 옌청 (소스) 에서 가오펀 -5 옌청 (타겟) 으로.

이 방법은 OSBP, STA, DAMC, UADAL, ANNA, MTS, WGDT 를 포함한 최첨단 OSDA 접근법과 비교되었습니다. 성능은 알려진 클래스의 평균 정확도 ($OS^*$), 미확인 클래스의 정확도 ($UNK$), 그리고 이들의 조화 평균 ($HOS$) 을 사용하여 측정되었습니다.

• 성능: SoDa2 는 세 가지 데이터셋 전반에 걸쳐 우수한 성능을 달성했습니다. 예를 들어, PU-PC 작업에서 $HOS$80.7$UNK$ 94.3%를 달성하여 두 번째로 좋은 방법 (WGDT) 을 능가했습니다. ZY-GF 작업에서는 $HOS$ 94.7%에 도달했습니다.
• 절차 연구 (Ablation Studies): 실험은 스펙트럼 및 공간 분리 정렬 손실의 조합이 최상의 결과를 산출함을 확인하여 분리 전략의 필요성을 검증했습니다. 또한, 특징 융합 전에 주의 메커니즘을 적용하는 구체적인 순서가 먼저 융합한 후 주의를 적용하는 것보다 더 효과임이 입증되었습니다.
• 매개변수 민감도: 이 연구는 가우시안 구성 요소 수 ($K$) 를 2 로, 정렬 손실 가중치 ($\alpha$) 를 10 으로 설정하는 것이 알려진 클래스와 미확인 클래스 인식 간의 최적 균형을 제공함을 결정했습니다.

의의 및 주장
이 논문은 SoDa2 가 교차 장면 HSI 분류에서 도메인 이동과 미확인 클래스 식별이라는 이중 도전을 효과적으로 해결한다고 주장합니다. 스펙트럼 및 공간 특징의 정렬을 분리함으로써, 이 방법은 각 모달리티의 고유 특성을 보존하면서 분포 차이를 줄입니다. 단일 단계 프레임워크는 복잡한 두 단계 훈련 전략에 대한 계산 효율적인 대안을 제공합니다. 저자들은 이 방법이 우수한 분류 정확도와 모델 전이성을 달성하여 원격 탐사 응용 분야의 오픈셋 교차 장면 작업에 대한 견고한 솔루션을 제공한다고 주장합니다. 이 방법의 코드는 커뮤니티에 공개되었습니다.