Super-résolution non supervisée d'images hyperspectrales de télédétection utilisant un entraînement entièrement synthétique

기술 요약: 완전 합성 학습을 통한 비지도 방식의 초분광 단일 이미지 초해상도 구현

문제 정의
초분광 영상(HSI)은 수백 개의 파장에 걸친 풍부한 분광 정보를 제공하여 식생 모니터링, 토지 이용 분석, 천체 물리학 등의 분야에서 가치가 높습니다. 그러나 광학적 제약으로 인해 초분광 센서는 일반적으로 다중 분광 센서에 비해 공간 해상도가 낮습니다. 초분광 단일 이미지 초해상도(SISR) 작업의 목표는 분광 충실도를 유지하면서 공간 해상도를 높이는 것입니다.

현재의 SISR 방법들은 주로 지도 학습(supervised learning)에 의존하며, 이는 저해상도(LR) 및 고해상도(HR) 쌍으로 이루어진 정답(ground truth) 데이터를 필요로 합니다. 이 영역에는 중대한 병목 현상이 존재합니다. 즉, 고해상도 정답 초분광 영상은 실제 상황에서 거의 구할 수 없다는 점입니다. 결과적으로 지도 학습 기반 접근 방식은 적절한 학습 데이터셋의 부재로 인해 제한을 받습니다. 일부 방법들이 전이 학습이나 특정 컨볼루션 아키텍처(예: 3D 컨볼루션)를 활용하기도 하지만, 실제 세계의 HR 참조 데이터가 없다는 제약에서 벗어나지 못합니다.

방법론
저자들은 실제 HR 정답 없이 완전히 합성 데이터로만 학습하는 새로운 비지도 학습 접근 방식을 제안합니다. 이 방법은 초분광 언믹싱(unmixing)과 확률적 이미지 생성 모델을 결합합니다. 과정은 크게 세 단계로 구성됩니다:

1. 초분광 언믹싱 (Hyperspectral Unmixing):
   입력된 저해상도 HSI($HSI_{LR}$)는 선형 혼합 모델을 사용하여 두 가지 성분으로 분해됩니다:

• 엔드멤버 (Endmembers, $S$): 순수 물질의 분광 특성으로, Volume Minimum 알고리즘을 사용하여 추출됩니다.
• 풍부도 지도 (Abundance Maps, $A_{LR}$): 각 픽셀 내 각 물질의 비율을 나타내는 공간 맵으로, 최소 제곱 추정법을 통해 얻어집니다.
  가정은 $HSI_{LR} = \sum S \cdot A_{LR}$ 입니다.

2. 합성 데이터 생성 (Dead Leaves 모델):
   학습 쌍을 생성하기 위해, 저자들은 다공성 매질을 모델링하기 위해 마테론(Matheron)이 도입하고 이후 자연 이미지를 위해 변형된 확률적 프로세스인 "Dead Leaves" 모델을 채택했습니다.

• 생성 과정: 합성 풍부도 지도는 무작위 위치와 방향을 가진 무작위 직사각형 형태("잎")를 순차적으로 중첩함으로써 생성됩니다. 이 과정은 자연 경관의 통계적 특성, 특히 비가우시안(non-Gaussian) 통계를 모사합니다.
• 현실성 제약: 합성 데이터가 특정 장면을 반영하도록 하기 위해, 모든 물질 차원($z$)에 대해 잎의 공간적 기하 구조(모양, 위치, 회전)를 동일하게 유지합니다. 각 잎의 강도 값($V$)은 대상 장면의 실제 풍부도 지도($A_{LR}$)로부터 무작위로 샘플링됩니다.
• 학습 쌍: 고해상도 합성 풍부도 지도($A_{DL,HR}$)가 직접 생성됩니다. 이에 대응하는 저해상도 맵($A_{DL,LR}$)은 HR 맵에 시뮬레이션된 점 확산 함수(PSF)—구체적으로 가우시안 블러와 바이큐빅 다운샘플링 적용—를 적용하여 만들어집니다.

3. 네트워크 학습 및 재구성:

• 아키텍처: 저자들은 초분광 초해상도를 위해 설계된 최첨단 CNN인 MCNet(Mixed 3D/2D Convolutional Network)을 활용합니다. 이 네트워크는 공간 특징 추출을 위한 2D 컨볼루션과 결래 공간-분광 처리를 위한 3D 컨볼루션을 결합합니다. 네트워크는 $N$개의 채널(언믹싱된 물질의 수에 해당)을 수용할 수 있도록 조정됩니다.
• 학습: 네트워크는 합성 쌍 $(A_{DL,LR}, A_{DL,HR})$을 사용하여 $L1$ 손실 함수와 함께 지도 학습 방식으로 학습됩니다.
• 추론: 실제 초해상도 단계에서는 실제 $A_{LR}$이 학습된 네트워크에 입력되어 초해상도 풍부도 지도($A_{SR}$)를 예측합니다. 최종 고해상도 HSI는 예측된 풍부도를 원래의 엔드멤버와 결합하여 재구성됩니다: $HSI_{SR} = \sum S \cdot A_{SR}$.

주요 기여

• 비지도 프레임워크: 고해상도 정답 데이터에 대한 의존성을 제거한 완전한 비지도 SISR 파이프라인을 도입했습니다.
• 합성 학습 전략: 초분광 풍부도 지도의 통계적 특성을 재현하도록 특별히 설계된 Dead Leaves 모델을 통해 합성 데이터를 학습하는 데 효과적임을 입증했습니다.
• 언믹싱 통합: 기존의 합성 방식들과 달리, 이 방법은 초분광 언믹싱 단계를 초해상도 워크플로우에 완전히 통합하여 분광 일관성이 전 과정에서 유지되도록 보장합니다.
• 개선된 아키텍처 적응: 원시 분광 큐브가 아닌 언믹싱 성분에 대해 작동하도록 MCNet 아키텍처를 조정하여, 풍부도 지도 향상이라는 특정 작업에 최적화했습니다.

실험 결과
본 방법은 307 $\times$ 307 픽셀과 162개의 사용 가능한 분광 밴드로 구성된 Urban 데이터셋(HYDICE 센서로 캡처됨)을 통해 평가되었습니다. 4배의 초해상도 계수가 적용되었습니다.

• 학습 설정: 5,000개의 합성 풍부도 맵 쌍이 생성되었습니다. 네트워크는 Adam 옵티마이저를 사용하여 200 에포크 동안 학습되었습니다.
• 비교 대상: 제안된 방법(MCNet-DL)을 다음 모델들과 비교했습니다:
  • 바이큐빅 보간법(Bicubic interpolation).
  • 최신 지도 학습 방법들: MCnet, SSPSR, HSISR.
  • 참고: 공정한 비교를 위해, 지도 학습 방법들은 Urban 데이터셋의 16개 패치를 사용하여 학습되었으며, 실제 환경에서는 불가능한 '리브-원-아웃(leave-one-out)' 교차 검증 전략을 통해 최적의 조건을 부여받았습니다.
• 성능 지표: PSNR, SAM, ERGAS를 사용하여 평가되었습니다.
• 정량적 결과: MCNet-DL은 모든 지표에서 경쟁 방법들을 능가했습니다:
  • PSNR: 26.69 dB (MCNet의 25.56 dB 대비).
  • SAM: 14.53° (낮을수록 좋음; MCNet의 16.52° 대비).
  • ERGAS: 7.60 (낮을수록 좋음; MCNet의 8.72 대비).
• 정성적 결과: 재구성된 패치에 대한 시각적 검사 결과, 제안된 방법은 바이큐빅 보간법 및 다른 SOTA 방법들에 비해 훨씬 더 많은 공간적 세부 사항을 복원하였으며, HSI 패치에 직접 적용된 표준 MCNet보다 더 정밀한 재구성을 보여주었습니다.

의의 및 주장
본 논문은 제안된 접근 방식이 초분광 초해상도에서 발생하는 결정적인 한계인 데이터 부족 문제를 효과적으로 해결한다고 주장합니다. Dead Leaves 모델을 활용하여 통계적으로 유의미한 합성 풍부도 지도를 생성함으로써, 저자들은 완전히 합성된 데이터로 학습된 네트워크가 실제 데이터를 (인위적으로 분할했더라도) 사용한 지도 학습 방법보다 뛰어날 수 있음을 입증했습니다.

저자들은 이 연구를 자신들의 이전 연구[26]의 진화된 형태로 규정하며, 초분광 언믹싱의 완전한 통합이 완전하고 효율적이며 진정한 의미의 비지도 초해상도 방법을 실현한다는 점을 강조합니다. 결과적으로, 본 연구는 합성 데이터 생성이 정답 데이터에 접근할 수 없는 원격 탐사 응용 분야에서 딥러닝 모델을 학습시키기 위한 실행 가능하고 강력한 전략임을 시사합니다.