Spectral Compressive Imaging via Chromaticity-Intensity Decomposition

기술 요약: 색도-강도 분해를 통한 스펙트럼 압축 영상 기술

문제 정의
코드형 구경 스냅샷 분광 영상(CASSI)은 단일 샷으로 하이퍼스펙트럴 이미지(HSI)를 캡처할 수 있는 유망한 아키텍처이다. 그러나 CASSI 측정값으로부터 HSI를 재구성하는 것은 다음과 같은 두 가지 주요 과제로 인해 심각하게 부적정(ill-posed)한 역문제에 해당한다:

1. 정보의 얽힘: 압축된 측정값은 공간 정보와 스펙트럼 정보를 결합하므로, 공간적 구조와 스펙트럼 특징을 분리하기 어렵다. 기존의 딥러닝 방식은 명확한 물리적 분해 없이 암시적인 특징 학습에 의존하는 경우가 많으며, 최적화 기반 방식은 복잡한 질감과 노이즈 처리에 어려움을 겪는다.
2. 조명 민감도: 캡처된 복사 휘도는 고유한 표면 반사율과 장면의 조명을 본질적으로 결합시킨다. 이러한 결합은 재구성을 조명 변화에 민감하게 만들어, 조명 불변적인 스펙트럼 반사율의 회복을 제한한다. RGB 영상에서는 고유 이미지 분해(반사율과 조명 분리)가 확립되어 있으나, 이를 CASSI 재구성에 효과적으로 통합하는 연구는 미비했다.

방법론
저자들은 하이퍼스펙트럴 이미지 큐브 $X$를 공간적으로 매끄러운 강도 맵 $I$와 스펙트럼 변동성이 있는 색도 큐브 $C$로 인수분해하는 색도-강도 분해(Chromaticity-Intensity Decomposition, CID) 프레임워크를 제안한다 ($X = C \odot I$). 이 공식에서 $C$는 고주파 공간 세부 사항과 국소적 스펙트럼 희소성을 포함하는 조명 불변 반사율을 나타내며, $I$는 전역적인 조명 구조를 포착한다.

이러한 분해를 바탕으로, 저자들은 듀얼 카메라 CASSI 시스템(강도 이미지, 예: PAN 또는 RGB 카메라가 가용한 경우)을 위해 설계된 딥 언폴딩 네트워크인 CIDNet을 도입한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. 열화 인지 노이즈 모델링(Degradation-Aware Noise Modeling):
   저자들은 재구성을 이방성 가우시안 노이즈 모델 하에서의 최대 사후 확률(MAP) 추정 문제로 정식화한다. 균일한 노이즈를 가정하는 전통적인 방식과 달리, CIDNet은 **이중 노이즈 추정 모듈(Dual Noise-Estimation Module, DNEM)**을 사용한다. 이 모듈은 공간적으로 적응적인 노이즈 공분산 맵($\Sigma$)과 각 반복 단계에서의 노이즈 제거 강도 파라미터를 학습한다. 이를 통해 네트워크는 영상 처리 과정에서 발생하는 공간적으로 가변적인 노이즈 패턴을 처리하기 위해 그래디언트 투영 단계와 근사 노이즈 제거 연산을 동적으로 조정할 수 있다.

2. 하이브리드 공간-스펙트럼 트랜스포머(Hybrid Spatial-Spectral Transformer, HSST):
   구조적 희소성과 국소적 스펙트럼 상관관계를 보이는 색도 큐브를 재구성하기 위해, 저자들은 비대칭 UNet 백본을 설계하였다.

• 인코더(공간): 윈도우 기반 로컬 공간 주의 집중(Spa-LWSA)을 활용하여 고주파 공간 질감을 포착하는 Swin Transformer를 사용한다.
• 디코더(스펙트럼): 희소 TopK 스펙트럼 주의 집중(Sparse TopK Spectral Attention, Spec-TKSA) 메커니즘을 채택한다. 밀집된 스펙트럼 주의 집중과 달리, 이 모듈은 로컬 윈도우 내에서 가장 관련성이 높은 $K$개의 스펙트럼 이웃에만 주의를 제한한다. 이는 반사율 스펙트럼이 흔히 갖는 국소적 지지 특성을 반영하여 희소성과 국소성을 강제한다. 또한, 다양한 희소도 수준에서 주의 집중 맵을 집계하는 멀티 레이티오 전략을 통해 지배적이고 상호 보완적인 스펙트럼 상관관계를 모두 포착한다.

3. 언폴딩 프레임워크(Unfolding Framework):
   네트워크는 각 단계가 학습 가능한 노이즈 추정, 분석적인 데이터 일치성 단계(강도 가이드 마스크 포함), 그리고 학습된 근사 노이즈 제거기로 구성되는 최적화 알고리즘(Half-Quadratic Splitting 기반)을 언롤링한다. 이 구조는 모델 기반의 해석 가능성과 데이터 기반의 표현력을 연결한다.

주요 기여

• 새로운 분해 모델: CASSI에 특화된 최초의 색도-강도 분해 모델을 제안하여, 조명 변화에 대한 강건성을 높이기 위해 조명 불변 색도를 매끄러운 강도로부터 명시적으로 분리하였다.
• CIDNet 아키텍처: 하이브리드 공간-스펙트럼 트랜스포머(HSST)와 열화 인지형, 공간 적응형 노이즈 추정 모듈(DNEM)을 통합한 딥 언폴딩 네트워크를 개발하였다.
• 희소 스펙트럼 주의 집중: 색도 스펙트럼의 희소하고 국소적인 특성을 효과적으로 모델링하는 TopK 스펙트럼 주의 집중 메커니즘을 도입하여, 스펙트럼 충실도를 유지하면서 계산 복잡도를 줄였다.
• 이중 검증: 제안된 분해 패러다임을 전통적인 최적화 기반 솔버와 듀얼 카메라 CASSI 환경에서의 제안된 딥 언폴딩 프레임워크를 통해 모두 검증하였다.

실험 결과
합성 데이터셋(CAVE 및 KAIST)과 실제 환경의 듀얼 카메라 CASSI 데이터에 대해 광범위한 실험을 수행하였다.

• 정량적 성능: CIDNet은 KAIST 시뮬레이션 데이터셋에서 최첨단(SOTA) 성능을 달야냈다. 9단계 버전(CIDNet-9stg)은 평균 PSNR 44.12 dB, SSIM 0.991을 기록하며, In2SET-9stg, SSR-9stg, DAUHST-9stg와 같은 기존 방식들을 크게 앞질렀다.
• 색도 및 강도 충실도: 이 방법은 색도와 강도 성분 모두를 재구성하는 데 있어 우수한 성능을 보였으며, 특히 CIDNet은 듀얼 카메라 알고리즘 중 가장 우수한 색도 지표(PSNR 35.81 dB, SSIM 0.93)를 달성하였다.
• 실제 환경 검증: 실제 데이터(Ninja 장면)에 대한 재구성은 PIDS 및 반복적 CID-TV와 같은 베이스라인 방법들과 비교했을 때 미세한 디테일과 스펙트럼 정확도를 복원하는 모델의 능력을 입증하였다.
• 어블레이션 연구(Ablation Studies): 실험을 통해 강도 가이드 마스크, HSST 아키텍처, DNEM 모듈이 각각 최종 성능에 유의미하게 기여함을 확인하였으며, 전체 모델이 베이스라인 설정보다 실질적인 개선을 보임을 입증하였다.

의의
본 논문은 하이퍼스펙트럴 이미지를 색도와 강도로 명시적으로 분해하는 것이 부적정한 CASSI 재구성 문제를 해결하는 물리적으로 해석 가능한 솔루션을 제공한다고 주장한다. 조명에 불변하며 스펙트럼적으로 희소한 색도 학습에 집중함으로써, 이 방법은 더 나은 스펙트럼 충실도와 강건성을 달성한다. 본 연구는 압축 분광 영상의 특정 과제를 해결하기 위해 물리 인지적 분해와 하이브리드 주의 집중 메커니즘(공간 및 스펙트럼)을 결리하는 것의 효용성을 강조하며, 스펙트럼 재구성과 색도 충실도 분야의 새로운 기준을 제시한다.