Transfer learning RGB models to hyperspectral images with trainable tensor decompositions

기술 요약: 학습 가능한 텐서 분해를 활용한 RGB 모델의 초분광 이미지 전이 학습

문제 제기
초분광 이미징 (HSI) 은 수백 개의 파장 대역에 걸쳐 데이터를 포착하여 원격 탐사, 의료 영상, 원예학 등의 분야에서 풍부한 정보를 제공합니다. 그러나 RGB 이미지에 비해 대규모이고 다양한 데이터셋이 부족하여 HSI 에 딥러닝 모델을 학습시키는 데는 어려움이 따릅니다. 따라서 ImageNet 등에서 학습된 사전 훈련된 RGB 백본 모델로부터의 전이 학습은 바람직한 전략입니다. 그러나 근본적인 불일치가 존재합니다. 표준 백본 모델은 3 채널 RGB 입력을 기대하는 반면, 초분광 이미지는 훨씬 더 높은 채널 차원 ($\hat{C}_{in} > 3$) 을 갖기 때문입니다.

이 차원 불일치에 대한 기존 해결책들은 상당한 트레이드오프를 수반합니다:

1. 이미지 측 적응: 차원 축소 (예: PCA) 나 채널 선택을 통해 초분광 이미지를 3 채널로 축소하는 것은 모델 아키텍처를 유지하지만 중요한 스펙트럼 정보를 손실합니다.
2. 모델 측 적응: 첫 번째 합성곱 레이어를 $\hat{C}_{in}$개의 입력 채널을 갖는 레이어로 교체하면 이미지 데이터는 보존되지만, 새로운 가중치를 처음부터 학습해야 합니다. 이는 원래 필터에서 학습된 공간적 패턴을 희생하고, 학습 가능한 매개변수 수를 증가시키며, 작은 HSI 데이터셋에서 과적합 위험을 높입니다.

방법론
저자들은 부분적으로 학습 가능한 텐서 분해를 활용하여 이 격차를 해소하는 새로운 접근법을 제안합니다. 핵심 통찰은 백본 모델의 합성곱 필터를 공간 및 스펙트럼 구성 요소로 분해할 수 있다는 점입니다. 이를 분리함으로써 대규모 RGB 데이터셋에서 학습된 공간적 패턴은 유지하면서 스펙트럼 구성 요소는 특정 초분광 도메인에 맞게 적응시킬 수 있습니다.

이 과정은 다음 단계들을 포함합니다:

1. 분해: 사전 훈련된 백본의 첫 번째 합성곱 레이어 가중치 ($W^1$) 를 CP (Canonic Polyadic) 또는 Tucker 텐서 분해를 사용하여 분해합니다.
   • CP 분해: 필터를 랭크 1 텐서의 합으로 근사하여 필터를 하나의 스펙트럼 벡터와 두 개의 공간 벡터 (수평 및 수직) 로 분리합니다.
   • Tucker 분해: 행렬 곱셈을 통해 텐서를 저차원 코어 텐서로 투영합니다. 저자들은 공간 구조는 보존하면서 스펙트럼 차원만 압축하는 부분 Tucker 분해를 적용합니다.
2. 구성 요소 교체: 원래의 3 채널 스펙트럼 구성 요소는 폐기됩니다. 대신 초분광 입력에 맞는 $\hat{C}_{in}$ 차원의 새로운 학습 가능한 스펙트럼 구성 요소로 교체됩니다.
3. 동결 및 학습: 원래 사전 훈련된 필터에서 유래된 공간 구성 요소는 동결됩니다. 새로운 스펙트럼 구성 요소와 최종 분류 레이어만 학습됩니다.
4. 구현: 분해된 레이어는 그룹화된 분리 합성곱을 사용하여 구현됩니다. CP 의 경우 포인트와이즈 합성곱 다음에 두 개의 딥와이즈 합성곱이 수행되며, Tucker 의 경우 포인트와이즈 합성곱 다음에 표준 2D 합성곱이 수행됩니다.

주요 기여

• 새로운 전이 메커니즘: 이 논문은 사전 훈련된 공간 정보를 희생하거나 스펙트럼 데이터를 폐기하지 않고 3 채널 RGB 백본을 초분광 입력에 적응시키는 방법을 도입합니다.
• 매개변수 효율성: 공간 구성 요소를 동결함으로써 첫 번째 레이어를 처음부터 재학습하는 것에 비해 학습 가능한 매개변수 수를 획기적으로 줄여, 데이터가 부족한 시나리오에서 과적합 위험을 완화합니다.
• 공간적 사전 지식 보존: 이 접근법은 사전 훈련된 백본 필터의 특징인 "색이 입혀진 타원형 모양"과 엣지 감지 행동을 유지하며, 이는 견고한 비전 작업에 필수적입니다.

실험 결과
저자들은 세 개의 원격 탐사 데이터셋 (Botswana, Indian Pines, Kennedy Space Center) 과 두 개의 원예학 데이터셋 (Avocado, Grape leaves) 등 다섯 개의 데이터셋에서 제안한 방법을 평가했습니다. 그들은 CP 및 Tucker 접근법을 두 가지 기준선과 비교했습니다:

• Reduce: 3 채널로 차원 축소.
• Scratch: 첫 번째 레이어를 처음부터 학습된 새로운 레이어로 교체.

결과:

• 정확도: 제안된 CP 및 Tucker 방법은 일관되게 "Reduce" 기준선보다 우수한 성능을 보였습니다. 특히 "Scratch"가 부진하게 수행된 'Grape leaves'와 같은 복잡한 데이터셋에서는 일반적으로 "Scratch" 기준선보다 더 높은 정확도를 기록했습니다.
• 견고성: 과적합 실험 (학습률 변화 및 긴 에포크 학습) 에서 "Scratch" 방법은 분해된 접근법보다 훨씬 빠르게 과적합되었습니다. 분해된 방법들은 더 큰 안정성을 보여주었습니다.
• 백본 독립성: 결과는 다양한 백본 아키텍처 (AlexNet, DenseNet, ResNet18) 에서도 유효했습니다.
• 랭크 민감성: 일반적으로 분해 랭크 $R=2$가 가장 좋은 균형을 제공했으나, 랭크를 $R=3$으로 높여도 일관되게 추가적인 개선을 가져오지는 않아 하이퍼파라미터 튜닝의 필요성을 시사했습니다.

의의 및 주장
이 논문은 이 접근법이 초분광 이미지와 RGB 백본 간의 차원 불일치를 해결하면서도 이미지의 스펙트럼 정보와 모델의 공간적 사전 지식을 모두 보존한다고 주장합니다. 저자들은 이미지 압축이나 모델의 처음부터 재학습을 수행하는 기존 초분광 전이 학습 방법들보다 그들의 방법이 더 정확하고 과적합에 더 강건하다고 단언합니다.

이 연구는 초분광 이미징을 위한 범용 백본을 만드는 한 걸음으로 자리매김합니다. 그러나 저자들은 텐서 분해 레이어가 초기화 및 최적화 전략에 민감할 수 있다는 점을 지적하며 제한 사항에 대해 겸손한 태도를 보입니다. 향후 연구는 이러한 레이어에 특화된 최적화 전략에 초점을 맞추거나, 결국 전체 네트워크를 통해 역전파하지 않고도 전이 학습을 가능하게 하는 방법들을 탐구할 수 있음을 제안합니다.