기술 요약: CMS2-Fusion

1. 문제 정의

적외선 및 가시광선 이미지 융합은 적외선 센서의 열 복사 정보와 가시광선 카메라의 풍부한 질감 및 공간적 세부 정보를 하나의 종합적인 표현으로 통합하는 것을 목표로 합니다. 딥러닝 방법론이 이 분야을 발전시켜 왔지만, 기존 방식들은 일반적으로 "인코드 후 융합(encode-then-fuse)" 패러다임을 따릅니다. 이러한 방법들은 적외선과 가시광선 모달리티를 별도의 네트워크 브랜치(CNN, Transformer 또는 Mamba 기반 인코더 사용)를 통해 처리하며, 인코딩 단계에서는 정보 교환이 이루어지지 않습니다. 교차 모달 상호작용은 단순한 결합(concatenation)이나 평균화를 통해 최종 융합 단계로 미뤄집니다.

저자들은 이러한 분리가 상태 공간 모델(State Space Models, SSMs), 특히 Mamba의 잠재력을 충분히 활용하지 못한다고 주장합니다. Mamba에서 은닉 상태(hidden states)는 상태 전이를 통해 공간적 문맥을 자연스럽게 포착합니다. 인코딩 중에 모달리티를 격리된 상태로 유지함으로써, 기존 방식들은 상태 전이 수준에서 의미적으로 결합된 표현을 학습할 기회를 놓치게 됩니다. 이는 모달리티 간의 내재적 차이(예: 적외선의 낮은 해상도 대 가시광선의 저조도 환경에서의 낮은 가시성)를 해결하는 모델의 능력을 제한할 수 있습니다.

2. 방법론: CMS2-Fusion

본 논문은 **"인코딩으로서의 결합(encoding-as-coupling)"**으로 패러다임을 전환하는 CMS2-Fusion(Cross-Modal State Space Coupling) 프레임워크를 제안합니다. 핵심 혁신은 Mamba 블록 내의 인코딩 과정 중에 두 모달리티의 은닉 상태가 동적으로 상호작용할 수 있도록 하는 메커니즘입니다.

주요 구성 요소:

• CoupledVisionMambaBlock:

  • 독립적인 파이프라인 대신, 적외선($I_{IR}$)과 가시광선($I_{VIS}$) 특징 맵을 공유된 상태 공간으로 투영합니다.
  • 각 모달리티의 상태 업데이트는 **학습 가능한 결합 계수($\lambda$)**에 의해 스케일링된 다른 모달로의 항을 포함하도록 수정됩니다.
  • 업데이트 방정식은 다음과 같습니다:
    $$h_{IR} = \text{Mamba}(P_{IR} I_{IR}) + \lambda \cdot P_{VIS \to IR} (P_{VIS} I_{VIS})$$
    $$h_{VIS} = \text{Mamba}(P_{VIS} I_{VIS}) + \lambda \cdot P_{IR \to VIS} (P_{IR} I_{IR})$$
  • 여기서 $\lambda$는 0.3으로 초기화되며, 학습 과정에서 상호작용 강도를 적응적으로 제어하기 위해 학습됩니다. $P$는 학습 가능한 투영 행렬을 나타냅니다.
  • 이 설계는 표준 Mamba와 비교하여 아주 작은 상수 오버헤드만을 추가하면서 선형 복잡도 $O(L)$를 유지합니다.

• 파라미터 공유 (Parameter Sharing):

  • 각 블록 내에서 두 모달리티는 핵심 Mamba SSM 파라미터(상태 전이 행렬 $A$ 및 선택적 투영 파라미터)를 공유합니다.
  • 입력 투영($P_{IR}, P_{VIS}$) 및 교차 모달 투영($P_{VIS \to IR}, P_{IR \to VIS}$)은 모달리티별로 유지됩니다.
  • 이 전략은 디커플링된(decoupled) 베이스라인에 비해 총 파라미터 수를 13% 감소시킵니다.

• 아키텍처:

  • 인코더(Encoder): 각 단계가 결합된 Mamba 블록으로 구성된 3단계 피라미드 구조입니다. 패치 병합(Patch merging)을 통해 공간 해상도를 줄이는 동시에 채널 깊이를 증가시킵니다.
  • 융합 모듈(Fusion Module): 가장 깊은 특징 레벨(16x16 해상도)에 위치하며, 국소적 "활성도"(특징 벡터의 L2 노름)에 따라 특징에 가중치를 부여하는 공간 주의(spatial attention) 메커니즘을 사용하여, 적외선의 열적 돌출 영역과 가시광선의 질감이 풍부한 영역에 자동으로 높은 가중치를 할당합니다.
  • 디코더(Decoder): 스킵 연결(skip-connection)이 있는 디코더가 원래 해상도로 이미지를 재구성합니다. 스킵 연결은 이미 인코딩 중에 의미적 정렬이 이루어졌으므로 결합된 특징들의 단순 평균을 사용합니다.

• 손실 함수 (Loss Function):

  • 모델은 합성 손실 함수로 학습됩니다: $\mathcal{L}_{total} = \mathcal{L}_{L1} + 10\mathcal{L}_{edge} + 2\mathcal{L}_{SSIM}$.
  • $\mathcal{L}_{L1}$은 밝기와 대비를 보존합니다.
  • $\mathcal{L}_{edge}$는 그래디언트 크기 보존을 보장합니다.
  • $\mathcal{L}_{SSIM}$은 구조적 유사성을 강제합니다.

3. 주요 기여

1. 교차 모달 상태 공간 결합 (Cross-Modal State Space Coupling): 본 논문은 Mamba 인코딩 블록 내에 교차 모달 결합 메커니즘을 도입하여, 융합 단계로 미루지 않고 인코딩 과정 중 은닉 상태 수준에서 상호작용을 가능하게 합니다. 기존의 Mamba 기반 융합 방법들(예: CrossMamba)이 존재하지만, 이 연구는 인코딩 단계 내의 상태 공간 수준 결합을 구체적으로 겨냥합니다.
2. 파라미터 효율적 설계: 모달리티 간 SSM 파라미터를 공유함으로써, 모델은 디커플링된 Mamba 베이스라인 대비 파라미터를 13%(9.6M 대 8.4M) 감소시키면서도 과적합 위험을 줄였습니다.
3. 패러다임 전환: 본 연구는 독립적 인코딩에서 결합된 인코딩으로의 전환을 제안하며, 상태 전이가 열적-질감 의존성을 직접 모델링하는 데 사용될 수 있음을 입증했습니다.

4. 실험 결과

실험은 MSRS 데이터셋(훈련 쌍 1,083개, 테스트 쌍 361개)을 대상으로 수행되었습니다.

• 정량적 성능:

  • $Q_{abf}$ (융합 품질): CMS2-Fusion은 0.7704를 달eric하여, 고전적인 CNN 방식인 DenseFuse(0.4525)보다 70.3% 우수했으며, 디커플링된 Mamba 베이스라인(0.7589)보다 1.51% 높았습니다.
  • 정보 지표: 상호 정보량(MI)은 DenseFuse 대비 9.2%(3.0548) 증가하였고, 엔트로피(EN)는 11.2%(6.6281) 증가하였습니다.
  • 세부 사항 보존: 공간 주파수(SF)는 DenseFuse 대비 87.7%, 평균 그래디언트(AG)는 85.2% 개선되어 우수한 에지 및 질감 보존 능력을 보여주었습니다.
  • SSIM: 이 지표는 0.6693(DenseFuse)에서 0.6562로 소폭 감소했습니다. 저자들은 이를 열적 돌출성과 가시적 구조적 충실도 사이의 내재적 트레이드오프 때문이라고 설명하며, 수치가 여전히 높은 범위에 있음을 언급했습니다. 디커플링된 베이스라인과 비교했을 때 SSIM은 0.94%(0.6501에서 0.6562로) 개선되었습니다.

• 어블레이션 연구 (Ablation Studies):

  • 파라미터 공유: 상호작용이 없는 디커플링된 베이스라인에서 결합된 모델로 이동했을 때, 상호작용 없이도 $Q_{abf}$가 0.0085 향상되었고 파라미터는 13% 감소했습니다.
  • 상호작용: 학습 가능한 결합 계수($\lambda$)를 활성화함으로써 추가로 0.0030의 $Q_{abf}$ 이득을 얻었습니다.
  • 계수 수렴: 학습 가능한 $\lambda$는 약 0.3646으로 수렴하였으며, 이는 모달리티별 유지와 교차 모달 상호작용 사이의 최적의 균형을 나타냅니다.

• 효율성:

  • 추론 시간: NVIDIA RTX 4090 기준 이미지당 41.3 ms (베이스라인인 42.7 ms와 유사).
  • FLOPs: 46.1G로, 베이스라인(48.3G)보다 낮습니다.

5. 의의 및 주장

본 논문은 CMS2-Fusion이 멀티 모달 융합의 패러다임 전환을 나타낸다고 주장합니다. 상태 전이 수준에서 교차 모달 결합을 도입함으로써, 이 방법은 "인코드 후 융합" 아키텍처의 한계를 넘어섭니다. 저자들은 이 접근 방식이 네트워크가 파이프라인의 더 이른 단계에서 더 의미적으로 결합된 표현을 학습할 수 있게 하여, 열적 돌출성과 질감 충실도를 모두 더 잘 보존하는 융합 이미지를 생성한다고 단언합니다.

본 연구는 인코딩 단계 동안의 상태 공간 교차 모달 상호작용을 구체적으로 적용한 첫 번째 사례라는 점에서 기존 Mamba 기반 융합 방법들(CrossMamba, FusionMamba 등)과 차별화됩니다. 기존 작업들이 특징 추출을 위해 Mamba를 활용하지만 융합 단계까지 독립적인 브랜치를 유지하는 반면, CMS2-Fusion은 인코더의 상태 전이 내에서 모달리티를 직접 통합합니다. 저자들은 SSM 파라미터를 공유하고 동적 상태 상호작용을 활성화하는 것이 더 적은 파라미터로도 우수한 성능을 낸다는 것을 입증하였으며, 이는 엣지 배포(edge deployment)에 강력한 후보임을 시사합니다.

저자들이 제안한 향후 연구 과제에는 레이어 적응형 및 공간 적응형 결합, 그리고 의료 영상 융합과 같은 다른 멀티 모달 작업으로의 프레임워크 확장이 포함됩니다.