FMRFusion: Frequency-Aware Multi-View Representation Learning for Heterogeneous Image Fusion

기술 요약: FMRFusion

문제 정의

적외선 및 가시광선 이미지 융합(IVIF)은 열 복사로부터 유의미한 타겟 정보를 유지하는 동시에 반사광으로부터 상세한 질감을 보존하는 합성 이미지를 생성하는 것을 목표로 한다. 최근의 발전에도 불구하고, 기존 방식들은 세 가지 주요 한계점에 직면해 있다:

1. 불완전한 특징 디커플링(Incomplete Feature Decoupling): 전통적인 CNN 기반 및 다중 스케일 변환(MST) 방식은 종종 두 양상(modality)에 동일한 연산자를 적용하여, 공유된 인코딩 파이프라인을 통해 양상 특유의 특징을 손실시킨다.
2. 지역-전역 특징 트레이드오프(Local-Global Feature Tradeoff): CNN은 지역적 문맥(local context)에는 뛰어나지만 장거리 의존성 모델링에는 어려움을 겪는 반면, 비전 트랜스포머(Vision Transformer)는 과도한 계산 비용을 수반하며 전역적 모델링을 제공한다.
3. 차선적인 융합 메커니즘(Suboptimal Fusion Mechanisms): 많은 딥러닝 접근 방식은 소스 이미지를 단일 경로 네트워크로 조기에 결합하여, 구조적인 특징 상호작작용보다는 정보 간섭을 초래한다.

나아가, 현재의 방법들은 특히 저품질 이미징 시나리오에서 이질적인 양상 간의 상보적 표현을 디커플링할 때, 전역적 문맥 정보와 미세한 세부 사항을 동시에 모델링하는 데 어려움을 겪는 경우가 많다.

방법론

저자들은 이러한 과제를 해결하기 위해 설계된 주파수 인식 다중 뷰 표현 학습 네트워크인 FMRFusion을 제안한다. 이 아키텍처는 듀얼 브랜치 하이브리드 프레임워크 내에서 합성곱 신경망(CNN)과 트랜스포머를 통합한다.

1. 듀얼 브랜치 하이브리드 아키텍처

네트워크는 인코딩 중 특징 간섭를 방지하기 위해 적외선 및 가시광선 입력에 대한 독립적인 브랜치를 채택한다:

• 얕은 특징 추출(Shallow Feature Extraction): 얕은 DRSformer 인코더(SDE)가 초기 특징을 추출한다. DRSformer 블록은 학습 가능한 파라미터 $K$를 사용하여 희소성(sparsity)을 동적으로 제어함으로써, 특징 상호작용 중 불필요한 정보를 필터링한다.
• 특징 분해(Feature Decomposition): 추출된 특징은 저주파(Base) 및 고주파(Detail) 성분으로 분해된다:
  • 트랜스포머 블록(TRB): 저주파 정보를 추출하고 장거리 의존성을 모델링하기 위해 공간적 셀프 어텐션(특히 LT 블록)을 활용한다.
  • 다중 스케일 구조 인지 모듈(MS-SPM): 미세한 지역 구조를 포착하도록 설계되었다. 이는 두 개의 서브 모듈로 구성된다:
    • 그래디언트 인식 블록(GAB): 구조적 에지를 보존하기 위해 소벨(Sobel) 연산자를 사용하여 그래디언트 크기를 계산하는 ResBlock 변형이다.
    • 강화된 어텐션 블록(EAB): 풍부한 문맥 정보를 효율적으로 포착하기 위해 큰 합성곱 커널(예: $21\times21$)을 더 작은 깊이별(depthwise) 커널($5\times5$ 또는 $7\times7$)로 분해한다.

2. 교차 뷰 상보적 상호작용(Cross-View Complementary Interaction, CVCI)

적외선 열 구조와 가시광선 색상/질감 사이의 관계를 명시적으로 모델링하기 위해, 융합 레이어에 라이튼 교차 어텐션(Lighten Cross-Attention, LCA) 모듈이 도입된다:

• 교차 어텐션 블록(CAB): 한 브랜치가 쿼리(query)를 생성하고 반대 양상이 키(key)와 값(value)을 제공하는 대칭적 듀얼 브랜치 구조를 사용하여, 상보적 정보를 통한 정교화를 보장한다.
• 강도 강화 및 색상 노이즈 제거: 레티넥스(Retinex) 이론에 기반하여, 이 모듈은 특징을 조도(illumance) 및 반사율(reflectance) 성분으로 분해하여 적외선 강도를 높이고 가시광선 특징의 색상 노이즈를 억제한다.

3. 플로우 매칭 기반 정교화(Flow-Matching Based Refinement)

의미론적 가이드 기반의 플로우 매칭 모듈이 3단계 후처리 정교화 전략으로 사용된다:

• 메커니즘: 이는 거친 융합 이미지($F_1$)와 의미론적 마스크를 조건부 사전 확률(conditional prior)로 취급한다. 조건부 U-Net은 가우시안 노이즈 사전 확률을 타겟 고품질 표현으로 이동시키는 속도장(velocity field)을 예측한다.
• 목적: 이 반복적인 프로세스는 융합된 특징을 점진적으로 정교화하며, 정답(ground-truth) 융합 이미지가 필요 없는 자기 지도 학습(self-supervised) 방식으로 고품질 표현으로의 변환을 학습하여 충실도와 지각적 품질을 향상시킨다.

4. 3단계 학습 전략

모델은 융합 과정의 서로 다른 측면을 최적화하기 위해 세 가지 별도의 단계로 학습된다:

1. 1단계 (분해): 재구성, 분해 및 그래디언트 일관성 손실을 사용하여 특징 추출 및 분해를 최적화한다.
2. 2단계 (융합): 강도 보존 및 특징 융합에 집중한다.
3. 3단계 (강화): 최종 출력을 정교화하기 위해 강도, 그래디언트 및 의미론적 일관성 제약 조건과 함께 플로우 매칭 손실을 사용한다.

주요 기여

본 논문은 주요 기여를 다음과 같이 요약한다:

• 듀얼 브랜치 하이브리드 아키텍처: 특징 간섭를 방지하기 위해 독립적인 브랜치 내에서 CNN의 효율성과 트랜스포머의 전역 모델링 능력을 결격한다.
• 주파수 분리 융합 메커니즘: 공유된 구조 정보(저주파)와 양상 특유의 세부 사항(고주파)을 명시적으로 분리하고 강화하는 새로운 모듈을 도입한다.
• 플로우 매칭 기반 정교화: 거친 데이터를 고품질 표현으로 매핑함으로써 융합된 특징을 반복적으로 향상시키는 패러다임을 제안하여 충실도와 강건성을 개선한다.

실험 결과

네 가지 적외선-가시광선 데이터셋(MSRS, TNO, Roadscene, M3FD)에 대해 광범-한 실험을 수행하였으며, 의료 영상 융합(MRI-CT, MRI-PET, MRI-SPECT) 및 다중 초점 이미지 융합 작업에서도 검증되었다.

• 정량적 성능: FMRFusion은 테스트된 모든 데이터셋에서 여러 지표(엔트로피, 표준 편차, 공간 주파수, 시각적 정보 충실도 등)에 대해 우수하거나 최첨단(SOTA) 성능을 달성했다. 예를 들어, MSRS 데이터셋에서 EN(6.907), SD(48.539), SF(13.486), AG(4.538)에서 가장 높은 점수를 기록했다.
• 정성적 성능: 시각적 비교를 통해 이 방법이 열 복사와 질감 세부 사항을 효과적으로 통합하며, SwinFusion, CDDFusion, TDFusion과 같은 경쟁 모델보다 배경 정보 손실을 최소화하고 전경 타겟을 더 잘 구별함을 입증했다.
• 일반화: 모델은 재학습 없이 의료 영상 융합 및 다중 초점 융합 작업에 직접 적용되었을 때도 일관된 성능을 보여, 교차 작업 일반화 능력을 입증했다.
• 다운스트림 태스크: MSRS 데이터셋을 사용한 YOLOv5 기반 객체 탐지 실험에서, FMRFusion에 의해 생성된 융합 이미지는 단일 양상 입력 및 다른 융합 방법들에 비해 "사람(Person)" 및 "자동차(Car)" 카테고리에 대해 더 높은 mAP 점수를 나타냈다.

의의 및 주장

본 논문은 FMRFusion이 다음과 같은 방식으로 이질적 데이터 융합의 핵심 과제를 해결한다고 주장한다:

1. 정보 손실 완화: 명시적인 고/저주파 분해는 단일 브랜치 아키텍처에서 흔히 발생하는 구조 및 강도 세부 사항의 손실을 방지한다.
2. 지역 및 전역 모델링의 균형: 하이브리드 전략은 그래디언트 민감 필터링과 전역 의존성 모델링을 통합하여, 열악한 이미징 조건에서도 견고한 구조적 일관성과 미세한 세부 사항 강화를 보장한다.
3. 교차 뷰 상호작용 강화: 교차 뷰 상보적 상호작용 모듈은 복사 강도와 반사된 구조적 단서 사이의 상보적 정보 교환을 명시적으로 촉진한다.
4. 점진적 정교화: 플ow 매칭 메커니즘은 융합 결과를 정교화하기 위한 연속적인 변환을 제공하여 돌출도(saliency)와 대비를 향상시킨다.

저자들은 이 방법이 표준 벤치마크에서 강력한 성능을 보여주며 일관된 교차 작업 일반화 능력을 입증함으로써, 특히 야간 환경과 같은 복잡한 시나리오에서의 다중 뷰 이미지 융합에 대한 효과성을 검증했다고 결론짓는다.