FDCNet: Frequency-Aware and Dynamic Curve Network for Adversarially Robust Infrared and Visible Image Fusion

기술 요약: 적대적 공격에 강건한 적외선 및 가시광선 이미지 융합을 위한 FDCNet

문제 정의
적외선 및 가시광선 이미지 융합(IVIF)은 상호 보완적인 다중 모달 정보를 통합하여 단일 센서의 한계를 극복하며, 자율 주행, 객체 추적, 돌출 객체 탐지 등에서 중요한 역할을 수행한다. 그러나 기존의 IVIF 방법들은 간섭이 없는 입력을 가정하므로, 의도적인 적대적 공격에 취약하다는 단점이 있다. 고전적인 적대적 알고리즘(예: FGIM, PGD, C&W)은 인지하기 어려운 미세한 섭동(perturbation)을 주입함으로써 모델 추론에 심각한 저하를 유발할 수 있다. 적대적 훈련을 통해 강건성을 높이려는 시도가 있었으나, 이는 종종 본질적인 트레이드오프를 발생시킨다. 즉, 고주파 적대적 노이즈를 억제하기 위해 설계된 전략들이 과도하게 보수적인 특징 억제로 이어져, 구조적 과도 평활화(over-smoothing), 세밀한 디테일 손실, 그리고 동적 범위의 축소를 초래하는 것이다. 이러한 저하는 복잡한 환경 조건 하에서 다운스트림 비전 작업의 성능 안정성을 근본적으로 제한한다.

방법론
적대적 방어와 특징 충실도(feature fidelity) 사이의 모순을 해결하기 위해, 저자들은 FDCNet(Frequency-Aware and Dynamic Curve Network)을 제안한다. 이 프레임워크는 U-Net 백본을 활용하는 엔드 투 엔드(end-to-end) 적대적 훈련 시스템으로 작동하며, 방어 효율성과 시각적 품질을 시너지 있게 균형 잡기 위해 세 가지 핵심 구성 요소를 통합한다.

1. 시공간-주파수 동적 적대적 손실 (LSFDA):
   최적화 단계에서 제안된 이 손실 함수는 구조적 충실도와 고주파 특징 제약 사이의 균형을 적응적으로 조절하여 강건한 훈련을 유도한다. 이는 내적 극대화(inner maximization)를 통해 의사 라벨(pseudo-labels)에 대한 적대적 섭동(PGD 활용)을 생성하고, 외적 최소화(outer minimization)를 통해 네트워크 파라미터를 업데이트하는 min-max 최적화 전략을 채택한다. 이 손실은 기초적인 구조적 공간 충실도 항과 정규화된 주파수 인식 허용 오차 항으로 구성된다. 후자는 이산 웨이브렛 변환(DWT)을 사용하여 저주파 및 고주파 서브밴드를 분리하며, 디테일 손실을 방지하면서도 과도한 노이즈를 억제하기 위해 고주파 성분에 "부드러운 상한선(soft upper-bound)" 제약을 부과한다. 다단계 동적 가중치 시스템은 훈련 과정 전반에 걸쳐 구조적 재구성 및 항간섭 능력 사이의 초점을 조정한다.

2. 주파수 인식 방어 모듈 (FADM):
   U-Net 백본의 멀티 스케일 스킵 연결(skip connection) 내에 내장된 이 모듈은 전방 항간섭 아키텍처 역할을 한다. 이는 5개의 **주파수 분리 주의 집중 블록(FDAB)**의 직렬 구조를 통해 계층 간 노이즈 침투를 차단한다. 각 FDAB 유닛은 다음을 수행한다:

   • 공간 평활화 및 웨이브렛 분리: 심층 분리 합성곱(depthwise separable convolutions)과 DWT를 사용하여 특징을 저주파(LL)와 고주파(LH, HL, HH) 서브밴드로 분리한다.
   • 아핀 가역적 주파수 생성 (AIFG): 아핀 커플링 블록(ACB)을 활용하여 특징을 추출하되, 엄격한 수학적 가역성을 통해 고주파 디테일을 보존함으로써 순방향 전파 과정에서의 정보 손실을 방지한다.
   • 가역적 방향성 이중 주의 집중 (IDDA): 거시적 특징 평활화를 위한 머서 글로벌 어텐션(MGA) 브랜치(커널 매핑을 통한 복잡도 감소)와 국소적 고주파 이상치를 처리하기 위한 로컬 윈도우 어텐션(LWA) 브랜치를 결합한다.
   • 잔차 재구성: 픽셀 셔플(pixel-shuffle)과 잔차 연결을 통해 정제된 서브밴드를 재조합하여 강건한 특징을 출력한다.

3. 극값 가이드 동적 톤 커브 모듈 (EDTC):
   후방 보상 메커니즘으로 설계된 EDTC는 LSFDA와 FADM 사이의 상호 제약을 해결한다. 레티넥스(Retinex) 이론과 커브 추정 전략에서 영감을 얻은 이 모듈은 예비 강건 특징을 다중 소스의 극값 분포(소스 이미지의 픽셀 단위 최대 포락선)와 결합하여 공간적 사전 정보(spatial prior)로 활용한다. 이 모듈은 경량 네트워크를 통해 픽셀 단위의 고차 비선형 매핑 파라미터를 예측하고 반복적인 이차 곡선 재구성을 실행한다. 이 과정은 픽셀 분포를 효과적으로 복원하여, 방어 시스템을 해치지 않으면서도 동적 범위 축소를 완화하고 시각적 선명도를 회복한다.

주요 기여

• LSFDA: 구조적 충실도와 고주파 제약 사이의 가중치를 동적으로 조절하는 새로운 손실 함수로, 기존의 적대적 방어와 관련된 디테일 손실을 완화한다.
• FADM: 스킵 연결 내에 주파수 분리 주의 집중 블록을 직렬 배치하여, 가역적 변환을 통해 저수준 공간 디테일을 보존하면서 고주파 적대적 노이즈를 차단하고 필터링하는 전방 아키텍처이다.
• EDTC: 다중 소스 극값 사전 정보를 활용하여 비선형 픽셀 매핑을 수행함으로써, 방어 모듈과 충실도 사이의 성능 트레이드오프를 효과적으로 해결하고 시각적 품질을 복원하는 후방 보상 메커니즘이다.
• 통합 프레임워크: 이 구성 요소들을 FDCNet으로 통합함으로써 적대적 강건성과 특징 충실도 사이의 시너지 있는 균형을 달야, 객관적 지표와 다운스트림 작업 안정성 모두에서 최첨단(SOTA) 방법들을 능가한다.

실험 결과
M³FD 및 MFNet 데이터셋에 대해 8개의 SOTA 융합 모델(SeAFusion, TarDAL, PAIF, A²RNet 포함)과 FDCNet을 비교하는 광범한 실험이 수행되었다.

• 융합 품질: 적대적 공격(PGD) 하에서 FDCNet은 5가지 객관적 지표(엔트로피(EN), 표준 편차(SD), 최대 신호 대 잡음비(PSNS), 상관 계수(CC), 구조적 차이 합계(SCD)) 전반에서 베이스라인 모델들을 지속적으로 능가했다. 정성적 분석 결과, FDCNet은 적대적 공격 상태에서도 깨끗한 상태와 비교했을 때 신호 파형의 편차가 최소화된 상태로 적외선의 열적 돌출성과 가시광선의 질감 디테일을 보존한 반면, 다른 방법들은 심각한 노이즈, 왜곡 또는 구조적 붕괴를 보였다.
• 다운스트림 작업 안정성: 융합된 이미지가 사전 훈련된 객체 탐지 및 시맨틱 세그멘테이션 네트워크에 입력되었을 때, FDCNet은 탁월한 강건성을 입증했다. M³FD 및 MFNet 데이터셋에서 FDCNet은 공격 조건 하에서 가장 높은 평균 정밀도(mAP)와 평균 IoU(mIoU)를 달성했으며, 타 모델 대비 성능 저하가 가장 작았다(예: M³FD에서 mAP 저하 단 0.012). 시각적 탐지 결과는 FDCNet이 모든 타겟(보행자 및 차량)을 높은 신뢰도로 성공적으로 탐지한 반면, 다른 모델들은 탐지 실패나 세그멘테이션 파편화를 겪었음을 확인시켜 주었다.
• 소거 연구(Ablation Studies): 실험을 통해 개별 모듈(LSFDA, FADM, EDTC)이 성능을 향상시키지만, EDTC 없이 결합된 운영 시에는 최적화 목표 간의 충돌로 인해 성능 제약이 발생함을 검증했다. 세 가지 구성 요소를 모두 포함한 전체 모델(M6)이 최적의 결과를 달성하여, 방어와 충실도를 조화시키는 데 있어 EDTC의 필요성을 확인했다.

의의
본 논문은 FDCNet이 적대적 섭동에 취약했던 영역인 IVIF 작업의 부작용을 효과적으로 완화한다고 주장한다. 주파수 인식 방어 전략과 동적 톤 커브 보상 메커니즘을 도입함으로써, 이 방법은 항간섭 면역력과 이미지 충실도 사이의 전통적인 트레이드오프를 성공적으로 극복했다. 결과는 FDCNet이 높은 충실도의 융합 결과를 유지할 뿐만 아니라, 적대적 환경에서 핵심적인 다운스트림 비전 작업(객체 탐지 및 시맨틱 세그멘테이션)의 성능을 크게 안정화한다는 것을 보여준다. 저자들은 멀티 스케일 주파수 분리와 비선형 반복 연산이 계산 복잡도를 증가시킨다는 점을 인정하며, 향후 연구가 실제 공학적 배포를 위한 경량화 설계 및 추론 효율성 최적화에 집중될 것임을 시사했다.