CAWM-Mamba: A unified model for infrared-visible image fusion and compound adverse weather restoration

이 논문은 안개, 비, 눈 등 복합적인 악기상 조건에서도 단일 또는 복합적인 기상 저하를 동시에 처리하고 적외선 - 가시광선 이미지 융합을 수행하는 최초의 엔드 - 투 - 엔드 프레임워크인 CAWM-Mamba 를 제안하여 자율주행 및 UAV 모니터링과 같은 실제 응용 분야에서 기존 방법보다 뛰어난 성능을 입증했습니다.

핵심

안개, 비, 눈이 섞인 날에도 선명한 눈을: 'CAWM-Mamba' 소개

안녕하세요! 오늘 소개해 드릴 논문은 **'CAWM-Mamba'**라는 이름의 새로운 인공지능 기술에 관한 것입니다. 이 기술은 우리가 일상에서 겪는 비, 눈, 안개가 섞인 나쁜 날씨 속에서도 카메라가 선명한 사진을 찍고, 그 사진을 분석할 수 있게 도와줍니다.

이 기술을 쉽게 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

1. 왜 이 기술이 필요한가요? (문제 상황)

상상해 보세요. 운전대를 잡고 비가 억수같이 내리면서 안개까지 끼고, 눈까지 날리는 날을 말입니다.

• 가시광선 카메라 (일반 카메라): 비와 눈, 안개 때문에 앞이 잘 안 보입니다. 마치 안개 낀 유리창을 통해 세상을 보는 것과 같습니다.
• 적외선 카메라 (열화상 카메라): 열을 감지하므로 안개나 비를 어느 정도 뚫고 볼 수 있지만, 그림자나 세부적인 질감 (예: 도로의 표시선, 사람 옷의 무늬) 은 흐릿하게 보입니다.

기존의 기술들은 보통 **'비만 오는 날'**이나 '안개만 낀 날' 중 하나만 해결할 수 있었습니다. 하지만 비와 눈이 동시에 오고 안개까지 끼는 **'복합적인 나쁜 날씨'**에서는 기존 기술들이 혼란에 빠져 제대로 된 사진을 만들어내지 못했습니다. 마치 비가 오는데 우산만 챙기고 눈에는 장갑을 끼지 않은 것과 같습니다.

2. CAWM-Mamba 는 어떤 해결책을 제시할까요?

이 연구팀은 **"우리는 비, 눈, 안개가 섞인 모든 상황을 한 번에 해결할 수 있는 만능 카메라 시스템"**을 만들었습니다. 이를 CAWM-Mamba라고 부릅니다.

이 시스템은 크게 세 가지 핵심 도구로 작동합니다.

① 날씨 감지 선구자 (WAPM - 날씨 인식 전처리 모듈)

비유: "비행기 조종사가 안개 낀 날을 보며 "오늘은 안개와 비가 섞였구나"라고 먼저 파악하는 것"

이 모듈은 들어온 나쁜 날씨 사진을 먼저 분석합니다.

• "아, 여기는 안개가 짙고, 여기는 비가 내리는구나"라고 **전체적인 날씨 상황 (날씨 임베딩)**을 파악합니다.
• 그리고 흐릿해진 가시광선 사진의 특징을 미리 강화해 줍니다. 마치 안개 낀 창문을 닦아주는 것 같은 역할입니다.

② 두 눈의 대화 (CFIM - 교차 모드 특징 상호작용 모듈)

비유: "한쪽 눈은 열화상 (적외선) 으로 '뜨거운 물체'를 보고, 다른 쪽 눈은 일반 카메라로 '세부 묘사'를 보는 두 사람이 서로 정보를 주고받으며 그림을 완성하는 것"

적외선 사진과 가시광선 사진은 서로 다른 정보를 가지고 있습니다.

• 이 모듈은 두 사진이 서로의 부족한 점을 채워주도록 밀접하게 대화시킵니다.
• 적외선의 '열 정보'와 가시광선의 '세부 정보'를 섞어서, 비가 오더라도 선명한 도로 표시선과 뜨거운 엔진을 동시에 볼 수 있게 만들어줍니다.

③ 주파수 해부수술사 (WSSB - 웨이블릿 공간 상태 블록)

비유: "복잡한 소음 (비, 눈, 안개) 을 주파수 (음의 높낮이) 로 나누어 각각 다른 도구를 사용해 제거하는 정교한 수술"

이것이 이 기술의 가장 혁신적인 부분입니다.

• 웨이블릿 변환: 이미지를 '저주파 (전체적인 형태, 안개)'와 '고주파 (세부적인 모서리, 빗방울)'로 나눕니다.
• Freq-SSM (방향성 스캐너): 빗방울은 특정 방향으로 떨어지고, 눈은 다르게 날립니다. 이 모듈은 빗방울이 떨어지는 방향이나 눈이 날리는 방향을 정확히 파악하여, 그 방향으로만 나쁜 날씨를 제거합니다. 다른 방향의 좋은 정보는 건드리지 않고요.
• 공통 손상 공간 (CDSM): 비, 눈, 안개는 서로 다르지만, 모두 '날씨로 인한 손상'이라는 공통점이 있습니다. 이 모듈은 다양한 날씨 손상을 하나의 공통된 언어로 이해하여, 어떤 나쁜 날씨가 오더라도 유연하게 대처할 수 있게 합니다.

3. 이 기술의 놀라운 성과

연구팀은 이 기술이 비 + 안개, 눈 + 비 등 여러 가지 나쁜 날씨가 섞인 상황에서도 기존 최고 기술들보다 훨씬 뛰어난 결과를 냈다고 발표했습니다.

• 화질: 흐릿했던 사진이 선명해지고, 색감이 자연스럽게 복원됩니다.
• 실용성: 단순히 사진만 예쁘게 만드는 게 아닙니다. 이 선명한 사진을 바탕으로 자동차가 보행자를 인식하거나 (객체 감지), 도로를 구분하는 (세그멘테이션) 등 실제 자율주행이나 드론 감시에서 훨씬 더 정확하게 작동하게 해줍니다.
• 효율성: 다른 복잡한 인공지능 모델들보다 계산 속도가 훨씬 빠르고 가볍습니다. 마치 고성능 스포츠카처럼 빠르면서도 연비 (자원 소모) 가 좋습니다.

4. 결론: 왜 이 기술이 중요한가요?

CAWM-Mamba는 "날씨가 나쁘면 카메라는 무용지물이다"라는 옛말을 깨뜨린 기술입니다.

비, 눈, 안개가 동시에 몰아치는 극한의 상황에서도 두 가지 카메라의 장점을 합쳐 선명한 '진짜 세상'을 보여줍니다. 이는 자율주행차가 나쁜 날씨에도 안전하게 길을 찾고, 구조대가 재난 현장에서 실종자를 찾는 데 큰 도움을 줄 것입니다.

간단히 말해, 이 기술은 나쁜 날씨 속에서도 우리의 '눈'을 맑게 해주는 마법의 안경과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 적외선 (IR) 과 가시광선 (VI) 이미지 융합 (IVIF) 은 자율주행, UAV 감시, 군사 정찰 등 다양한 분야에서 핵심 기술로 자리 잡고 있습니다. IR 은 열적 특성을 통해 연기나 장애물을 투과할 수 있지만 해상도와 질감이 부족하고, VI 는 풍부한 질감과 색상을 제공하지만 빛의 감쇠와 악천후에 취약합니다.
• 문제점:
  1. 복합 악천후의 부재: 기존 대부분의 융합 방법은 이상적인 조건이나 단일 악천후 (안개, 비, 눈 중 하나) 만을 가정합니다. 그러나 실제 환경에서는 안개와 비, 눈과 비 등 여러 악천후가 동시에 발생하는 복합 (Compound) 상황이 빈번합니다.
  2. 기존 방법의 한계: 복합 악천후 하에서는 기존 방법들이 융합 품질이 급격히 저하되거나, 별도의 전처리 (복원 후 융합) 단계를 거치며 효율성이 떨어집니다. 또한, 단일 파손 유형만 학습한 모델은 복합적인 노이즈 패턴을 처리하지 못합니다.
  3. 방향성 및 주파수 특성의 무시: 비나 눈과 같은 악천후 노이즈는 특정 방향성과 주파수 대역에 집중되는 특성이 있으나, 기존 CNN 이나 Transformer 기반 모델은 이를 효과적으로 분리해내지 못합니다.

2. 제안 방법론: CAWM-Mamba (Methodology)

저자들은 Compound Adverse Weather Mamba (CAWM-Mamba) 를 제안했습니다. 이는 이미지 융합과 복합 악천후 복원을 단일 엔드 - 투 - 엔드 (End-to-End) 프레임워크로 통합하며, 공유 가중치를 사용하여 효율성을 극대화합니다.

주요 구성 요소는 다음과 같습니다:

1) 날씨 인식 전처리 모듈 (Weather-Aware Preprocess Module, WAPM)

• 기능: 손상된 가시광선 이미지의 특징을 강화하고, 전역적인 날씨 정보를 임베딩 (Embedding) 으로 추출합니다.
• 작동 원리: 가시광선 이미지의 특징을 추출한 후 전역 평균 풀링 (Global Average Pooling) 을 통해 날씨 관련 전역 특징 벡터를 생성합니다. 이를 통해 후속 모듈이 이미지의 전체적인 날씨 조건 (안개, 비, 눈의 강도 등) 을 인지하도록 돕습니다.

2) 교차 모드 특징 상호작용 모듈 (Cross-modal Feature Interaction Module, CFIM)

• 기능: IR 과 VI 이미지 간의 이질적인 모달리티를 정렬하고 상호 보완적인 특징을 교환합니다.
• 작동 원리: 다중 스케일 풀링 (MaxPooling, AvgPooling) 을 통해 IR 의 열적 윤곽과 VI 의 질감/색상 정보를 각각 추출한 후, 어텐션 메커니즘을 통해 가중치를 부여하여 융합합니다. 이를 통해 구조와 질기의 정밀한 보완을 달성합니다.

3) 웨이블릿 공간 상태 블록 (Wavelet Space State Block, WSSB)

• 핵심 아이디어: 복합 악천후의 노이즈를 주파수 영역에서 분리 (Decouple) 하기 위해 웨이블릿 변환 (Wavelet Transform) 과 선택적 상태 공간 모델 (Mamba/SSM) 을 결합했습니다.
  • 주파수 분리: 웨이블릿 변환을 통해 이미지를 저주파 (전체 구조, 안개 등) 와 고주파 (방향성 디테일, 비/눈 줄무늬 등) 로 분해합니다.
  • Freq-SSM (Frequency-Selective SSM): 고주파 성분 (수평, 수직, 대각선) 에 대해 방향성 스캐닝 (Directional Scanning) 을 수행합니다. 일반적인 2D-SSM 과 달리, 각 서브밴드의 주된 방향에 맞춰 스캔 경로를 조정하여 비나 눈과 같은 이방성 (Anisotropic) 고주파 노이즈를 중복 없이 정확하게 모델링합니다.
  • CDSM (Common Degradation Space Mechanism): 다양한 악천후 유형에 공통적으로 적용 가능한 통합 파손 표현 (Unified Degradation Representation) 을 학습하여 모델의 일반화 능력을 향상시킵니다.

4) 손실 함수 (Loss Functions)

• 주파수 영역의 일관성을 보장하기 위해 웨이블릿 손실 (Wavelet Loss) 을 도입했으며, 밝기, 색상, 지각적, 경계, 구조적 유사성 손실 등을 종합하여 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 프레임워크: 단일 악천후가 아닌 복합 악천후 (예: 비+안개, 눈+비) 하에서 이미지 융합과 복원을 동시에 수행하는 최초의 엔드 - 투 - 엔드 모델입니다.
2. WAPM 과 CFIM 도입: 전역 날씨 정보를 임베딩하여 융합 품질을 높이고, IR 과 VI 간의 특징 정렬을 위한 효율적인 상호작용 메커니즘을 제안했습니다.
3. WSSB 와 Freq-SSM 개발: 웨이블릿 도메인 분해와 방향성 SSM 을 결합하여 복합 악천후의 이방성 고주파 노이즈를 정밀하게 제거하고, 통합 파손 표현을 통해 다양한 기상 조건에서의 일반화 성능을 확보했습니다.
4. 범용성 입증: 복합 및 단일 악천후 시나리오뿐만 아니라, 이상적인 조건 (Clean Image) 에서도 최상의 성능을 보이며, 하류 작업 (객체 감지, 세그멘테이션) 에서도 우수한 결과를 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: AWMM-100K (복합/단일 악천후용), LLVIP, MSRS, M3FD (표준 융합용) 를 사용했습니다.
• 정량적 평가:
  • 복합 악천후 (Haze&Rain, Rain&Snow 등): QMI, Qabf, SSIM 등 9 가지 지표에서 기존 SOTA 방법 (AWFusion, FusionBooster 등) 보다 압도적으로 높은 점수를 기록했습니다. 특히 'Avg. Rank'에서 1.00~1.22 로 1 위를 차지했습니다.
  • 단일 악천후: 비, 안개, 눈 각각의 시나리오에서도 모든 지표에서 1 위를 기록했습니다.
  • 표준 융합 (Clean): 악천후에 특화된 모델임에도 불구하고, 이상적인 조건에서도 기존 모델들과 경쟁력 있거나 더 나은 성능을 보였습니다.
• 하류 작업 (Downstream Tasks):
  • 객체 감지 (YOLOv7): 융합된 이미지를 이용한 객체 감지 정확도 (mAP) 가 가장 높았으며, 통계적으로 유의미한 개선을 보였습니다.
  • 시맨틱 세그멘테이션 (BANet): mIoU(평균 교차 합계) 가 모든 클래스에서 최상위권을 기록했습니다.
• 계산 효율성:
  • Transformer 기반 모델 (AWFusion 등) 에 비해 선형 복잡도 (Linear Complexity) 를 가진 Mamba 아키텍처를 사용하여 연산량 (FLOPs) 이 약 1/11 수준으로 감소했습니다 (371.01 G vs 4167.20 G). 이는 UAV 나 자율주행 차량과 같은 리소스 제약 환경에서의 배포 가능성을 의미합니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 자율주행, UAV 감시, 군사 정찰 등 실제 환경에서 발생하는 복합 악천후 조건에서도 안정적인 영상 인식을 가능하게 하여, 안전성과 신뢰성을 크게 향상시킵니다.
• 기술적 혁신: 웨이블릿 변환의 주파수 분리 특성과 Mamba 의 효율적인 시퀀스 모델링을 결합하여, 기존 딥러닝 모델이 해결하지 못했던 '방향성 노이즈'와 '복합 파손' 문제를 효과적으로 해결했습니다.
• 일반화 능력: 학습 데이터와 다른 실제 환경 (Zero-shot Sim-to-Real) 에서도 뛰어난 성능을 발휘하여, 실제 적용 가능성 (Deployment) 을 입증했습니다.

결론적으로, CAWM-Mamba 는 복잡한 기상 조건 하에서도 고품질의 멀티모달 이미지 융합을 실현하고, 이를 통해 하류 컴퓨터 비전 작업의 성능을 극대화하는 획기적인 모델입니다.