P2Fusion: Prompt-based Progressive Infrared-Visible Image Fusion via Dual-Prior Distillation

P²Fusion 기술 요약: 이중 사전 증류를 통한 프롬프트 기반 점진적 적외선-가시광선 이미지 융합

문제 정의

적외선-가시광선 이미지 융합(IVIF)은 상호 보완적인 열 복사(thermal radiation)와 질감 세부 사항을 통합하여 포괄적인 표현을 생성하는 것을 목표로 한다. 그러나 기존의 사전 가이드(prior-guided) 방식들은 세 가지 근본적인 한계에 직면해 있다:

1. 정적 제약(Static Constraints): 명시적인 모달리티별 하드 제약(예: 세그멘테이션 마스크)에 의존하는 방법들은 사전을 경직된 정규화 항으로 취급하는 경우가 많다. 이는 네트워크가 픽셀 수준의 특징 통합보다 사전 분포를 맞추는 데 우선순위를 두게 하여, 미세한 질감의 손실을 초래한다.
2. 최적화 충돌(Optimization Conflicts): 다운스트림 태스크(예: 객체 탐지)와의 공동 최적화는 종종 다중 목적 충돌을 유발하며, 이는 태스크 수준의 정확도를 높이려는 시도가 배경 세부 사항의 보존을 저해하는 결과를 낳는다.
3. 입도 불일치(Granularity Mismatch): 대규모 파운데이션 모델(예: CLIP, DINO)의 외재적 의미론적 가이드를 활용하는 최근의 추세는 고수준의 추상적 표현을 도입하는데, 이는 이미지 융합의 픽셀 수준 본질과 괴리되어 의미론과 저수준 질감 재구성 사이의 불일치를 발생시킨다.

방법론

저자들은 "Teach-to-Fuse" (T2F) 패러다임에 기반한 P²Fusion 프레임을 제안한다. 이 방법은 정적인 페널티를 부과하는 대신, 입력 이미지 자체로부터 내재적이고 동적인 프롬프트를 증류(distilling)함으로써 IVIF를 재정의한다.

1. 이중 교사 프롬프트 증류 (Dual-Teacher Prompt Distillation)
이 프레임워크는 경직된 사전 대신, 두 가지 상호 보완적인 내재적 속성에서 도출된 학습 가능하고 과정 지향적인 가이드 신호를 사용한다:

• 적외선 돌출 사전 ($T_{ir}$): SegFormer-B2 모델에 기반한 "열 돌출 교사(Thermal Saliency Teacher, IST)"가 고열 복사 타겟(보행자, 차량)을 국지화하기 위해 돌출 맵(saliency maps)을 생성한다. 이 맵들은 특정 타겟을 전경(foreground)으로 취급하도록 후처리되어 공간적 프롬프트 역할을 수행한다.
• 가시광선 품질 사전 ($T_{vis}$): BRISQUE 기반 평가기를 사용하는 "가시광선 품질 교사(Visible-Quality Teacher, VQT)"가 텍스처 신뢰도(예: 저노출 또는 과노출 영역 식별)를 평가하기 위한 글로벌 품질 점수를 생성한다.
  이러한 사전들은 학습 가능한 프롬프트($P_{ir}, P_{vis}$)로 투영되어 특징 스트림에 임베딩되며, 이를 통해 정적인 제약을 동적인 조절기로 변환한다.

2. 게이트형 동적 전문가 재보정(GDER)을 통한 적응형 융합
열적 윤곽과 질감 세부 사항 사이의 이질성을 처리하기 위해, 아키텍처는 게이트형 동적 전문가 재보정 (Gated Dynamic Expert Recalibration, GDER) 모듈을 채택한다. 용량 확장을 위해 사용되는 전통적인 혼합 전문가(Mixture-of-Experts, MoE)와 달리, GDER은 특징 디커플링(decoupling) 및 정교화를 위한 자기 수정 피드백 메커니즘으로 기능한다:

• 사전 반응형 모달리티 전문가 ($E_{mod}$): 동적 프롬프트를 명시적으로 소비하여 모달리티 특유의 돌출 정보(예: 열 타겟 또는 고대비 텍스처)를 강화한다.
• 사전 무관 어텐션 전문가 ($E_{att}$): 프롬프트와 독립적으로 작동하며, 글로벌 어텐션 메커니즘(CBAM)을 활용하여 내재적인 장거리 의존성과 미세한 구조적 세부 사항을 발굴하는 컨텍스추얼 보상자(contextual compensator) 역할을 한다.
• 게이팅 메커니즘: 게이팅 네트워크는 로컬 특징과 글로벌 프롬프트 간의 상호 합의를 바탕으로 동적 가중치를 계산한다. 이를 통해 네트워크는 융합 전략을 적응적으로 재보정하고, 충돌하는 특징을 분리하며 편향된 신호를 교정할 수 있다.

3. 최적화 목적 함수
전체 손실 함수($L_{total}$)는 지각적 제약(Gradient, Intensity, SSIM 손실)과 프롬프트 증류 손실을 결합한다. 증류 손실(가시광선 품질을 위한 MSE, 적외선 돌출을 위한 Binary Cross-Entropy)은 학습 가능한 프롬프트가 하드코딩된 페널티를 부과하지 않으면서도 교사 신호와 정렬되도록 보장한다.

주요 기여

• Teach-to-Fuse 패러다임: 저자들은 정적인 사전 제약에서 동적인 프롬프트 기반 가이드로의 전환을 제안한다. 이 접근 방식은 페널티를 과정 지향적 가이드로 변환하여 모달리티의 내재적 속성 추출을 극대화한다.
• GDER 모듈: 사전 가이드형 모달리티 전문가와 글로벌 인지형 어텐션 전문가를 결합하여 충돌하는 특징을 적응적으로 디커플링할 수 있는 특화된 MoE 기반 자기 수정 메커니즘을 개발하였다.
• 포괄적 벤치마킹: 이 프레임워크는 5개의 공개 데이터셋(MSRS, M3FD, FMB, RoadScene, DroneVehicle)과 10개 이상의 벤치마크 태스크를 통해 평가되었으며, 연기 폐쇄 및 극심한 과노출을 포함한 다양한 시나리오에서의 견고함을 입증하였다.

실험 결과

• 융합 품질: P²Fusion은 4개의 주요 데이터셋(MSRS, M3FD, FMB, RoadScene)에 걸친 16개 핵심 평가 지표 중 12개에서, 그리고 DroneVehicle 데이터셋에서 4개 지표 중 2개를 포함하여 총 20개 핵심 지표 중 14개에서 최첨단(SOTA) 성능을 달ien했다. 시각적 충실도 측면에서 적외선 돌출 타겟과 가시광선 텍스처를 모두 보존하며 12개의 기존 SOTA 방법들(SAGE, DiTFuse, FreeFusion 포함)을 일관되게 능가한다.
• 다운스트림 인지: 융합된 이미지는 다음과 같이 다운스트림 태스크를 크게 향상시킨다:
  • 객체 탐지(Object Detection): MSRS에서 +3.2% mAP, M3FD에서 +0.5% mAP, DroneVehicle에서 +0.9% mAP 향상.
  • 시맨틱 세그멘테이션(Semantic Segmentation): MSRS 및 FMB 데이터셋에서 mPA 및 mIoU의 일관된 상승.
• 견고성 및 OOD: 항공 관점 및 심각한 시야 저하를 특징으로 하는 DroneVehicle 데이터셋의 분포 외(Out-of-Distribution, OOD) 검증에서, P²Fusion은 도메인 특화 미세 조정 없이도 SOTA 성능을 유지하며 미지의 가혹한 환경에 대한 우수한 적응력을 보여주었다.

의의 및 주장

본 논문은 P²Fusion이 "정적 제약"에서 "동적 내재적 프롬프팅"으로 패러다임을 전환함으로써 기존 프레임워크의 고유한 사전 의존성 문제를 효과적으로 해결한다고 주장한다. 이미지 데이터의 본질로 돌아가 내생적이고 동적인 조절기를 활용함으로써, 이 방법은 시각적 미학과 태스크 성능 사이의 견고한 균형을 달성한다. 저자들은 이 접근 방식이 고수준의 물리적 가이드와 적응형 특징 표현 사이의 간극을 메우며, 기존의 사전 가이드 방식에서 발견되는 최적화 충돌과 입도 불일치를 완화하는 다중 모달 인지를 위한 다각적인 솔루션을 제공한다고 단언한다.