1. 연구 배경 및 문제 정의 (Problem)

적외선 (Infrared) 과 가시광선 (Visible) 이미지 융합 (IVIF) 은 열적 표적과 풍부한 질감 정보를 결합하여 객체 감지, 분할 등 하위 작업의 성능을 향상시키는 중요한 기술입니다. 그러나 기존 융합 알고리즘의 발전에 비해 품질 평가 (Evaluation) 분야는 다음과 같은 심각한 한계를 겪고 있습니다.

• 일관성 부족 (Inconsistency): 기존 평가 지표들은 다른 비전 작업 (초해상도, 노이즈 제거 등) 에서 차용된 것으로, 융합 작업의 고유한 특성 (다중 모달리티, 환경 의존성) 을 반영하지 못합니다. 이로 인해 시각적으로 더 좋은 융합 결과가 낮은 점수를 받거나, 그 반대의 경우가 빈번하게 발생합니다.
• 비효율성 (Inefficiency): 기존 지표들은 이산 코사인 변환 (DCT) 이나 웨이블릿 변환과 같은 복잡한 신호 처리 기법을 기반으로 하며, 각 지표를 계산할 때마다 별도의 실행이 필요합니다. 예를 들어, LLVIP 테스트 세트 (3,463 장) 를 평가하는 데 전통적인 방법으로는 24 시간 이상 소요되지만, EvaNet 은 1 분 미만으로 완료합니다.
• 환경적 맥락 부재: 기존 지표는 적외선과 가시광선 모달리티를 고정된 가중치로 동일하게 취급하지만, 실제 장면 (저조도, 가림 등) 에 따라 각 모달리티의 신뢰도는 달라져야 합니다. 이를 고려하지 않으면 평가의 신뢰성이 떨어집니다.

2. 제안 방법론: EvaNet (Methodology)

저자들은 이러한 문제를 해결하기 위해 EvaNet이라는 경량화된 학습 기반 평가 프레임워크를 제안했습니다. 이는 "분할 정복 (Divide-and-Conquer)" 전략과 환경 인식 (Environment-aware) 메커니즘을 핵심으로 합니다.

A. 아키텍처 및 핵심 구성 요소

EvaNet 은 세 가지 주요 브랜치로 구성된 단일 네트워크입니다.

1. 모달리티 분해 (Modality Decomposition):

   • 융합된 이미지를 다시 적외선 성분과 가시광선 성분으로 분해합니다.
   • 이를 위해 FusionBooster 에서 영감을 받은 경량화된 **정보 탐침 (Information Probe)**을 사용합니다.
   • 분해된 성분 ($\hat{I}_{ir}, \hat{I}_{vis}$) 과 원본 소스 이미지 ($I_{ir}, I_{vis}$) 간의 유사성을 개별적으로 측정하여 각 모달리티가 얼마나 잘 보존되었는지 정밀하게 평가합니다.

2. 환경 인식 브랜치 (Environment-aware Branch):

   • 장면의 조명 조건 (밝기) 과 가림 정도 (Obscuration) 를 평가하여 가시광선 모달리티의 신뢰도를 조정합니다.
   • **대규모 언어 모델 (LLM, ChatGPT-4o 등)**을 활용하여 훈련 데이터의 장면별 조명 및 가림 상태를 자동으로 라벨링하고, 이를 통해 환경 적응형 가중치 ($ENV$) 를 학습합니다.
   • 저조도나 가림이 심한 환경에서는 가시광선 모달리티의 점수에 페널티를 부과하여 평가의 맥락적 타당성을 높입니다.

3. 다중 헤드 예측 (Multi-head Prediction):

   • 하나의 순전파 (Forward pass) 를 통해 여러 개의 기존 융합 지표 (VIF, Qabf, SSIM, PSNR 등 8 가지) 를 동시에 예측합니다.
   • 이는 기존 방식이 각 지표를 순차적으로 계산하는 것과 대조적으로, 평가 속도를 획기적으로 개선합니다.

B. 학습 전략

• 대조 학습 (Contrastive Learning): 분해된 성분과 원본 이미지는 '양 (Positive)' 쌍으로, 무관한 이미지 쌍은 '음 (Negative)' 쌍으로 구성하여 네트워크가 관련성 있는 정보와 그렇지 않은 정보를 명확히 구분하도록 학습시킵니다.
• 손실 함수: 적외선/가시광선 모달리티의 지표 회귀 손실과 환경 인식 손실을 결합하여 총손실을 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 학습 기반 IVIF 평가 프레임워크: IVIF 분야에서 전통적인 신호 처리 기반 평가를 대체하여 일관성과 효율성을 동시에 개선한 최초의 학습 기반 모델입니다.
2. 초고속 다중 지표 예측: 단일 순전파로 8 가지 지표를 동시 예측하여 기존 방법 대비 최대 1,000 배 이상 빠른 평가 속도를 달성했습니다.
3. 세분화된 평가 메커니즘: LLM 기반의 환경 인식 모듈을 도입하여 장면 조건에 따라 모달리티 기여도를 동적으로 조정함으로써, 기존 고정 가중치 방식의 한계를 극복했습니다.
4. 일관성 평가 프로토콜 (Metric Consistency, MC): GT(Ground Truth) 가 없는 IVIF 환경에서, 제 3 자의 무참조 품질 평가 모델 및 하위 작업 (객체 감지, 분할) 성능을 기준으로 평가 지표의 신뢰성을 정량화하는 새로운 프로토콜을 제안했습니다.

4. 실험 결과 (Results)

• 효율성: LLVIP 전체 테스트 세트 (3,463 장) 에 대한 8 가지 지표 평가에 10.8 초가 소요되었으며, 이는 기존 방법 (24 시간 이상) 대비 약 1,000 배의 속도 향상을 보여줍니다.
• 일관성 향상:
  • 시각적 일관성 ($MC_{deep}$): DeepIQA 를 기준으로 할 때, EvaNet 은 대부분의 기존 지표 (VIF, Qabf, SSIM 등) 의 일관성 점수를 크게 향상시켰습니다.
  • 하위 작업 일관성 ($MC_{ds}$): 객체 감지 및 분할 성능을 기준으로 할 때, EvaNet 으로 보정된 지표들은 실제 다운스트림 작업 성능과 더 높은 상관관계를 보였습니다.
• 일반화 능력: MSRS 데이터셋 등 다른 데이터셋에서도 EvaNet 은 일관성 있게 성능을 발휘하며, 참조가 없는 지표 (Entropy 등) 에 대해서도 개선된 평가를 제공함을 확인했습니다.
• 정성적 분석: 시각적 결함이 있는 융합 결과를 기존 지표는 높게 평가했으나, EvaNet 은 이를 올바르게 낮게 평가하여 인간 시각 지각 및 하위 작업 성능과 더 잘 일치함을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 이미지 융합 연구의 병목 현상이었던 평가 단계의 비효율성과 신뢰성 문제를 해결했습니다. EvaNet 은 단순한 속도 개선을 넘어, 환경 맥락을 고려한 지능형 평가를 가능하게 함으로써 융합 알고리즘 개발의 방향성을 올바르게 설정하는 데 기여합니다. 또한, 학습 기반의 일관성 평가 프로토콜은 GT 가 없는 다양한 멀티모달 비전 작업의 평가 표준을 제시한다는 점에서 학술적, 실용적 가치가 매우 큽니다.

결론적으로, EvaNet 은 이미지 융합 분야에서 더 빠르고, 더 정확하며, 더 인간적인 시각에 부합하는 평가 체계를 확립하는 중요한 이정표가 됩니다.