기술 요약: FuScore – 다중 모달 대규모 언어 모델을 적외선-가시광선 이미지 융합 품질 평가에 적용

1. 문제 제기

적외선-가시광선 이미지 융합 (IVIF) 은 열 정보와 상세한 공간 구조를 단일 융합 이미지로 통합하는 것을 목표로 합니다. 그러나 이러한 융합 이미지의 품질을 평가하는 것은 여전히 중요한 과제입니다. 기존 평가 접근법은 두 가지 주요 한계를 겪고 있습니다:

1. 인간 지각과의 불일치: 전통적인 손으로 설계된 무참조 지표 (예: 엔트로피, 상호 정보량, VIF) 와 참조 이미지 쌍을 가짜 정답으로 간주하는 완전참조 지표 (예: SSIM, PSNR) 는 종종 인간의 지각적 선호도를 반영하지 못합니다. 오히려 시각적으로 열악한 융합 이미지에 더 높은 점수를 부여하기도 합니다.
2. 현재 MLLM 기반 접근법의 한계: 최근 IVIF 품질 평가를 위해 다중 모달 대규모 언어 모델 (MLLM) 을 사용하려는 노력들은 일반적으로 이산적인 원-핫 (one-hot) 감독 (단일 품질 수준 예측) 또는 집계된 점수에 대한 스칼라 회귀에 의존합니다.
   • 이산적 감독: 유사한 품질의 융합 이미지를 서로 다른 엄격한 등급 수준 (예: 4 등급 대 3 등급) 으로 강제 분류하여 미묘한 지각적 차이를 무너뜨립니다.
   • 스칼라 회귀: 인간의 평점을 학습하지만 MLLM 의 추론 능력을 활용하지 못하거나 특정 이미지에 대한 인간 판단의 '합의 (또는 모호성)'를 인코딩하지 못합니다.

해결된 핵심 질문은 다음과 같습니다: MLLM 이 이미지별 주석 합의 (consensus) 를 인코딩하는 감독 하에 연속적인 IVIF 품질 점수를 생성할 수 있는 방법은 무엇인가?

2. 방법론: FuScore

저자들은 이산적 수준이 아닌 연속적인 품질 점수를 생성하는 MLLM 기반 스코어러인 FuScore를 제안합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

A. 분산 출력을 통한 연속 점수 생성

MLLM 이 단일 품질 토큰을 출력하도록 훈련하는 대신, FuScore 는 5 개의 사전 정의된 품질 수준 토큰 ($L = \{1, 2, 3, 4, 5\}$) 에 대한 디코딩 확률을 활용합니다.

• 모델은 이러한 토큰에 대한 범주형 분포 $q_i(l)$을 출력합니다.
• 최종 연속 점수 $\hat{y}_i$는 이 분포의 기댓값으로 계산됩니다: $\hat{y}_i = \sum l \cdot q_i(l)$.
• 이를 통해 모델은 $[1, 5]$ 범위 내에서 미세한 실수 값을 갖는 점수를 할당하여 이산적 감독이 놓칠 수 있는 미묘한 품질 차이를 포착할 수 있습니다.

B. 서브-차원 인식 소프트 라벨 구성

예측된 분포를 감독하기 위해 FuScore 는 각 이미지에 대해 "소프트 라벨" $p_i$를 구성합니다. 이 라벨의 중심은 전체 인간 점수이지만, 그 **선명도 (폭)**는 4 가지 IVIF 특정 서브-차원 간의 합의에 따라 동적으로 조절됩니다:

1. 열 유지 (Thermal Retention)
2. 질감 보존 (Texture Preservation)
3. 아티팩트 (Artifacts)
4. 선명도 (Sharpness)

저자들은 이 네 가지 서브-차원 점수의 표준 편차를 합의 신호 $\delta_i$로 정의합니다.

• 높은 합의 (낮은 $\delta_i$): 서브-차원들이 일치할 때, 소프트 라벨은 전체 점수 주변에 날카롭게 집중됩니다.
• 낮은 합의 (높은 $\delta_i$): 서브-차원들이 불일치할 때, 전체 판단이 덜 합의된 것을 반영하기 위해 라벨이 넓어집니다.
  이 접근법은 감독 대상이 특정 이미지에 내재된 인간 주석의 모호성을 충실히 반영하도록 보장합니다.

C. 삼분할 훈련 목적 함수

FuScore 는 다양한 범위에서의 순위 평가를 해결하기 위해 복합 손실 함수를 사용합니다:

1. 이미지별 분산 감독 ($\mathcal{L}_{KL}$): 커널-라이브 (Kullback–Leibler) 발산을 사용하여 예측 분포를 소프트 가우시안 라벨에 정렬합니다.
2. 동일 소스 쌍 내 충실도 ($\mathcal{L}_{fid}$): 동일한 소스 쌍 (동일한 장면) 에서의 이미지들에 대해 서스톤 (Thurstone) 스타일의 쌍별 충실도를 강제합니다. 이는 방법론 수준의 순서를 포착합니다. 쌍별 마진은 소프트 라벨의 폭에서 유도되어 비교 시 불확실성을 인식합니다.
3. 교차 소스 쌍 충실도 ($\mathcal{L}_{xfid}$): 서로 다른 소스 쌍 (서로 다른 장면) 간에 서스톤 스타일의 충실도를 강제합니다. 이는 장면 수준의 난이도 변이를 포착하고 모델이 장면 간에 일반화되도록 보장합니다.

총 손실은 가중 합입니다: $\mathcal{L} = \mathcal{L}_{KL} + \lambda_{fid}\mathcal{L}_{fid} + \lambda_{xfid}\mathcal{L}_{xfid}$.

3. 주요 기여

1. FuScore: 분산 수준 감독으로 훈련된 최초의 MLLM 기반 IVIF 품질 스코어러로, 융합 이미지에 대한 연속 점수를 생성할 수 있습니다.
2. 서브-차원 인식 소프트 라벨: 4 가지 IVIF 특정 서브-차원 간의 합의에 따라 라벨 선명도를 조절하는 새로운 라벨 구성 방법으로, 감독이 인간 판단의 합의를 반영하도록 합니다.
3. 삼분할 훈련 목적 함수: 이미지별 분산 매칭, 동일 소스 쌍 내 충실도, 교차 소스 쌍 충실도를 결합한 공동 최적화 전략으로, 서브-차원 합의에서 유도된 불확실성 인식 마진을 활용합니다.

4. 실험 결과

실험은 EVAFusion 벤치마크 (9,350 개의 융합 이미지, 850 개의 소스 쌍) 와 새로운 SemanticRT 5-전문가 파일럿 데이터셋에서 수행되었습니다.

• 최첨단 상관관계: FuScore 는 보고된 모든 순위 지표 (SRCC, PLCC, KRCC, PairAcc, Per-SP $\tau$) 에서 인간 시각적 선호도와 가장 높은 상관관계를 달성했습니다.
  • EVAFusion 에서 3-시드 앙상블은 SRCC 0.648을 달성하여 가장 강력한 외부 베이스라인 (ViT-L+MLP) 보다 +0.094만큼 우월했습니다.
  • 제로샷 자연 이미지 IQA 모델 (예: Q-Align, DeQA-Score) 과 손으로 설계된 지표보다 훨씬 크게 우월하여, 도메인 내 감독 없이는 자연 이미지 사전 훈련이 IVIF 로 잘 이전되지 않음을 시사합니다.
• 일반화:
  • 교차 방법: K-방법 제외 평가에서 FuScore 는 높은 상관관계 (SRCC 0.628) 를 유지하여 도메인 내 성능보다 0.020 만 낮았습니다.
  • 교차 데이터셋: 보지 못한 데이터인 SemanticRT 파일럿에서 FuScore 는 SRCC 0.561을 달성하여 ViT-L+MLP 베이스라인 (0.471) 보다 +0.090 만큼 우월했습니다.
• 애블레이션 연구:
  • 삼분할 목적 함수 (특히 교차 소스 쌍 충실도) 가 순위 향상의 주요 동인임이 입증되었습니다.
  • 서브-차원 인식 소프트 라벨은 주석 모호성을 성공적으로 모델링했습니다. 저자들은 예측된 불확실성 ($\hat{\sigma}$) 이 SemanticRT 파일럿에서의 인간 간 평가자 불일치와 양의 상관관계 ($\rho = 0.42$) 를 보임을 입증하여, 고차원적 불일치 ($\delta_i$) 가 단순한 다중 속성 트레이드오프가 아닌 진정한 인간 모호성을 반영함을 확인했습니다.
  • "데이터 측면의 바닥"이 관찰되었습니다: 서브-차원 불일치가 높은 (높은-$\delta$) 이미지에서 FuScore 를 포함한 평가된 11 개 방법 모두 낮은 SRCC 밴드에서 정체되어, 이러한 특정 이미지에 대한 인간 주석의 내재적 불일치로 인한 한계를 시사했습니다.

5. 중요성과 주장

이 논문은 FuScore 가 다음과 같은 이유로 IVIF 품질 평가에서 중요한 진전을 나타낸다고 주장합니다:

• 인간 정렬 격차 해소: 경직된 이산적 수준과 스칼라 회귀를 넘어 인간 지각의 뉘앙스와 전문가 판단의 합의를 포착합니다.
• MLLM 추론 활용: 서브-차원 인식 감독을 통해 IVIF 도메인에 특화된 방식으로 MLLM 의 언어 및 시각 추론 능력 (특히 Qwen3-VL) 을 활용합니다.
• 주석 모호성 해결: 인간 평점의 불확실성을 명시적으로 모델링하여, 모델이 노이즈가 있거나 상충되는 전문가 데이터에서 더 견고하게 학습할 수 있도록 합니다.

저자들은 FuScore 가 최첨단 결과를 달성하지만, 높은 모호성을 가진 이미지에서의 성능 한계는 향후 개선이 집계 아티팩트와 내재적 인간 모호성을 분리할 수 있는 더 풍부한 다중 평가자 주석에 달려 있을 수 있음을 지적합니다. 또한 논문은 대규모 MLLM 을 사용하는 추론 비용을 인정하며, 실시간 배포에는 더 작은 백본이 필요할 것이라고 언급합니다.