DEFNet: Multitasks-based Deep Evidential Fusion Network for Blind Image Quality Assessment

이 논문은 장면 및 왜곡 유형 분류 작업을 보조 과제로 활용하고, 지역 - 전역 정보 융합 전략과 증거 기반 학습을 통한 불확실성 추정을 도입한 다중 작업 기반 심층 증거 융합 네트워크 (DEFNet) 를 제안하여 블라인드 이미지 품질 평가의 성능과 신뢰성을 향상시키는 방법을 제시합니다.

핵심

이 논문은 **"DEFNet"**이라는 새로운 인공지능 모델을 소개합니다. 이 모델의 임무는 사람의 눈이 없어도 사진의 '화질'이 좋은지 나쁜지를 자동으로 판단하는 것입니다. (이를 '블라인드 이미지 퀄리티 어세스먼트'라고 합니다.)

기존의 방법들은 사진이 왜 흐릿하거나 색이 변했는지 정확히 알기 어렵거나, "내 예측이 얼마나 확실한지"를 모르고 무조건 답을 내놓는 문제가 있었습니다. DEFNet 은 이 두 가지 문제를 해결하기 위해 세 가지 핵심 아이디어를 섞었습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

📸 비유: "사진 감식 전문가 팀"이 등장하다

기존의 화질 평가 AI 는 마치 혼자서 사진 한 장을 쭉 보며 "아, 이거 나쁘네"라고 말하는 1 인 작가와 같았습니다. 하지만 DEFNet 은 전문가 3 명이 팀을 이루어 사진을 분석하는 상황과 같습니다.

1. 세 명의 전문가가 함께 일합니다 (멀티태스크 학습)

DEFNet 은 한 번에 세 가지 일을 동시에 합니다.

• 주요 전문가 (화질 평가): "이 사진이 얼마나 좋은가?"를 점수로 매깁니다.
• 장소 전문가 (장면 분류): "이 사진은 산인지, 도시인지, 실내인지"를 파악합니다. (산 사진은 흐릿해도 자연스러울 수 있지만, 도시 사진은 흐리면 문제가 될 수 있으니까요.)
• 결함 전문가 (왜곡 유형 분류): "이 사진이 노이즈가 낀 건지, 초점이 안 맞은 건지, 압축이 심한 건지"를 구별합니다.

왜 중요할까요?
이 세 전문가가 서로 대화하며 정보를 공유하면, 화질 평가 전문가가 훨씬 더 정확한 판단을 내릴 수 있습니다. 마치 요리사가 "이 요리는 산에서 채취한 재료로 만든 거야"라는 정보를 알면, 맛을 더 정확하게 평가하는 것과 같습니다.

2. 확대경과 망원경을 동시에 씁니다 (신뢰할 수 있는 정보 융합)

DEFNet 은 사진을 볼 때 두 가지 방식을 동시에 사용합니다.

• 확대경 (국부적 분석): 사진의 작은 조각 (일부 영역) 을 확대해서 미세한 결함을 찾아봅니다. (예: 얼굴의 주름 하나하나, 물체의 날카로운 모서리)
• 망원경 (전체적 분석): 사진을 멀리서 내려다보며 전체적인 분위기를 봅니다. (예: 전체적인 색감, 구도)

창의적인 비유:
기존 AI 는 확대경만 들고 있어 작은 흠집에 너무 집중하다가 전체적인 아름다움을 놓치거나, 망원경만 들고 있어 전체는 좋지만 중요한 부분의 결함을 놓치는 경우가 많았습니다.
DEFNet 은 확대경과 망원경을 동시에 들고 다니는 탐정처럼, "작은 부분의 결함"과 "전체적인 분위기"를 균형 있게 고려하여 가장 공정한 점수를 매깁니다.

3. "내가 얼마나 확신하는지"도 말합니다 (불확실성 추정)

가장 혁신적인 부분은 이 점입니다. 기존 AI 는 틀린 답을 낼 때도 "100% 확신합니다!"라고 말하며 자신만만했습니다. 하지만 DEFNet 은 자신의 확신 수준을 계산합니다.

• 비유: "이 사진은 화질이 아주 나쁜 것 같습니다. 90% 확신합니다." vs "이 사진은 화질이 애매한데, 50% 확신합니다. 더 조사해 봐야겠네요."
• 어떻게 하나요? '증거 이론 (Evidential Learning)'이라는 수학적 도구를 써서, 모델이 데이터를 얼마나 많이 '증거'로 가지고 있는지 계산합니다. 만약 증거가 부족하면 "저는 잘 모르겠습니다"라고 솔직하게 말하며, 그 부분을 더 주의 깊게 보게 됩니다.

---

🏆 이 모델이 왜 대단한가요?

이 논문의 저자들은 DEFNet 을 만들어서 수많은 테스트 (인위적으로 만든 왜곡 사진부터 실제 스마트폰으로 찍은 자연스러운 사진까지) 를 진행했습니다.

1. 정확도: 기존에 가장 잘하던 AI 들보다 더 높은 점수를 받았습니다.
2. 범용성: 훈련하지도 않은 새로운 종류의 사진이나, 전혀 다른 환경에서도 잘 작동합니다. (예: 한국에서 훈련시켰는데 미국 사진도 잘 평가함)
3. 신뢰성: "내가 틀릴 수도 있다"는 것을 인정하고 그 불확실성을 수치로 보여주기 때문에, 의료나 자율주행처럼 실수가 치명적인 분야에서 더 안전하게 사용할 수 있습니다.

💡 한 줄 요약

DEFNet 은 "장소와 결함 유형을 아는 3 명의 전문가 팀"이 "확대경과 망원경"을 동시에 쓰면서, "자신의 확신 정도"까지 솔직하게 말해주는, 가장 똑똑하고 신뢰할 수 있는 사진 화질 감식가입니다.

이 기술이 발전하면 우리가 찍은 사진이 얼마나 좋은지, 혹은 의료 영상이나 자율주행 카메라의 시야가 안전한지 더 정확하게 판단할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

블라인드 이미지 품질 평가 (BIQA, Blind Image Quality Assessment) 는 참조 이미지 없이 입력 이미지의 주관적 품질을 객관적으로 점수화하는 작업입니다. 기존 BIQA 방법론은 다음과 같은 한계점을 가지고 있습니다:

1. 불충분한 정보 통합: 보조 작업 (Scene 분류, 왜곡 유형 분류 등) 을 도입하더라도, 이러한 작업들이 독립적인 모듈로 처리되어 작업 간 상관관계 (Inter-task correlations) 를 심층적으로 활용하지 못합니다. 또한, 다양한 서브 영역 (Sub-regions) 간의 특징과 다중 레벨 (Local-Global) 특징의 융합이 부족합니다.
2. 유연한 불확실성 추정 부재: 기존 방법들은 예측의 불확실성을 충분히 모델링하지 못합니다. 특히 알레토릭 (Aleatoric, 데이터 고유의 잡음) 과 에피스테믹 (Epistemic, 모델의 지식 부족) 불확실성을 동시에 모델링하지 못해, 잘못된 예측에 대해 과도하게 자신감 있는 (Overconfident) 결과를 내놓는 문제가 있습니다.

2. 제안된 방법론: DEFNet

저자들은 이러한 문제를 해결하기 위해 다중 작업 기반 심층 증거 융합 네트워크 (DEFNet, Deep Evidential Fusion Network) 를 제안합니다.

2.1. 핵심 아키텍처 및 구성 요소

• 다중 작업 학습 (Multitask Learning):
  • 주 작업: 이미지 품질 평가 (BIQA).
  • 보조 작업: 장면 분류 (Scene Classification) 및 왜곡 유형 분류 (Distortion Type Classification).
  • 특징 추출: CLIP (Contrastive Language-Image Pre-training) 을 활용하여 로컬 (서브 이미지) 및 글로벌 (전체 이미지) 특징을 추출하고, 텍스트 프롬프트 ("{장면}의 {왜곡}이 있는 {품질} 사진") 를 통해 시각 - 언어 정보를 결합합니다.
• 신뢰할 수 있는 정보 융합 전략 (Trustworthy Information Fusion):
  • 교차 서브 영역 융합 (Cross Sub-region Fusion): 이미지의 서로 다른 4 개의 서브 영역에서 추출된 특징을 통합하여 지역적 품질 차이를 정밀하게 포착합니다.
  • 로컬 - 글로벌 융합 (Local-Global Fusion): 세부적인 로컬 디테일과 전체적인 글로벌 컨텍스트를 결합하여 종합적인 품질 평가를 수행합니다.
• 증거 기반 불확실성 추정 (Evidential Uncertainty Estimation):
  • Normal-Inverse Gamma (NIG) 분포 혼합: 데이터 분포의 4 가지 차원을 활용하여 알레토릭과 에피스테믹 불확실성을 동시에 모델링합니다.
  • 손실 함수: 모델 적합도를 최대화하는 NLL (Negative Log-Likelihood) 손실과 예측 오차에 대한 증거를 최소화하는 회귀 손실을 결합한 Evidence Loss를 사용합니다.

2.2. 학습 과정

1. 입력: 원본 이미지를 로컬 서브 이미지 (크롭) 와 글로벌 이미지 (다운샘플링) 로 분할합니다.
2. 특징 추출: CLIP 을 통해 각 영역에 대한 품질, 장면, 왜곡 유형의 결합 확률을 계산합니다.
3. 다중 작업 최적화: BIQA, 장면 분류, 왜곡 분류에 대한 개별 손실을 계산합니다.
4. 증거 융합:
   • 서브 영역 간 융합을 통해 NIG 분포 파라미터를 혼합합니다.
   • 로컬과 글로벌 정보를 융합하여 최종 NIG 분포를 생성합니다.
5. 최종 손실: 다중 작업 손실 ($L_M$), 교차 영역 손실 ($L_U$), 교차 그레인 손실 ($L_F$) 을 가중치 합산하여 전체 모델을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 다중 작업 딥러닝 프레임워크: 장면 분류와 왜곡 유형 분류를 통합하여 작업 간 정보 융합을 강화한 BIQA 네트워크 (DEFNet) 를 제안했습니다.
2. 이중 레벨 신뢰성 정보 융합 전략:
   • 교차 서브 영역 (Cross Sub-region): 다양한 영역의 특징을 통합하여 정보의 풍부함을 높입니다.
   • 로컬 - 글로벌 (Local-Global): 미세한 디테일과 거시적인 맥락을 균형 있게 결합합니다.
3. 강건한 불확실성 추정 메커니즘: 증거 이론 (Evidence Theory) 과 NIG 분포 혼합을 기반으로 한 메커니즘을 도입하여 모델의 예측 신뢰도와 적응성을 향상시켰습니다.
4. 압도적인 성능: 합성 및 실제 왜곡 데이터셋에서 SOTA(State-of-the-Art) 성능을 달성했으며, 미시적/거시적 정보 통합과 불확실성 관리의 우수성을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: LIVE, CSIQ, KADID-10k (합성 왜곡) 및 BID, LIVE-C, KonIQ-10k (실제 왜곡) 등 총 6 개 이상의 주요 데이터셋에서 평가.
• 성능 지표: SRCC (Spearman's Rank Correlation Coefficient) 및 PLCC (Pearson's Linear Correlation Coefficient).
• 주요 결과:
  • 전체 성능: DEFNet 은 대부분의 데이터셋에서 기존 SOTA 방법들 (LIQE, CDINet, HyperIQA 등) 보다 높은 SRCC 및 PLCC 점수를 기록했습니다.
    • 예: LIVE 데이터셋 SRCC 0.978, KonIQ-10k SRCC 0.920.
  • 일반화 능력 (Zero-shot): 훈련 데이터와 다른 데이터셋 (TID2013, SPAQ, PIPAL) 에서도 높은 성능을 유지하며 강력한 일반화 능력을 입증했습니다.
  • 왜곡 유형별 성능: 백색 잡음, 가우시안 블러, JPEG 압축 등 다양한 왜곡 유형에서 일관되게 우수한 성능을 보였습니다.
  • 불확실성 분석: 기존 방법 (LIQE) 대비 더 좁은 95% 신뢰 구간 (CI width) 을 가지며, 예측의 불확실성을 효과적으로 줄이고 신뢰도를 높였습니다.
  • gMAD 경쟁: 시각적 비교를 통해 DEFNet 이 고화질과 저화질 이미지를 일관되게 올바르게 순위 매기는 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 BIQA 분야에서 보조 작업의 단순한 병렬 처리를 넘어, 작업 간 심층적인 정보 융합과 불확실성 정량화를 동시에 해결했다는 점에서 의의가 있습니다.

• 기술적 혁신: 증거 기반 학습 (Evidential Learning) 을 이미지 품질 평가에 성공적으로 적용하여, 모델이 "얼마나 확신하는지"를 함께 예측할 수 있게 했습니다.
• 실용성: 합성된 왜곡뿐만 아니라 실제 촬영 환경 (In-the-wild) 에서 발생하는 복잡한 왜곡 상황에서도 높은 적응성을 보여, 실제 멀티미디어 처리 및 의료 영상 분석 등 다양한 응용 분야에 적용 가능성이 큽니다.
• 한계 및 향후 과제: 매우 다양하고 새로운 왜곡 유형에 대한 강건성은 여전히 개선의 여지가 있으며, 모델 파라미터 수 (약 84M) 를 줄이는 경량화 연구가 필요하다고 언급했습니다.

결론적으로, DEFNet 은 다중 작업 학습과 증거 기반 불확실성 추정을 결합하여 이미지 품질 평가의 정확성과 신뢰성을 동시에 높인 획기적인 프레임워크입니다.