기술적 요약: 딥 최대 사후 확률 (MAP) 추정을 통한 비지도 IQA 점수 융합

문제 제기

이미지 품질 평가 (IQA) 모델은 지각적 품질 예측 분야에서 크게 발전했으나, 개별 모델들은 고유한 설계 철학으로 인해 특정 이미지 콘텐츠나 왜곡 유형에 편향되는 경향이 있습니다. 여러 IQA 모델을 융합하는 것은 강점을 활용하고 약점을 완화하기 위한 직관적인 전략이지만, 기존 접근법들은 다음과 같은 한계에 직면해 있습니다:

• 경험적 방법 (Empirical methods): 사전에 결정된 가중치를 가진 수동 설계 공식에 의존하여 새로운 모델에 대한 적응성이 제한됩니다.
• 순위 융합 방법 (Rank fusion methods): 이산 공간에서 작동하여 정보 손실을 초래하고 데이터셋의 다양성에 의존합니다.
• 지도 학습 기반 융합: 평균 의견 점수 (MOS) 를 정답 (ground truth) 으로 의존합니다. 저자들은 이것이 본질적으로 일반화 가능성을 훼손한다고 주장합니다. MOS 는 본래 특정 데이터셋과 왜곡 유형에 밀접하게 연관되어 있어, 융합이 피하려는 바로 그 편향을 다시 도입하기 때문입니다.

해결된 핵심 과제는 비지도 IQA 점수 융합입니다: MOS 를 학습 목표로 사용하지 않으면서도 각 모델 예측의 불확실성을 세밀한 수준에서 정확하게 추정하며, 여러 IQA 점수를 더 우수한 예측으로 어떻게 결합할 것인가 하는 문제입니다.

방법론

본 논문은 딥 최대 사후 확률 (Deep Maximum a Posteriori, MAP) 추정을 기반으로 한 비지도 점수 융합을 위한 일반적 프레임워크를 제안합니다. 이 접근법은 잠재적 지각 품질 (MOS, $z$로 표기) 과 $M$개의 서로 다른 IQA 모델이 생성한 점수 ($x^j$) 간의 관계를 모델링합니다.

1. 관찰 모델 (Observation Model)

이 프레임워크는 이미지 $i$에 대한 IQA 점수 $x^j_i$가 잠재적 품질 $z_i$의 결정적 함수와 두 개의 독립적인 노이즈 성분의 합으로 생성된다고 가정합니다:
$$x^j_i = f^j(z_i) + n^j_i + \hat{n}^j$$

• $f^j(z_i)$: 잠재적 품질을 특정 모델의 점수로 매핑하는 파라미터 함수 (지수 함수로 구현됨).
• $\hat{n}^j$: 평균이 0 인 정규 분포를 따르는 모델 의존적 노이즈.
• $n^j_i$: **왜도 정규 분포 (Skew Normal distribution, $SN$)**를 따르는 점수 의존적 노이즈. 이는 중요한 혁신입니다. 경험적 관찰에 따르면 IQA 모델은 저품질 이미지를 평가할 때 더 높은 분산과 비대칭적인 오차 분포 (낮은 점수로 치우친 편) 를 보이기 때문입니다. 이 노이즈의 스케일 파라미터는 함수 $g^j(z_i)$에 의해 추정되어 세밀한, 점수 수준의 불확실성 추정을 가능하게 합니다.

2. MAP 공식화 및 최적화

목표는 사후 확률 $p(z|X)$를 최대화하는 잠재적 품질 $z$와 모델 파라미터를 찾는 것입니다. 가능도 함수 $p(x^j_i|z_i)$는 왜도 정규 분포로 유도됩니다. 최적화 문제는 다음과 같이 공식화됩니다:
$$\arg \max_{z, \alpha, \sigma, \theta_f, \theta_g} \sum_{j=1}^M \sum_{i=1}^N \left( \log p(x^j_i|z_i; \dots) + \log p(z_i) \right)$$

• 사전 분포 $p(z)$: 데이터셋 특정 편향을 부과하지 않고 출력 범위를 정규화하여 일반화 가능성을 보장하기 위해 균일 분포 $U(0,1)$로 정의됩니다.
• 상환 추론 (Amortized Inference): 모든 새로운 이미지에 대한 반복적 최적화 (느리고 데이터가 많이 필요함) 를 피하기 위해 **인코더 (완전 연결 네트워크)**가 도입됩니다. 이 인코더는 입력 점수를 직접 잠재적 품질 $z_i$로 매핑하여 빠르고 엔드 - 투 - 엔드 추론을 가능하게 합니다.

3. 순위 융합의 통합

이 프레임워크는 이산 순위들을 연속 공간으로 정규화함으로써 순위 융합을 매끄럽게 통합합니다. 이를 통해 순위 기반 방법들을 일반 MAP 프레임워크의 특수한 사례로 취급할 수 있으며, 계산 집약적인 이산 공간이 아닌 연속 공간에서 최적화를 수행할 수 있습니다.

주요 기여

1. 최초의 비지도 학습 기반 융합: 저자들의 지식 범위 내에서, 이는 MOS 를 학습에 의존하지 않고 비지도 학습을 사용하여 IQA 점수를 융합하는 첫 번째 접근법입니다.
2. 공식화된 관찰 모델: 본 논문은 왜도 정규 분포를 활용한 MAP 추정을 통해 비대칭적이고 점수 의존적인 노이즈를 포착하는 IQA 융합을 위한 최초의 관찰 모델을 공식화했습니다.
3. 세밀한 불확실성 추정: 이전 방법들이 모델 수준에서만 불확실성을 추정하는 것과 달리, 본 프레임워크는 점수 수준에서 불확실성을 추정합니다. 이를 통해 모델은 예측된 품질에 기반하여 특정 예측의 신뢰도를 동적으로 가중치할 수 있습니다.
4. "나쁜" 모델에 대한 강건성: 이 프레임워크는 사전 지식 없이도 융합 과정에서 "나쁜" 또는 무작위 IQA 모델을 식별하고 가중치를 낮추는 고유한 능력을 입증했습니다.
5. 통합 프레임워크: 점수 기반 및 순위 기반 융합 방법 모두를 통합할 수 있는 일반적 구조를 제공합니다.

실험 결과

제안된 모델은 단일 및 다중 왜곡 시나리오를 포함한 10 개의 다양한 주관적 평가 IQA 데이터셋에서 **16 개의 개별 IQA 메트릭 (Full Reference 및 No Reference 모두)**을 사용하여 평가되었습니다.

• 성능: 제안된 모델의 세 가지 변형 (SF-ms, RF-ms, SF-m) 은 평균 스피어만 순위 상관 계수 (SRCC) 및 피어슨 선형 상관 계수 (PLCC) 측면에서 기존 경험적 융합 방법, 순위 융합 방법 (RRF, RRFW), 그리고 모든 개별 IQA 모델보다 일관되게 우수한 성과를 거두었습니다.
• 절제 연구 (Ablation Study): 점수 수준 불확실성 추정을 제거한 결과 (SF-m 모델), 성능 저하가 발생하여 세밀한 불확실성 모델링의 중요성이 확인되었습니다.
• 강건성 테스트: 두 개의 "나쁜" 메트릭 (무작위 노이즈 생성기) 이 융합 목록에 추가되었을 때:
  • 기존 비지도 방법 (RRF, RRFW) 은 성능이 크게 저하되었습니다.
  • 제안된 방법은 경쟁력 있는 성능을 유지했습니다. 불확실성 추정 모듈은 "나쁜" 메트릭의 높은 분산 (스케일 파라미터) 을 정확히 식별하여 인코더가 이들에 대해 무시할 수 있는 가중치를 부여하도록 했습니다.

의의 및 주장

본 논문은 학습 데이터셋의 MOS 에 의해 제한되는 특정 편향을 가진 지도 학습을 벗어나, 확률론적이고 비지도적인 MAP 프레임워크를 채택함으로써 보이지 않는 데이터에 대한 우수한 일반화 가능성을 달성한다고 주장합니다. 주요 의의는 다음과 같은 능력에 있습니다:

• 학습을 위한 정답 주관적 평가가 필요 없이 다양한 IQA 모델을 융합할 수 있습니다.
• 점수 단위로 각 모델의 신뢰도에 동적으로 적응하여, 열악한 예측이나 모델을 효과적으로 "거부"할 수 있습니다.
• 최종 예측에 다양한 모델이 어떻게 기여하는지 이해하기 위해 인코더의 가중치를 검사할 수 있는 통일되고 설명 가능한 프레임워크를 제공합니다.

저자들은 이 작업을 기존 모델들의 집단 지성을 활용하면서도 엄격한 불확실성 정량을 통해 개별 약점을 완화하는 더 강건하고 보편적인 IQA 시스템으로 나아가는 기초적인 단계로 위치시키고 있습니다.