MR-IQA: A Unified Margin View of Regression and Ranking for Blind Image Quality Assessment

기술 요약: MR-IQA

문제 정의

블라인드 이미지 품질 평가(Blind Image Quality Assessment, BIQA)는 참조 이미지 없이 인간의 지각적 품질 판단을 모델링하는 것을 목표로 한다. 현재의 접근 방식은 주로 두 가지 학습 패러다임에 의존한다: 절대적인 품질 점수를 보정하는 **회귀(regression)**와, 순서 관계로부터 품질 구조를 복원하는 **랭킹(ranking)**이다. 최근의 연구들, 특히 멀티모달 거대 언어 모델(MLLM)을 활용하는 연구들은 성능 향상을 위해 회귀와 랭킹 감독(supervision)을 결합하여 사용하는 경우가 많지만, 이 두 패러다임 사이의 이론적 관계는 여전히 주로 경험적인 수준에 머물러 있다. 기존 방법들은 공유된 최적화 원리보다는 휴리스틱한 손실 가중치나 보상 설계를 통해 이러한 목적 함수들을 균형 있게 조절한다. 또한, 회귀 기반 방법은 데이터셋 특유의 점수 앵커(score anchors)에 민나이한 경향이 있는 반면, 랭킹 기반 방법은 선호 방향에만 집중하여 이미지 간의 연속적인 상대적 거리(continuous relative distance)를 포착하는 데 실패할 수 있다.

방법론: MR-IQA

저자들은 회귀와 랭킹을 **품질 마진(quality margins)**의 관점에서 재해석한 통합 프레임워크인 MR-IQA를 제안한다.

1. 이론적 토대: 통합된 마진 관점 (The Unified Margin View)

본 논문은 회귀와 랭킹이 모두 근본적으로 **쌍별 관계 거리(pairwise relational distances)**인 품질 마진 $\Delta\mu_{ij} = \mu_i - \mu_j$ (여기서 $\mu$는 평균 의견 점수, MOS를 의미)를 최적화한다는 것을 도출한다.

• 회귀 관점: 점 단위 회귀(Pointwise regression)는 데이터셋 앵커 항($\bar{s} - \bar{\mu}$)과 결합된 마진 오차($\delta_{ij} = \Delta s_{ij} - \Delta\mu_{ij}$)를 최적화하는 것으로 나타난다. 회귀에서의 전역적 예측 시프트(global prediction shift)는 교차 데이터셋 일반화를 저해할 수 있는 제한적인 앵커 역할을 한다.
• 랭킹 관점: 선호 확률 $P_{ij}$를 모델링하는 Thurstone 스타일의 랭킹은 변환된 마진을 피팅하는 것과 수학적으로 동일하다. 충실도 기반 랭킹 손실(fidelity-based ranking loss)의 최적화 방향은 예측된 마진($\Delta s_{ij}$)을 인간의 마진($\Delta\mu_{ij}$)과 일치시키는 것으로 수렴한다.
• 가교(The Bridge): 본 논문은 표준 BIQA 지표인 피어슨 선형 상관 계수(PLCC)가 예측된 마진 벡터와 인간의 마진 벡터 사이의 코사인 유사도와 이론적으로 동일함을 증명한다. 이는 **마진 피팅(margin fitting)**이 두 패러다임의 공유된 최적화 목표임을 확립한다.

2. 알고리즘: 마진 보상을 이용한 강화 학습

MR-IQA는 이 이론을 **그룹 상대적 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하는 강화 학습(RL) 알고리즘으로 구현한다.

• 샘플링: $N$개의 이미지 그룹에 대해, 정책 모델은 각 이미지당 $K$개의 품질 점수 완결(completion)을 샘플링한다.
• 마진 계산: 각 샘플링된 완결 $s^{(k)}_i$에 대해, 모델은 그룹 내의 다른 모든 이미지에 대한 예측 마진 $\Delta s^{(k)}_{ij} = s^{(k)}_i - \bar{s}_j$를 계산한다.
• 보상 설계: 모델은 예측된 마진을 실제 MOS 마진($\Delta\mu_{ij}$)과 비교하여 스케일 제어된 마진 오차 $z^{(k)}_{ij}$를 계산한다. 두 가지 스케일 옵션이 탐색된다:
  • Raw: $\tau_{ij} = 1$ (절대적 불일치).
  • 불확실성 정규화(Uncertainty-normalized): $\tau_{ij} = \sqrt{\sigma_i^2 + \sigma_j^2}$ (평가자 간 분산에 상대적).
• 보상 변환: 오차는 가우시안 또는 라플라스 보상($r_{margin}$)으로 변환된다. 최종 이미지 레벨 보상은 그룹의 평균과 표준편차로 정규화되어 정책 업데이트를 위한 어드밴티지(advantage)를 계산하기 위해 그룹 전체의 쌍별 보상을 집계한다.
• 학습: 이 프레임워크는 Qwen 계열의 MLLM을 백본으로 사용하여 KonIQ-10k 데이터셋에서 학습되며, 명시적인 점 단위 점수 회귀나 이산적인 랭킹 레이블 없이 직접 마진 정렬을 최적화한다.

주요 기여

1. 이론적 통합: 본 논문은 품질 마진을 공통의 기저량으로 식별함으로써 회귀와 랭킹을 연결한다. 두 패러다임이 본질적으로 마진 지향적 최적화이며, 회귀에는 추가적인 데이터셋 앵커 항이 포함된다는 이론적 유도를 제공한다.
2. MR-IQA 프레임워크: 저자들은 이러한 통찰을 MR-IQA라는 스케일 제어 RL 알고리즘으로 구현한다. 회귀와 랭킹 손실을 단순히 결합하는 기존 방식과 달리, MR-IQA는 연속적인 관계적 품질 구조를 명시적으로 모델링하며 쌍별 마진 오차를 직접 정책 보상으로 최적화한다.
3. 경험적 검증: 6개의 BIQA 벤치마크(In-distribution 및 Out-of-distribution 데이터셋 포함)에 대한 통제된 실험을 통해, MR-IQA는 경쟁력 있는 일반 성능을 입증한다. MR-IQA는 매칭된 설정 하에서 순수 회귀 및 순수 랭킹 베이스라인보다 우수한 성능을 보이며, RL 기반 방법들 중 가장 강력한 평균 PLCC 및 SRCC를 달 achievement 한다.

실험 결과

• 성능: 6개 벤치마크(KonIQ-10k, SPAQ, LIVE-Challenge, AGIQA-3K, KADID-10k, CSIQ)에서 MR-IQA는 평균 PLCC 0.831 및 SRCC 0.810을 달성한다. 이는 강력한 SFT 기반 모델인 DeQA(0.838/0.813)와 대등한 수준이며, Q-Insight(회귀) 및 VQ-R1(랭킹)과 같은 다른 RL 기반 방법들을 유의미하게 능가한다.
• 절제 연구(Ablation Studies):
  • 보상 함수: Raw 마진 스케일($\tau_{ij}=1$)을 사용한 L2 추정기가 가장 좋은 결과를 냈다. 놀랍게도 인간의 평가자 간 분산으로 정규화하는 것이 성능을 일관되게 향상시키지는 못했는데, 이는 인간의 분산이 모델 학습 시 항상 신뢰할 수 있는 스케일은 아님을 시사한다.
  • 백본 안정성: 회귀 및 랭킹 베이스라인 대비 MR-IQA의 성능 향상은 서로 다른 MLLM 백본(Qwen3-VL-2B/4B 및 Qwen2.5-VL-7B) 전반에서 일관되게 나타났으며, 이는 해당 방법이 특정 모델 규모에 종속되지 않는 견고함을 가짐을 나타낸다.
• 사례 연구: 정성적 분석 결과, MR-IQA는 베이스라인 모델들이 흔히 보이는 지각적 과적합(perceptual overfitting)이나 상대적 거리 포착 실패 현상과 달리, 분포 변화에도 불구하고 시각적 증거를 MOS 마진과 더 견고하게 정렬함을 보여준다.

의의 및 주장

본 논문은 MR-IQA가 경험적인 결합을 넘어 품질 구조에 기반한 공유된 최적화 원리를 통해 회귀와 랭킹을 통합하는 새로운 이론적 통찰을 제공한다고 주장한다.

• 이론적 기초: 점수 보정과 순서 비교가 관계적 품질 구조(마진)를 통해 통합됨을 보여줌으로써 BIQA에 대한 토대를 제공한다.
• 설계 원칙: 경험적인 점수 보정과 순서 비교의 상보성을 명시적인 최적화 원리로 변환한다.
• 일반화 가능성: 저자들은 이 마진 기반 관점이 미적 평가(aesthetic assessment), 비디오 품질 평가, 랭킹 학습(learning-to-rank)과 같은 BIQA 너머의 다른 품질 및 랭킹 작업에도 확장될 수 있음을 시사한다.
• 한계점: 저자들은 인간의 평가자 간 분산 정규화가 일관되게 도움이 되지 않았다는 점과, 작은 데이터셋에서는 충분한 쌍(pair) 커버리지가 필요하며 노이즈가 발생할 수 있다는 점을 겸허히 언급한다. 또한 현재 실험이 Qwen 계열의 MLLM에 집중되어 있음을 밝힌다.