Q-Hawkeye: Reliable Visual Policy Optimization for Image Quality Assessment

이 논문은 기존 RL 기반 이미지 품질 평가 방법의 불안정성과 시각적 인식 부족 문제를 해결하기 위해, 예측 불확실성을 고려한 동적 최적화와 원본 - 저화질 이미지 쌍을 활용한 지각 최적화를 도입한 'Q-Hawkeye' 프레임워크를 제안합니다.

핵심

Q-Hawkeye: 그림의 품질을 보는 '현명한 눈'을 기르는 방법

이 논문은 인공지능이 사진의 품질을 얼마나 잘 평가하는지, 그리고 그 평가가 얼마나 신뢰할 수 있는지를 높이는 새로운 방법인 **'Q-Hawkeye'**를 소개합니다.

상상해 보세요. AI 가 사진 한 장을 보고 "이 사진은 3 점입니다"라고 말한다고 칩시다. 하지만 AI 가 정말 그 사진을 잘 봤을까요? 아니면 그냥 "아, 이 사진은 흐릿하니까 점수가 낮겠지"라고 막연히 추측한 걸까요? 기존 AI 들은 종종 이런 막연한 추측이나 데이터의 패턴만 보고 점수를 매겨서, 실제 사진의 결함을 놓치거나 엉뚱한 점수를 주는 경우가 많았습니다.

Q-Hawkeye 는 이 문제를 해결하기 위해 두 가지 핵심 전략을 사용합니다. 마치 현미경과 비교 실험을 동시에 사용하는 것과 같습니다.

---

1. 문제점: AI 의 "혼란스러운 생각"을 무시하지 마세요

기존의 AI 학습 방식은 모든 사진에 대해 똑같은 중요도를 부여했습니다. 하지만 AI 는 어떤 사진은 확신 있게 "이건 4 점이야!"라고 말하지만, 어떤 사진은 "글쎄... 2 점일까, 4 점일까?"라고 매우 혼란스러워하기도 합니다.

• 비유: 시험을 치는 학생을 생각해 보세요. 어떤 학생은 문제를 풀 때 확신에 차서 정답을 맞힙니다. 하지만 어떤 학생은 문제를 풀다가 "이게 맞나? 저게 맞나?" 하며 혼란스러워합니다.
• 기존 방식의 문제: 기존 AI 학습은 이 '혼란스러운 학생'의 답도 '확신 있는 학생'의 답과 똑같이 중요하게 여겨서 학습시켰습니다. 그래서 AI 는 혼란스러운 부분에서 잘못된 정보를 배우게 되어, 전체적인 판단력이 흐려졌습니다.

2. 해결책 1: '불확실성 감지' (Uncertainty-Aware) - "혼란스러우면 천천히 가르쳐라"

Q-Hawkeye 는 AI 가 같은 사진을 여러 번 볼 때, 매번 다른 점수를 매기면 그 사진을 **'불확실한 사진'**으로 판단합니다.

• 비유: 선생님이 학생을 가르칠 때, 학생이 "이게 뭐지?"라며 여러 번 다른 답을 내놓으면, 선생님은 **"아, 이 학생은 아직 개념이 안 잡혔구나. 너무 강하게 가르치지 말고 천천히, 혹은 다른 예시로 가르쳐야겠다"**라고 생각합니다.
• Q-Hawkeye 의 방법: AI 가 혼란스러워하는 사진 (불확실성이 높은 사진) 에는 학습의 강도를 낮춥니다. 반면, AI 가 확신 있게 판단하는 사진에는 학습 강도를 높여줍니다. 이렇게 하면 AI 는 엉뚱한 정보에 흔들리지 않고, 신뢰할 수 있는 판단만 단단히 배울 수 있습니다.

3. 해결책 2: '지각 능력 강화' (Perception-Aware) - "원본과 망가진 사진을 비교해라"

기존 AI 는 사진의 내용을 텍스트로만 설명하거나, 데이터에서 배운 패턴만 믿고 점수를 매겼습니다. 하지만 진짜 중요한 건 눈으로 본 시각적 증거입니다.

• 비유: 그림 감수사를 하는 사람이 있다고 칩시다. 만약 그가 그림을 보지 않고 "이 그림은 보통 3 점이다"라고만 외운다면, 그림이 얼마나 흐릿하거나 찢어졌는지 모를 수 있습니다.
• Q-Hawkeye 의 방법: AI 에게 원본 사진과 그 사진을 일부러 망가뜨린 사진 (흐리게, 어둡게, 노이즈를 넣어서) 을 한 쌍으로 보여줍니다. 그리고 "원본은 4 점, 망가진 사진은 2 점"처럼 분명한 차이를 느끼게 훈련시킵니다.
  • 만약 AI 가 두 사진을 보고 똑같은 점수를 준다면, "아, 너는 실제로 그림을 보지 않고 점수를 매기고 있구나!"라고 지적하며 시각적 증거에 기반한 판단을 하도록 강요합니다.
  • 이를 통해 AI 는 "아, 이 사진은 픽셀이 깨졌네, 그러니까 점수를 낮춰야겠다"라고 진짜 눈으로 보고 판단하게 됩니다.

---

4. 결과: 왜 Q-Hawkeye 가 특별한가?

이 두 가지 전략을 합친 Q-Hawkeye 는 다음과 같은 성과를 냈습니다.

1. 더 정확한 점수: 다양한 종류의 사진 (자연광, AI 가 만든 그림, 흐릿한 사진 등) 에서 인간이 매긴 점수와 가장 비슷하게 점수를 매깁니다.
2. 더 넓은 적용: 한 종류의 사진으로만 배웠는데도, 전혀 다른 종류의 사진에서도 잘 작동합니다. (비유: 한 나라의 요리만 배웠는데도, 다른 나라 요리도 맛있게 평가할 수 있는 미식가가 된 것)
3. 신뢰성: AI 가 "내가 이 사진을 잘 봤다"라고 확신할 때만 점수를 매기므로, 실수가 훨씬 줄었습니다.

요약

Q-Hawkeye는 AI 에게 "모든 사진에 똑같이 집중하지 말고, 혼란스러울 때는 멈추고 생각하게 하라" (불확실성 감지) 그리고 "단순히 외우지 말고, 원본과 비교하며 실제로 눈으로 보게 하라" (지각 능력 강화) 고 가르치는 현명한 코치 역할을 합니다. 그 결과, AI 는 이제 사진의 품질을 평가할 때 인간의 눈과 더 가깝고, 훨씬 더 신뢰할 수 있는 '현명한 눈 (Hawkeye)'을 갖게 되었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

이미지 품질 평가 (IQA) 는 인간의 주관적 판단과 일치하는 지각적 품질 점수를 예측하는 작업입니다. 최근 멀티모달 대규모 언어 모델 (MLLM) 을 기반으로 한 강화학습 (RL) 기반 IQA 방법들이 등장하며, 텍스트 기반 추론과 점수 예측을 동시에 수행하는 경향이 있습니다. 그러나 기존 RL 기반 방법들 (특히 GRPO, Group Relative Policy Optimization 을 사용하는 방법들) 은 두 가지 주요 신뢰성 한계를 가지고 있습니다.

1. 불안정한 샘플에 의한 노이즈 증폭 (Prediction Stability & Noise):
   • 학습 데이터 내 이미지마다 모델의 예측 안정성이 크게 다릅니다. 어떤 이미지는 일관된 점수를 예측하는 반면, 다른 이미지는 넓은 분포와 불안정한 예측을 보입니다.
   • 기존 GRPO 기반 방법들은 모든 샘플에 대해 균일한 이득 (Advantage) 가중치를 적용합니다. 이로 인해 예측이 불안정한 (불확실성이 높은) 샘플에서 발생하는 노이즈가 그래디언트 업데이트를 왜곡시키고, 정책 최적화의 신뢰성을 떨어뜨립니다.
2. 시각적 지각 능력의 부재 (Visual Perception Gap):
   • 기존 방법들은 텍스트 기반 추론이나 점수 회귀 능력에 집중하여, 모델이 실제 이미지 콘텐츠와 왜곡 (Degradation) 을 얼마나 잘 지각하는지 간과합니다.
   • 결과적으로 모델은 이미지 자체의 시각적 증거보다는 데이터셋의 규칙성이나 언어적 사전 지식 (Language Priors) 에 의존하여 점수를 매길 수 있으며, 이는 다양한 왜곡 조건에서의 일반화 능력을 저해합니다.

2. 제안 방법론: Q-Hawkeye (Methodology)

이 논문은 위 문제들을 해결하기 위해 Q-Hawkeye라는 새로운 RL 학습 패러다임을 제안합니다. 이는 MLLM 기반 정책 최적화를 위해 불확실성 인식 (Uncertainty-Aware) 과 지각 인식 (Perception-Aware) 두 가지 전략을 통합합니다.

A. 불확실성 인식 동적 최적화 (Uncertainty-Aware Dynamic Optimization)

• 동작 원리: 각 이미지 입력에 대해 $K$개의 롤아웃 (Rollout, 여러 번의 추론) 을 수행하고, 예측된 점수들의 분산 (Variance) 을 계산하여 해당 샘플의 예측 불확실성을 추정합니다.
• 적용: 이 불확실성 지표를 사용하여 샘플별 업데이트 강도를 동적으로 재가중치 (Reweighting) 합니다.
  • 낮은 불확실성 (안정적) 샘플: 가중치를 높여 신뢰할 수 있는 판단을 강화합니다.
  • 높은 불확실성 (불안정) 샘플: 가중치를 낮추어 노이즈가 많은 그래디언트 업데이트를 억제합니다.
• 효과: 학습 과정의 안정성을 높이고, 불안정한 샘플이 최적화 과정을 방해하는 것을 방지합니다.

B. 지각 인식 최적화 (Perception-Aware Optimization)

• 데이터 구성: 원본 이미지와 다양한 왜곡 (Noise, Blur, JPEG, Darken 등) 을 적용한 짝 (Pair) 을 구성합니다. 이때 MLLM 과 인간 전문가를 통해 원본과 왜곡 이미지가 명확히 구별 가능한지 이중 검증 (Double-check) 을 거칩니다.
• 암시적 지각 손실 (Implicit Perception Loss):
  • 모델이 원본 이미지 ($I$) 와 왜곡 이미지 ($I_{deg}$) 에 대해 서로 다른 출력 분포를 가지도록 강제합니다.
  • 두 조건 하의 정책 분포 간 KL 발산 (KL Divergence) 을 최대화하여, 모델이 시각적 왜곡에 민감하게 반응하도록 유도합니다.
• 이중 엔트로피 정규화 (Double Entropy Regularization):
  • 모델이 단순히 무작위성을 높여 KL 발산을 인위적으로 증가시키는 것을 방지하기 위해, 원본과 왜곡 조건 모두에서 정책의 엔트로피를 낮추는 정규화 항을 추가합니다. 이는 모델이 명확하고 안정적인 판단을 내리도록 돕습니다.

C. 전체 최적화 목적 함수

기존 GRPO 목적 함수에 불확실성 가중치 ($\tilde{A}$), 암시적 지각 손실 ($\gamma \cdot D_{KL}$), 그리고 엔트로피 정규화 항 ($\eta \cdot \hat{H}$) 을 통합하여 총체적인 학습 목표를 설정합니다.

3. 주요 기여 (Key Contributions)

1. 신뢰성 있는 시각적 정책 최적화 프레임워크: IQA 작업을 위해 불확실성 인식 동적 최적화와 지각 인식 최적화를 통합한 Q-Hawkeye 를 제안했습니다.
2. 시각적 지각 능력의 명시적 강화: 기존 방법들이 텍스트 추론에 치중했던 것과 달리, 원본 - 왜곡 이미지 쌍과 암시적 지각 손실을 도입하여 모델이 시각적 증거에 기반한 품질 판단을 하도록 유도했습니다.
3. SOTA 성능 달성: 다양한 IQA 벤치마크에서 기존 최첨단 방법들보다 우수한 성능을 보였으며, 특히 단일 데이터셋 (KonIQ) 으로만 학습했음에도 불구하고 다양한 분포 외 (Out-of-Distribution) 데이터에서 뛰어난 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: KonIQ(학습), SPAQ, KADID, PIPAL, LIVE-Wild, AGIQA-3K, CSIQ, FLIVE 등 8 개 IQA 벤치마크에서 평가.
• 성능 지표: PLCC (Pearson Linear Correlation Coefficient) 및 SRCC (Spearman Rank-Order Correlation Coefficient).
• 주요 결과:
  • 단일 데이터셋 학습: KonIQ 데이터셋만으로 학습된 Q-Hawkeye 는 기존 MLLM 기반 방법들 (Q-Align, DeQA-Score, Q-Insight, VisualQuality-R1 등) 과 전통적인 CNN/Transformer 기반 방법들보다 평균 PLCC/SRCC 에서 가장 높은 성능을 기록했습니다.
  • 다중 데이터셋 학습 대비: 여러 데이터셋을 학습에 사용한 경쟁 모델들보다도 KonIQ, LIVE-Wild, FLIVE 등 특정 데이터셋에서 더 좋은 성능을 보여주어, 학습 신호의 신뢰성 설계가 데이터 양보다 중요함을 입증했습니다.
  • 일반화 능력: AI 생성 이미지 (AGIQA-3K) 나 자연스러운 왜곡 (LIVE-Wild) 등 훈련 데이터와 다른 분포에서도 높은 성능을 유지했습니다.
• Ablation Study: 불확실성 가중치와 지각 인식 모듈을 모두 적용했을 때 가장 높은 성능을 보였으며, 각 모듈이 독립적으로도 성능 향상에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

Q-Hawkeye 는 MLLM 기반 이미지 품질 평가 분야에서 학습의 신뢰성 (Reliability) 과 시각적 지각의 정확성 (Perceptual Accuracy) 을 동시에 해결하는 새로운 방향을 제시합니다.

• 기술적 의의: RL 기반 학습에서 불안정한 샘플로 인한 노이즈를 제어하고, 모델이 텍스트적 추론이 아닌 실제 시각적 증거에 기반하여 판단하도록 유도함으로써, MLLM 의 IQA 능력을 한 단계 발전시켰습니다.
• 실용적 가치: 이미지/동영상 향상, 압축, AI 생성 콘텐츠 (AIGC) 품질 관리 등 실제 응용 분야에서 더 견고하고 정확한 품질 평가 시스템을 구축하는 데 기여할 수 있습니다.
• 효율성: 복잡한 다중 데이터셋 학습 없이도, 신뢰성 있는 학습 신호 설계만으로 뛰어난 일반화 성능을 달성하여 데이터 효율성을 높였습니다.

이 연구는 향후 멀티모달 강화학습 분야에서 불확실성 관리와 시각적 지각 강화가 어떻게 결합되어 더 신뢰할 수 있는 AI 시스템을 만들 수 있는지에 대한 중요한 통찰을 제공합니다.