기술 요약: Zoom-IQA

문제 정의

이미지 품질 평가(IQA)는 인간의 지각에 부합하는 지각적 이미지 품질을 평가하는 것을 목표로 하는 근본적인 컴퓨터 비전 과제입니다. 최근 시각 언어 모델(VLM)이 품질 점수와 텍텍스트 설명을 모두 생성하기 위해 IQA에 적용되고 있으나, 기존 방식들은 신뢰할 수 없는 추론 문제를 겪고 있습니다. 현재의 VLM 기반 접근 방식은 일반적으로 단일 패스(single pass)로 작동하며, 반복적인 시각적 정밀 검토를 위한 메커즘이 부족합니다. 이들은 특정 영역을 "확대(zoom in)"하여 가설을 검증하는 과정이 결여되어 있어, (예: 심한 모션 블러가 있음에도 이미지를 "선명하다"고 설명하는 등) 사실과 다른 주장을 하거나 불완전한 평가를 내리는 경우가 많습니다. 또한, 기존 방법들은 인간과 유사한 평가를 수행하는 데 필수적인 능력인, 텍스트 근거를 특정 시각적 영역에 결합(grounding)하는 데 어려움을 겪고 있습니다.

방법론

저자들은 Zoom-IQA를 제안합니다. 이는 불확실성 인식, 영역 추론, 그리고 반복적 정밀 검토와 같은 핵심적인 인지 행동을 모사하도록 설계된 VLM 기반 프레임워크입니다. 이 프레임워크는 두 단계의 훈련 파이프라인을 통해 작동합니다.

1. GR-IQA 데이터셋 구축

고품질의 근거 기반 추론 데이터 부족 문제를 해결하기 위해, 저자들은 약 7,000개의 추론 궤적을 포함하는 GR-IQA 데이터셋을 큐레이션했습니다. 이 큐레이션 파이프라인은 환각 현상을 방지하기 위해 두 가지 필터링 모듈을 사용합니다:

• 시각적 의존성 필터링 (Visual Reliance Filtering, VRF): 이미지가 있을 때와 없을 때 생성된 응답을 대조함으로써 모델의 출력이 시각적 입력에 의존하는지 확인합니다. 출력의 변화가 미미한 샘플은 폐기됩니다.
• 힌트 증강 일관성 필터링 (Hint-Augmented Consistency Filtering, HACF): 강력한 LLM 평가자(Qwen-2.5-32b)를 사용하여, 저수준의 시각적 힌트(예: 밝기, 선명도 통계)의 도움을 받아 텍스트 근거가 이미지와 일치하는지 검증합니다.

2. 2단계 훈련 파이프라인

• 1단계: 지도 미세 조정 (Supervised Fine-Tuning, SFT): 모델이 **형식화된 그라운딩(formatted grounding)**을 학습하도록 GR-IQA 데이터셋으로 미세 조정합니다. 이를 통해 모델은 텍스트 근거를 특정 경계 상자(bounding box)와 연결하고, 이미지가 "쉬운 사례"(최종 결정)인지 아니면 "어려운 사례"(크롭이 필요한 경우)인지 결정하는 "크롭(crop)" 동작을 실행하는 법을 배웁니다.
• 2단계: 강화 학습 (Reinforcement Learning, RL): 모델은 언제 확대할 것인지에 대한 **동적 정책(dynamic policy)**을 학습합니다. 그룹 상대 정책 최적화(GRPO)를 사용하여 모델은 반복적인 정밀 검토를 탐색합니다. 훈련을 안정화하고 "모드 붕괴(mode collapse)"(추론 경로와 점수가 균일해지는 현상)를 방지하기 위해 저자들은 다음을 도입했습니다:
  • KL-커버리지 정규화 도구 (KL-Coverage Regularizer): 추론 경로와 점수 예측의 다양성을 유지하기 위해, 특히 수치 토큰을 대상으로 정책 엔트로피의 붕괴를 억제하는 손실 함수입니다.
  • 점진적 재샘플링 전략 (Progressive Re-sampling Strategy): 분포가 치우친 점수 분포로부터 발생하는 편향을 완화하기 위해, 나타나지 않는 품질 구간(매우 높거나 매우 낮은 점수)의 샘플링 빈도를 점진적으로 높입니다.

RL 목적 함수는 다음을 포함하는 총 보상에 의해 유도됩니다:

• 형식 보상 (Format Reward): 구조화된 출력(근거 + JSON 액션)을 엄격히 준पालन하는지 확인합니다.
• 점수 보상 (Score Reward): 실제 정답인 평균 의견 점수(MOS)와의 근접성을 장려합니다.
• 순위 보상 (Rank Reward): Thurstone 모델을 기반으로 하며, 모델이 배치 내에서 상대적인 품질 순서를 학습하도록 합니다.

주요 기여

1. GR-IQA 데이터셋: 시각적 그라운딩과 일관성을 보장하기 위해 특정 필터로 큐레이션된, 텍스트-이미지 간의 인터리브된 사고 사슬(Chain-of-Thought, CoT) 추론을 특징으로 하는 세밀한 데이터셋입니다.
2. Zoom-IQA 프레임워크: 단일 패스 방식에서 벗어나, 동적으로 "크롭 및 확대"를 수행하여 반복적이고 영역 인지적인 평가를 수행하는 새로운 VLM 기반 IQA 모델입니다.
3. 훈련 혁신:
   • RL 과정 중 추론 및 점수 다양성 붕괴를 방지하기 위한 KL-커버리지 정규화 도구.
   • 불균형한 어노테이션 데이터를 처리하기 위한 점진적 재샘플링 전략.
4. 상호작용적 추론: 결함을 가설로 세우고, 크롭을 통해 이를 근거화하며, 저하를 검증하는 능력을 갖추어 인간의 검사 행동을 모사합니다.

실험 결과

저자들은 다양한 데이터셋(KonIQ, SPAQ, KADID, PIPAL, LIVE-Wild, AGIQA, CSIQ)과 작업에 대해 Zoom-IQA를 평가했습니다:

• 점수 회귀 (Score Regression): Zoom-IQA는 여러 벤치마크에서 피어슨 선형 상관 계수(PLCC) 및 스피어먼 순위 상관 계수(SRCC) 측면에서 최고 수준(SOTA) 또는 경쟁력 있는 성능을 달성하였으며, 기존의 딥러닝 모델 및 최근의 VLM 기반 추론 방법(예: Q-Insight, VisualQuality-R1)을 능가했습니다.
• 추론 품질: VLM-as-a-Judge(Gemini-2.5-Flash, GPT-5-mini)를 통해 평가했을 때, Zoom-IQA는 생성된 설명의 정확성, 타당성, 완결성 및 신뢰도 측면에서 베이스라인보다 유의미하게 높은 성능을 보였습니다.
• 다운스트림 응용 (이미지 복원): 텍스트 기반 이미지 복원 모델(SUPIR 및 DreamClear)을 가이드하는 데 사용되었을 때, Zoom-IQA의 추론 출력은 다른 IQA 방법이나 기본 VLM의 가이드보다 우수한 복원 품질(더 높은 CLIPIQA, MANIQA 및 더 낮은 NIQE)을 이끌어냈습니다.
• 절제 연구 (Ablation Studies): 정적 중심 크롭 휴리스틱보다 RL 기반 확대 정책이 필요함을 확인하였으며, KL-커버리지 정규화와 점진적 훈련이 성능 향상에 결정적임을 입증했습니다.

의의 및 주장

본 논문은 영역 인지적 상호작용을 도입함으로써 기존 VLM 기반 IQA 방법의 결정적인 격차를 해결한다고 주장합니다. 모델이 스스로의 불확실성에 기초하여 어디에 집중할지(확대)를 동적으로 결정할 수 있게 함으로써, 프레임워크는 더욱 신뢰할 수 있고 설명 가능한 평가를 달s성합니다. 저자들은 이 접근 방식이 IQA 지표를 개선할 뿐만 아니라 지각 모델의 견고성과 일반화 능력을 높여, 이미지 복원을 가이드하거나 인간 피드백 기반 강화 학습(RLHF)의 지각적 보상 신호로 활용되는 등 실세계 응용 분야에 더 적합하게 만든다고 상정합니다. 이 연구는 더 상호작용적이고 인간의 의도에 부합하는 지각 AI 시스템을 향한 경로를 제시합니다.