1. 연구 배경 및 문제 제기 (Problem)

• 현재의 한계: 지각적 이미지 품질 평가 (IQA) 에서 심리 물리학적 실험 (인간 관찰자 평가) 은 가장 신뢰할 수 있는 방법이지만, 시간과 비용이 많이 들고 확장성이 낮다는 단점이 있습니다.
• 새로운 접근: 최근 발전한 시각 - 언어 모델 (VLMs) 이 이미지 속성에 대한 정성적 평가를 생성할 수 있게 되면서, 이들이 인간의 지각적 판단을 대체하거나 근사할 수 있는지에 대한 질문이 제기되었습니다.
• 연구 목적: 기존 IQA 지표들이 복잡한 장면에서 인간 지각과 잘 상관관계를 맺지 못하는 문제를 해결하기 위해, VLM 이 인간 관찰자의 심리 물리학적 데이터와 얼마나 일치하는지 체계적으로 검증하는 것이 본 연구의 핵심입니다.

2. 방법론 (Methodology)

연구는 인간 관찰자와 VLM 을 동일한 프로토콜로 평가하여 비교하는 체계적인 벤치마크를 구축했습니다.

• 데이터셋:
  • 10 개의 고동적 범위 (HDR) 이미지와 7 개의 톤 매핑 연산자 (TMO) 를 조합하여 생성된 총 70 개의 이미지를 사용했습니다.
  • 평가 척도는 대비 (Contrast), 색채감 (Colorfulness), 전체 선호도 (Overall Preference) 의 3 가지 지각적 속성으로 구성되었습니다.
• 평가 대상 모델 (6 개):
  • 상용 (Proprietary): Anthropic Claude Opus 4.6, Google Gemini 3.1 Pro, OpenAI GPT-5.2, xAI Grok-4.1
  • 오픈 가중치 (Open-weight): OpenGVLab InternVL-3.5-38B, Alibaba Qwen3-VL-32B-Instruct
• 실험 프로토콜:
  • 쌍별 비교 (Pairwise Comparison): 인간 관찰자와 VLM 모두 두 이미지 (A 와 B) 를 제시받고, 3 가지 속성 중 더 나은 이미지를 선택하도록 강제 선택 (Forced-choice) 방식을 적용했습니다.
  • 프롬프트 설계: 구조화된 프롬프트를 사용하여 각 속성별 선택과 그 이유 (rationale) 를 JSON 형식으로 추출했습니다.
  • 일관성 검증: 각 이미지 쌍을 3 회 반복 평가하여 모델의 내부 일관성을 확인했습니다.
• 분석 지표:
  • 내부 일관성 (Intra-model consistency): 동일 모델 내 반복 평가 간 변동률 (VR%).
  • 모델 간 일치도 (Cross-model agreement): 서로 다른 모델 간의 평가 불일치 비율.
  • 인간 - 모델 정렬 (VLM-Human Alignment): 스피어만 순위 상관계수 ($\rho$) 를 사용하여 인간 심리 물리학적 데이터 (Thurstone 법칙으로 표준화된 Z 점수) 와의 상관관계를 측정했습니다.
  • 속성 가중치 분석: 전체 선호도가 대비와 색채감에 어떻게 의존하는지 선형 회귀를 통해 분석했습니다.
  • 지각적 분리 가능성 (Perceptual Separability): 장면별 인간 평가의 편차 (SD) 를 기준으로 VLM 의 정확도가 어떻게 변하는지 분석했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 체계적 벤치마크: 6 개의 최신 VLM 을 확립된 심리 물리학적 IQ 데이터와 직접 비교한 최초의 연구입니다.
2. 속성 의존적 변동성 발견: VLM 들이 속성 (대비, 색채감, 전체 선호도) 에 따라 인간과의 정렬 정도가 극명하게 다르다는 것을 규명했습니다.
3. 성능 붕괴 및 위험 요인 식별: 특정 데이터셋에서 VLM 이 전체 IQ 평가 시 인간과 일치하지 않는 패턴을 보이며, 이는 지각적으로 최적화된 알고리즘 평가 시 위험이 될 수 있음을 지적했습니다.

4. 주요 결과 (Results)

A. 속성별 성능 차이 (Attribute-Dependent Variability)

• 색채감 (Colorfulness): Claude 와 Qwen 이 인간과 매우 높은 상관관계 ($\rho \approx 0.93$) 를 보였으나, Intern 은 대비 평가에서 매우 낮은 성능 ($\rho = 0.18$) 을 보였습니다.
• 대비 (Contrast): Qwen ($\rho = 0.86$), Gemini ($\rho = 0.79$), GPT ($\rho = 0.75$) 가 인간과 잘 일치했으나, Intern 과 Grok 은 낮은 상관관계를 보였습니다.
• 전체 선호도 (Overall Preference): GPT가 가장 균형 잡힌 성능을 보이며 인간과의 최고 상관관계 ($\rho = 0.86$) 를 기록했습니다. 반면, Claude 와 Intern 은 전체 선호도 평가에서 인간과 일치도가 낮았습니다.

B. 내부 일관성 vs 인간 정렬 (Consistency vs Alignment Trade-off)

• 역설적 발견: 가장 내부 일관성이 높은 모델 (Claude, 변동률 < 2%) 이 반드시 인간과 가장 잘 일치하는 것은 아닙니다.
• GPT 의 경우: 상대적으로 높은 내부 변동성 (4~9%) 을 보였지만, 인간 지각의 맥락 의존성을 더 잘 반영하여 높은 정렬도를 달성했습니다. 이는 VLM 의 일정한 '무작위성'이 오히려 인간의 지각적 민감도를 모방할 수 있음을 시사합니다.

C. 속성 가중치 분석 (Attribute Weighting)

• 인간은 전체 선호도를 판단할 때 색채감에 대비보다 더 큰 가중치를 두는 경향이 있습니다.
• 대부분의 VLM (Qwen, Gemini, Intern 등) 도 인간과 유사하게 색채감에 더 큰 가중치를 두는 경향을 보였으나, GPT는 대비에 더 높은 가중치를 두는 등 모델마다 가중치 분포가 달랐습니다.

D. 지각적 분리 가능성에 따른 신뢰도

• 이미지 간의 지각적 차이가 명확할수록 (Separability가 높을수록) VLM 과 인간의 일치도는 증가했습니다.
• 반면, 미세한 차이 (Subtle differences) 가 있는 장면에서는 VLM 의 신뢰도가 급격히 떨어지거나 부정적 상관관계를 보이기도 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 함의:
  • VLM 은 이미지 품질 평가에서 신속한 가설 검증 및 스크리닝 도구로 유용하게 사용될 수 있습니다 (특히 이미지 간 차이가 명확한 경우).
  • 그러나 최종적인 지각적 품질 평가를 위해서는 여전히 인간 관찰자를 통한 심리 물리학적 실험이 필수적입니다.
  • 단일 점수가 아닌 속성별 (Attribute-aware) 평가가 필수적이며, 장면의 맥락 (Context) 에 따라 모델의 신뢰도가 달라질 수 있음을 고려해야 합니다.
• 한계 및 향후 과제:
  • 현재 VLM 은 인간 지각의 모든 차원을 포괄적으로 대체할 수 없습니다.
  • 향후 앙상블 방법이나 심리 물리학적 데이터 기반의 파인튜닝 (Fine-tuning) 을 통해 인간 판단과의 격차를 줄이는 연구가 필요합니다.

요약하자면, 본 연구는 VLM 이 이미지 품질 평가에서 유망한 도구임을 보여주지만, 모델마다 강점이 다른 속성 (예: Claude 는 색채감, GPT 는 전체 선호도) 이 있으며, 내부 일관성이 높다고 해서 인간과 일치하는 것은 아니라는 중요한 통찰을 제공했습니다.