Position: Evaluation of Visual Processing Should Be Human-Centered, Not Metric-Centered

이 논문은 생성 및 지각 중심의 시각 처리 시스템 평가가 단일 이미지 품질 지표에 의존하기보다 인간의 지각과 사용자 선호도를 반영한 인간 중심의 접근 방식으로 재편되어야 한다고 주장합니다.

핵심

🍳 비유: "요리 대회와 점수판"

想像해 보세요. 세계적인 요리 대회가 열렸습니다. 심사위원들은 각 요리의 맛을 평가해야 합니다.

1. 과거의 방식 (숫자 중심 평가)
과거에는 심사위원들이 "소금의 양 (그램)", "당도의 수치", "색깔의 RGB 값" 같은 정확한 숫자만 보고 점수를 매겼습니다.

• 문제점: "소금 5g, 설탕 10g"을 정확히 넣은 요리는 점수가 높았지만, 막상 먹어보면 "맛이 없거나 너무 짜서 먹기 힘들다"는 결과가 나왔습니다. 반면, 소금 양이 조금 어긋났지만 "진짜 맛있는" 요리는 점수가 낮게 나왔죠.
• 논문이 말하는 것: "요리 (이미지 복원) 의 목적은 숫자를 맞추는 게 아니라, 사람이 먹었을 때 (봤을 때) 기분이 좋은 거 아닙니까?"

2. 현재 상황 (생성형 AI 의 등장)
최근에는 AI 가 요리를 할 때, 단순히 재료만 섞는 게 아니라 새로운 맛과 향을 창조합니다. (GAN, Diffusion 모델 등)

• 현실: AI 가 만든 요리는 전통적인 '소금 계량기 (PSNR, SSIM 같은 기존 점수)'로는 측정할 수 없는 새로운 맛을 냅니다.
• 갈등: AI 가 만든 요리는 숫자 점수로는 '오래된 레시피'보다 낮게 나오지만, 사람들은 "와, 진짜 맛있는데?"라고 말합니다. 그런데도 연구자들은 "점수가 낮으니 다시 만들어야지"라고 생각하며, 사람이 좋아하는 맛보다는 점수만 올리는 요리를 개발하게 됩니다.

---

📉 이 논문이 지적하는 3 가지 큰 문제

1. "점수 조작"의 유혹 (과도한 날카로움)

• 상황: AI 가 점수를 잘 받으려고, 이미지의 모든 부분을 과도하게 날카롭게 (Sharpening) 만들거나, 존재하지 않는 털이나 주름을 가짜로 추가 (Hallucination) 합니다.
• 결과: 점수판 (MUSIQ, MANIQA 등) 은 "와, 디테일이 많네! 점수 100 점!"이라고 외칩니다.
• 현실: 하지만 사람이 보면 "너무 거칠고 인위적이라 눈이 아프다"고 생각합니다.
• 비유: 마치 "소금 양을 100g 으로 늘려서 점수판은 최고지만, 맛은 짠물"인 요리를 상급으로 치는 꼴입니다.

2. "하나의 점수"로 모든 것을 재단하는 오류

• 상황: "이 그림은 얼굴, 저 그림은 풍경, 또 저건 만화"인데, 모두 하나의 점수로만 평가합니다.
• 문제: 어떤 AI 는 만화 그리는 데는 천재지만, 사람 얼굴을 그리면 뭉개집니다. 그런데 "전체 점수"만 보면 "A 가 B 보다 낫다"라고 결론 내립니다.
• 비유: "축구선수와 수영선수를 같은 점수로 비교해서 누가 더 운동신경이 좋은지 판단한다"는 것과 같습니다. 상황 (Context) 에 따라 평가 기준이 달라져야 합니다.

3. 평가 기준이 기술 발전보다 뒤처짐

• 상황: 요리 기술 (AI) 은 발전해서 1024x1024 고해상도, 수십억 개의 재료를 다루는데, 점수판 (IQA 모델) 은 여전히 10 년 전의 작은 재료와 간단한 조리법으로만 평가합니다.
• 결과: 최신 기술이 만들어낸 '진짜 같은' 요리를 점수판은 제대로 평가하지 못합니다.

---

💡 이 논문이 제안하는 해결책: "사람 중심의 평가"

이 논문은 "점수를 아예 없애라"는 뜻이 아닙니다. 점수는 여전히 필요하지만, 주인공이 바뀌어야 한다고 말합니다.

1. 점수는 보조 수단, 사람은 주인공:

   • "이 그림이 점수는 80 점이지만, 사람들이 보기에 가장 자연스럽고 예쁘다"면 그게 진짜 성공입니다.
   • 연구자들은 "점수 100 점"을 쫓는 게 아니라, **"사람이 봤을 때 어떤 감정을 느끼게 할까?"**를 고민해야 합니다.

2. 세부적인 평가 (다차원 분석):

   • "얼굴은 잘 그렸나?", "만화는 자연스러운가?", "텍스트는 읽을 수 있는가?"처럼 상황별로 나누어 평가해야 합니다.
   • 단순히 "좋다/나쁘다"가 아니라, "어떤 부분이 좋고, 어떤 부분이 어색한지" 구체적인 피드백을 줘야 합니다.

3. 새로운 점수판 개발:

   • 기존 점수판이 AI 의 새로운 능력을 이해하지 못하므로, 인간의 눈과 뇌를 더 잘 모방하는 새로운 평가 도구를 만들어야 합니다. (예: 언어 모델과 결합하여 "이 그림의 분위기가 어때?"라고 물어보는 식)

---

🎯 한 줄 요약

"컴퓨터가 만든 그림을 평가할 때, 기계가 계산한 '숫자 점수'에 매달리지 말고, 실제 사람이 보고 느끼는 '진짜 아름다움'과 '자연스러움'을 기준으로 삼아야 합니다. 그래야 기술이 진짜 사람을 위해 발전할 수 있습니다."

이 논문은 연구자들이 "점수판의 주인"이 되지 말고, **"사람의 마음을 읽는 주인"**이 되기를 호소하는 선언문입니다.

기술 요약

논문 요약: 시각 처리 평가는 지표를 중심으로 하지 말고 인간 중심으로 해야 한다

이 논문은 현대 시각 처리 시스템, 특히 이미지 복원 (Image Restoration) 및 초해상도 (Super-Resolution) 분야의 평가 패러다임이 단일 지표 (Metric) 중심에서 인간 중심 (Human-Centered) 으로 전환되어야 한다고 주장하는 포지션 페이퍼입니다. 생성형 AI 와 지각 기반 방법론의 등장으로 인해 기존 객관적 지표와 인간의 지각적 선호도 간의 괴리가 심화되었으며, 이는 연구 방향을 왜곡하고 혁신을 저해하고 있다고 비판합니다.

1. 문제 제기 (Problem)

• 지표와 인간 지각의 불일치: PSNR, SSIM, LPIPS 와 같은 기존 객관적 품질 평가 (IQA) 지표는 재현 가능하고 확장 가능한 평가를 가능하게 하지만, 생성형 모델 (GAN, Diffusion) 이 도입된 이후 인간의 주관적 선호도와 점점 더 멀어지고 있습니다.
• 연구 방향의 왜곡: 학계와 산업계가 벤치마크 점수 (Leaderboard) 향상을 최우선 목표로 삼으면서, 연구자들은 실제 사용자에게 더 나은 시각적 경험을 제공하는 것보다 지표를 개선하는 데 집중하게 되었습니다.
• 생성형 모델의 한계: 생성형 모델은 고주파 세부 정보를 합성하여 지각적 품질을 높이지만, 이는 픽셀 단위 오차를 최소화하는 전통적 지표 (PSNR 등) 에서는 오히려 점수가 낮아지는 모순을 낳습니다.
• 새로운 지표의 취약점: MUSIQ, MANIQA, CLIP-IQA 와 같은 최신 학습 기반 무참조 (No-Reference) 지표조차 과도한 선명도 (Over-sharpening) 나 인위적인 고주파 노이즈에 민감하게 반응하여, 실제로는 시각적으로 불쾌한 이미지를 높은 점수로 평가하는 '지표 조작 (Metric Gaming)'의 위험이 있습니다.

2. 방법론 및 분석 (Methodology & Analysis)

저자들은 기존 지표의 한계를 입증하기 위해 다음과 같은 분석을 수행했습니다:

• 모델 카테고리별 지표 추이 분석: 2014 년부터 2025 년까지의 주요 이미지 복원 모델 (SRCNN, ESRGAN, SwinIR, DiffIR, SUPIR 등) 을 PSNR, SSIM, LPIPS, MUSIQ, MANIQA, CLIP-IQA 등 다양한 지표로 평가했습니다.
  • 결과: PSNR/SSIM 은 픽셀 기반 모델에 유리하고, LPIPS 는 GAN 기반 모델에 유리했으나, Diffusion 기반 모델 (더 높은 지각적 품질) 은 여전히 지표에서 불리하게 평가받거나 인간 선호도와 일치하지 않는 결과를 보였습니다.
• 시나리오별 사용자 선호도 조사: 다양한 의미론적 시나리오 (얼굴, 텍스트, 건축, 동물 털 등) 에 대해 모델 간 사용자 선호도를 비교했습니다.
  • 결과: 전체 평균 점수만으로는 모델의 강점과 약점을 파악하기 어렵습니다. 예를 들어, 확산 모델 (SUPIR) 은 전반적으로 선호되지만, 만화/그림 스타일에서는 전통적 모델 (HAT) 이 더 선호되는 등 시나리오에 따른 편차가 큽니다.
• 지표 조작 실험: 안티앨리어싱 제거, 언샤프 마스킹 (USM) 적용 등 단순한 이미지 조작만으로도 무참조 지표 (MUSIQ, MANIQA 등) 의 점수가 인위적으로 상승하는 것을 확인했습니다. 이는 지표가 '고주파 변동'을 '품질 향상'으로 잘못 인식하고 있음을 보여줍니다.
• 데이터 및 모델 규모 격차 분석: 기존 IQA 모델 (수천수십만 장 데이터, 수천만 파라미터) 과 최신 생성형 복원 모델 (수천만 장 데이터, 수십억수천억 파라미터) 간의 규모 격차가 지표의 신뢰성을 떨어뜨리는 근본 원인임을 지적했습니다.

3. 주요 기여 (Key Contributions)

1. 평가 패러다임의 전환 요구: 연구의 성패를 단일 수치 점수로 판단하는 것을 중단하고, 인간의 지각과 선호도를 평가의 핵심 기준으로 삼아야 함을 강력히 주장합니다.
2. 맥락 인식형 다차원 평가의 필요성: 단일 스코어 대신 시나리오별 (Scenario-aware) 평가와 다차원적 (Multi-dimensional) 피드백 (지각적 품질, 미적 선호, 스타일 일관성, 의미론적 정확성 등) 이 필요함을 강조합니다.
3. 지표의 진화 방향 제시:
   • IQA 모델이 생성형 패러다임을 반영할 수 있도록 데이터와 모델 규모를 확장해야 합니다.
   • 단순한 왜곡 검출을 넘어, 의미론적 이해 (Semantic Understanding) 를 갖춘 평가 체계 (LLM/VLM 기반 접근) 로 발전해야 합니다.
   • 지표는 절대적인 심판자가 아니라, 특정 작업과 응용 시나리오에 맞춰 해석되어야 하는 도구로 재정의되어야 합니다.
4. 안전 및 특수 분야에 대한 차별화: 의료, 원격 탐사 등 정밀도가 필수적인 분야와 인간 시각 경험 중심의 분야는 평가 기준을 명확히 구분해야 함을 제안합니다.

4. 결과 및 발견 (Results & Findings)

• 지표의 실패: PSNR, SSIM, LPIPS 는 현대 생성형 모델의 우수한 지각적 품질 (예: Diffusion 모델의 사실적인 질감) 을 제대로 반영하지 못합니다.
• 새로운 지표의 편향: 최신 무참조 지표조차 '과도한 선명도'나 '불필요한 고주파 노이즈'를 선호하는 경향이 있어, 시각적으로 부자연스러운 이미지를 높은 점수로 평가하는 오류를 범합니다.
• 사용자 선호도의 복잡성: 모델의 성능은 이미지 유형 (얼굴, 텍스트, 자연물 등) 에 따라 극명하게 달라지며, 단일 벤치마크 점수는 이러한 뉘앙스를 무시합니다.
• 실제 영향력: GitHub Star 수와 같은 실제 채택 지표는 벤치마크 점수와 상관관계가 낮을 수 있으며 (예: Real-ESRGAN), 실제 사용자의 만족도가 연구의 궁극적 목표임을 시사합니다.

5. 의의 및 시사점 (Significance)

• 연구 방향의 재설정: 이 논문은 시각 처리 연구가 '점수 올리기'에서 벗어나 '실제 인간에게 의미 있는 시각적 개선'을 목표로 해야 함을 경고합니다.
• 지표 개발의 새로운 표준: 향후 IQA 연구는 단순한 점수 예측을 넘어, 해석 가능하고 (Explainable), 다차원적이며, 인간 지각과 정렬된 (Perceptually Aligned) 평가 체계로 발전해야 합니다.
• 생태계 개선: 학계와 산업계 간의 괴리를 줄이고, 재현 가능하면서도 인간 중심적인 평가 프로토콜을 표준화하여 지속 가능한 연구 발전을 도모합니다.

결론적으로, 이 논문은 객관적 지표가 완전히 폐기되어야 한다는 것이 아니라, 지표가 인간 중심의 평가와 균형을 이루고, 생성형 AI 시대의 복잡한 시각적 요구를 반영할 수 있도록 진화해야 한다는 점을 강조합니다.