Prominence-Aware Artifact Detection and Dataset for Image Super-Resolution

1. 문제 정의 (Problem)

단일 이미지 초해상도 (SISR) 기술, 특히 생성형 모델 (GAN, Diffusion 등) 은 시각적 품질을 크게 향상시켰지만, 비자연스러운 패턴, 흐릿한 얼굴, 텍스처 왜곡과 같은 시각적 아티팩트 (Visual Artifacts) 를 생성하는 치명적인 결함을 가지고 있습니다.

기존의 아티팩트 검출 방법론은 다음과 같은 한계가 있었습니다:

• 이진 분류의 한계: 기존 연구 (LDL, DeSRA 등) 는 아티팩트를 단순히 '있음/없음'의 이진 마스크로 처리했습니다.
• 인지적 중요도 (Prominence) 무시: 모든 아티팩트를 동등하게 취급합니다. 그러나 실제로는 건물의 구조 왜곡이나 사람의 얼굴 변형처럼 사용자에게 매우 거슬리는 아티팩트와, 물이나 잔디 같은 자연물에서 발생하는 미미한 아티팩트之间存在 큰 차이가 있습니다.
• 과적합 위험: 중요도가 낮은 아티팩트까지 동등하게 학습하면, 사용자에게 가장 중요한 (거슬리는) 아티팩트를 놓치거나, 오히려 중요하지 않은 부분의 검출에 과적합되어 사용자 경험을 저하시킬 수 있습니다.

2. 방법론 (Methodology)

이 논문은 아티팩트를 '이진 결함'이 아닌 '관찰자에게 얼마나 두드러지는가 (Prominence)' 로 정의하고 이를 정량화하는 새로운 접근법을 제시합니다.

A. 인지적 중요도 데이터셋 구축

• 새로운 데이터셋: 500 개의 원본 이미지에서 11 가지 최신 SISR 모델을 사용하여 생성된 1,302 개의 아티팩트 예시를 포함하는 데이터셋을 구축했습니다.
• 크라우드소싱 평가: 각 아티팩트 영역에 대해 다수의 평가자 (Crowdsourcing) 가 "해당 영역에 왜곡이 있는가?"를 투표하게 하여 중요도 점수 (Prominence Score, 0~100%) 를 산출했습니다.
• 기존 데이터셋 재평가: 기존 DeSRA 데이터셋의 593 개 아티팩트에도 동일한 중요도 점수를 부여하여 분석했습니다. 그 결과, DeSRA 의 약 48% 아티팩트는 대부분의 관찰자에게 눈에 띄지 않는 것으로 확인되었습니다.
• 마스크 전처리: 아티팩트 검출기의 정밀한 (tight) 마스크는 시각적 판단을 어렵게 하므로, 형태학적 연산 (열림, 팽창, 닫힘) 을 통해 맥락을 포함한 마스크로 변환하여 평가의 정확도를 높였습니다.

B. 중요도 모델링 (Prominence Modeling)

• 가벼운 회귀 모델 (Lightweight Regressor): 입력된 저해상도 이미지와 초해상도 결과로부터 공간적 중요도 히트맵 (Spatial Prominence Heatmap) 을 생성합니다.
• 특징 추출 (Input Features): 세 가지 기존 메트릭을 결합합니다.
  1. DISTS: 텍스처 왜곡과 인지적 영향을 고려한 이미지 품질 메트릭.
  2. ssm_jup: LDL 기반의 색상 아티팩트 검출기를 RGB 채널 전체로 확장하여 텍스처 왜곡을 감지.
  3. bd_jup: LPIPS (지각적 품질) 와 ERQA (경계 보존) 를 블록 단위로 가중 합산한 왜곡 점수.
• 퓨전 모듈: 위 특징들을 경량 MLP(다층 퍼셉트론) 를 통해 융합하여 픽셀 단위의 중요도 값을 예측합니다.
• 실시간 GT 대용 (Pseudo-GT): 고해상도 정답 (Ground Truth) 이 없는 실제 환경에서도 적용 가능하도록, 아티팩트가 적은 실시간 초해상도 모델 (RLFN 등) 의 출력을 가짜 정답 (Pseudo-GT) 으로 사용하여 풀리퍼런스 (Full-reference) 메트릭을 계산하는 파이프라인을 제안했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 중요도 인식 데이터셋: 11 가지 SISR 모델에서 생성된 1,302 개의 아티팩트와 크라우드소싱 기반의 중요도 점수를 포함한 데이터셋을 공개했습니다. 또한 기존 DeSRA 데이터셋의 모든 아티팩트에 대해 중요도 레이블을 추가했습니다.
2. 성능이 우수한 검출 방법론: 기존 이진 검출 방법보다 인간이 인지하는 중요도를 더 정확하게 예측하는 경량 회귀 모델을 개발했습니다. 이 방법은 아티팩트 감소 (Suppression) 를 위한 SISR 모델의 미세 조정 (Fine-tuning) 가이드로 효과적으로 활용됩니다.
3. SISR 모델에 대한 심층 분석: 11 가지 최신 SISR 모델 (Transformer, Diffusion, CNN 기반 포함) 의 아티팩트 생성 경향성을 분석했습니다. 특히 최신 고품질 모델 (예: SUPIR) 이조차도 심각한 아티팩트 생성에 취약함을 입증했습니다.

4. 실험 결과 (Results)

• 객관적 평가: 제안된 방법은 기존 LDL, DeSRA, DISTS 등 다양한 메트릭보다 PR-AUC 및 F1-score 측면에서 우수한 성능을 보였습니다. 특히 가짜 정답 (Pseudo-GT) 을 사용하더라도 성능 저하가 미미하여 실제 적용 가능성이 높음을 입증했습니다.
• 일반화 능력: CNN, Transformer, Diffusion 등 서로 다른 아키텍처로 학습된 모델에 대해 교차 검증 (Cross-validation) 을 수행했을 때, 제안된 방법은 일관된 성능을 보여주어 다양한 SISR 아키텍처에서 공통적으로 발생하는 아티팩트 특성을 잘 포착함을 확인했습니다.
• 미세 조정 (Fine-tuning) 효과: 제안된 중요도 히트맵을 기반으로 SISR 모델을 미세 조정했을 때, 기존 방법들보다 아티팩트 제거율 (Remimg) 이 높고 새로운 아티팩트 추가율 (Addimg) 이 낮아, 더 안정적인 품질 개선을 달성했습니다.
• DeSRA 데이터셋 분석: 기존 DeSRA 데이터셋의 아티팩트 중 약 48% 가 관찰자에게 중요도가 낮음 (50% 미만) 을 발견하여, 기존 이진 마스크 기반 평가의 한계를 지적했습니다.

5. 의의 및 결론 (Significance)

이 논문은 SISR 분야의 평가 및 개선 패러다임을 '이진 검출'에서 '인지적 중요도 기반 평가'로 전환시켰다는 점에서 의의가 큽니다.

• 실용성: 고해상도 정답 이미지가 없는 실제 환경에서도 아티팩트를 효과적으로 식별하고 제거할 수 있는 방법을 제공합니다.
• 지표의 발전: 단순히 아티팩트 유무를 판단하는 것을 넘어, "얼마나 거슬리는가"를 정량화함으로써 사용자 경험 (UX) 중심의 모델 최적화를 가능하게 합니다.
• 확장성: JPEG AI 압축 아티팩트 검출 등 다른 복원 작업 (Restoration Tasks) 으로도 방법론이 확장 가능함을 시사합니다.

결론적으로, 이 연구는 생성형 초해상도 모델이 직면한 아티팩트 문제를 해결하기 위해, 인간의 지각적 특성을 반영한 새로운 데이터셋과 평가 기준을 제시함으로써 향후 고품질 이미지 복원 기술 발전의 중요한 이정표가 될 것으로 기대됩니다.