기술 요약: SR-주목도 (SR-Prominence)

문제 정의

현대적인 단일 이미지 초해상도 (SISR) 방법, 특히 생성적 사전 지식 (GAN, 확산 모델) 을 활용하는 방법들은 지각적 선명도를 크게 향상시켰습니다. 그러나 이들은 비자연스러운 패턴, 번진 얼굴, 질감 왜곡과 같은 시각적 아티팩트를 빈번히 도입하여 지각된 품질을 저하시킵니다. 기존 평가 프레임워크는 두 가지 주요 한계를 겪고 있습니다:

1. 이진 평가 (Binary Evaluation): 현재 데이터셋 (예: DeSRA) 과 탐지 방법들은 모든 국부적 결함을 동등하게 취급하며, 결함이 지각적으로 눈에 띄는지 여부와 상관없이 이진 레이블 (아티팩트 존재/부재) 을 할당합니다. 이는 매우 방해가 되는 구조적 실패와 거의 보이지 않는 질감 오류를 구분하지 못하게 합니다.
2. 지표 불일치 (Metric Misalignment): 전통적인 풀-레퍼런스 지표 (PSNR, SSIM) 는 생성적 출력에 대해 인간 지각과 poorly 상관관계를 보이며, 노-레퍼런스 (NR) 이미지 품질 평가 (IQA) 방법과 특화 아티팩트 탐지기는 종종 다양한 데이터셋과 참조 설정에서 일반화되지 못합니다.

핵심 문제는 아티팩트가 존재하는지 여부뿐만 아니라 시청자가 특정 아티팩트를 얼마나 자주 인지하는지 정량화하는, 지각 가중치를 둔 아티팩트 평가 대상의 부재입니다.

방법론

1. 아티팩트 주목도의 정의

저자들은 아티팩트 주목도 (artifact prominence) 를 강조된 영역에 눈에 띄는 아티팩트가 포함되어 있다고 판단한 시청자의 비율로 정의합니다. 이는 평가 대상을 이진 결함 존재 여부에서 지각적 영향의 등급 측정으로 전환시킵니다.

2. 크라우드소싱 주석 프로토콜

주목도 데이터를 수집하기 위해 저자들은 Yandex.Tasks 플랫폼을 활용한 프로토콜을 설계했습니다:

• 자극물: 참가자들은 한 쌍의 이미지를 봅니다. "원본"(목표 크기로 가장 가까운 이웃 보간을 통해 업스케일된 저해상도 입력으로, 참조임을 나타냄) 과 "업스케일된"(SR 출력) 이미지입니다.
• 강조: 아티팩트 영역이 시각적으로 강조됩니다. 인간의 평가 가능성을 보장하기 위해, 원시 아티팩트 마스크는 문맥을 포함하고 희소한 노이즈를 제거하기 위해 형태학적 전처리 (오프닝, 팽창, 클로징) 를 거칩니다.
• 작업: 참가자들은 강조된 영역에 왜곡된 객체나 질감이 포함되어 있는지 투표합니다.
• 품질 관리: 각 이미지는 30 명의 참가자가 평가합니다. 작업자는 훈련 및 테스트 단계를 거치며, 통제 질문에 실패한 작업자는 제외됩니다. 부트스트랩 분석에 따르면 30 명의 평가자가 비용과 신뢰도 (±20% 변동성) 사이의 합리적인 균형을 제공합니다.
• 데이터 수집: 이 프로토콜은 3,935 개의 아티팩트 마스크를 포함하는 SR-주목도 (SR-Prominence) 데이터셋 스위트 생성에 적용되었습니다.

3. 데이터셋 스위트 (SR-주목도)

이 스위트는 15 가지 널리 사용되는 SR 방법 및 그 변형을 포괄하는 네 가지 보완적 구성 요소로 구성됩니다:

• 주목도-DeSRA (Prominence-DeSRA): 기존 DeSRA 데이터셋에서 재주석된 마스크 (593 개).
• 주목도-OpenImages (Prominence-OpenImages): 다양한 콘텐츠 유형을 아우르는 다양한 자연 이미지 (1,523 개 마스크).
• 주목도-Urban100 (Prominence-Urban100): 텍스트, 그리드, 패턴 등 SR 방법을 시험하는 것으로 알려진 구조화된 장면 (873 개 마스크).
• 주목도-Urban100-HR (Prominence-Urban100-HR): 합성 다운샘플링 없이 원래 고해상도 Urban100 이미지를 사용하는 현실적인 설정 (946 개 마스크). 이는 고해상도 정답 (HR-GT) 이 없는 시나리오를 시뮬레이션합니다.

4. 벤치마킹 및 채점 프로토콜

본 논문은 세 가지 평가 메커니즘을 소개합니다:

• 정제되지 않은 최상위 아티팩트 벤치마크: 생성된 모델 또는 탐지된 지표를 기반으로 마스크를 그룹화하여 SR 모델과 탐지기를 평가합니다. 성능은 평균 주목도와 "신뢰할 수 있는"(주목도 ≥ 50%) 마스크의 수로 측정됩니다.
• 임계값 없는 채점: 탐지기의 히트맵 대비 (마스크 내부 vs 외부) 와 크라우드소싱된 주목도 간의 스피어만 상관관계 점수입니다. 이를 통해 추가 크라우드소싱 없이 새로운 방법을 벤치마킹할 수 있습니다.
• 의사 정답 (Pseudo-GT) 프로토콜: HR-GT 가 없는 Urban100-HR 설정을 위해, 경량의 아티팩트 저항성 SR 모델 (RLFN) 을 사용하여 의사 정답을 생성합니다. 그런 다음 SR 출력과 이 의사 정답 간에 풀-레퍼런스 지표 (SSIM, DISTS) 를 계산합니다.

주요 기여

1. 아티팩트 주목도 개념: 이진 결함 탐지를 넘어 SR 아티팩트 평가를 위한 등급화되고 시청자 중심의 대상으로서 "아티팩트 주목도"를 도입합니다.
2. SR-주목도 데이터셋 스위트: 네 가지 다른 설정 (DeSRA, Open Images, Urban100, Urban100-HR) 과 15 가지 SR 방법에 걸쳐 크라우드소싱된 주목도 레이블을 갖춘 대규모 데이터셋 (3,935 개 마스크) 을 구축합니다.
3. 평가 프로토콜:
   • 추가 크라우드소싱 없이 새로운 지표와 탐지기를 벤치마킹할 수 있는 채점 프로토콜.
   • HR 이 없는 현실적인 설정에서 풀-레퍼런스 지표를 적용할 수 있는 의사 정답 절차.
   • 아티팩트 주목도 예측을 위한 경량 참조 기준선 (MLP 를 통해 DISTS, ssm_jup, bd_jup 특징을 융합).

실증 결과

• 이진 마스크는 불충분함: DeSRA 의 재주석 결과, 실험실 내 이진 아티팩트의 48.2% 가 다수의 시청자에게 주목되지 않았음이 드러났습니다. 이는 이진 레이블이 지각적으로 관련 없는 많은 결함을 포착함을 확인시켜 줍니다.
• 지표 성능:
  • 풀-레퍼런스 지표: 전통적인 지표, 특히 SSIM과 DISTS는 많은 경우 특화 아티팩트 탐지기보다 뛰어난 국부적 주목도 신호를 제공했습니다.
  • 노-레퍼런스 한계: 노-레퍼런스 IQA 방법과 특화 아티팩트 탐지기 (예: LDL, DeSRA, PAL4VST) 는 종종 데이터셋과 참조 설정 간에 일반화되지 못하여 인간 주목도 판단과 0 에 가까운 또는 음의 상관관계를 보였습니다.
• SR 모델 행동:
  • 아티팩트 인식 훈련: 아티팩트 예방을 위해 특별히 훈련된 모델 (예: LDL-SR) 이 반드시 가장 주목도가 낮은 아티팩트를 생성한 것은 아닙니다. 경우에 따라 가장 주목도가 높은 아티팩트를 생성하기도 했습니다.
  • 강건한 아키텍처: 재구성에 초점을 맞춘 트랜스포머 모델 (예: DRCT, HAT-L) 은 모든 구성 요소에서 가장 낮은 평균 주목도와 가장 적은 신뢰할 수 있는 마스크를 생성하며 우수한 강건성을 입증했습니다.
  • 문맥의 중요성: 구조화된 장면 (Urban100) 과 텍스트 및 예술과 같은 의미적 문맥에서의 아티팩트는 자연 질감 (잔디, 물) 의 아티팩트보다 훨씬 더 주목도가 높았습니다.

중요성과 주장

본 논문은 SR-주목도가 초해상도 평가의 패러다임 전환을 가능하게 한다고 주장합니다:

• 이진에서 지각으로: 단순히 결함의 존재를 탐지하는 것에서 해당 결함의 지각적 영향을 평가하는 것으로 분야를 이동시킵니다.
• 실용적 유용성: 추가 크라우드소싱이 필요 없는 채점 프로토콜을 제공함으로써, 향후 연구자들이 새로운 지표와 SR 방법을 인간 인지도에 대해 효율적으로 벤치마킹할 수 있게 합니다.
• 현실적인 평가: Urban100-HR 설정과 의사 정답 프로토콜의 포함은 합성 벤치마크와 HR 정답이 없는 실제 배포 간의 격차를 해소합니다.
• 지표에 대한 통찰: 특화 아티팩트 탐지기가 우월하다는 가정에 도전하여, 잘 설계된 풀-레퍼런스 구조 및 지각적 유사성 지표가 시청자가 인지하는 실패를 식별하는 데 더 효과적일 수 있음을 시사합니다.

저자들은 SR 아티팩트 평가가 모든 국부적 결함을 동등하게 취급하는 대신 시청자가 실제로 인지하는 아티팩트를 고려해야 한다고 결론지으며, 이는 지각적으로 강건한 초해상도 방법 개발을 더 잘 안내할 것이라고 말합니다.