Towards Standardized Light Field Quality Assessment: Hybrid Subjective Benchmarking and Objective Metric Evaluation

기술 요약: 표준화된 라이트 필드 품질 평가를 향하여

문제 정의
JPEG Pleno 프레임워크 하에서의 몰입형 미디어, 특히 라이트 필드(Light Field, LF) 이미징의 표준화는 다양한 왜곡 유형에 걸쳐 정확성을 유지하는 신뢰할 수 있고 재현 가능한 주관적 품질 평가(QA) 및 객관적 지표를 필요로 합니다. 기존의 과제는 다음과 같습니다:

1. 기존 방식의 한계: 전통적인 등급 기반 주관적 방법(예: Absolute Category Rating, Double Stimulus Impairment Scale)은 고품질 자극물이나 미세한 지각적 차이가 있는 자극물을 평가할 때 민감도가 떨어지는 경우가 많습니다. 반대로, 쌍체 비교(Pairwise Comparison, PC)는 변별력은 높지만, 동적인 다중 뷰(multi-view) LF 콘텐츠를 평가하기에는 시간이 지나치게 많이 소요됩니다.
2. 현재 지표의 부적절성: 전통적인 2D 이미지 품질 지표(예: PSNR, SSIM)는 각도 일관성(angular consistency), 시차 안정성(parallax stability), 뷰 의존적 외관(view-dependent appearance)과 같은 LF의 고유한 다차원적 특성을 포착하지 못합니다. 또한, 기존의 객관적 지표들은 LF 처리 파이프라인이 단순 압축 아티팩트뿐만 아니라 뷰 합성, 보간(interpolation), 신경 재구성(예: 3D Gaussian Splatting)에서 발생하는 왜곡을 포함할 때 어려움을 겪습니다.
3. 표준화된 벤치마크의 부재: JPEG Pleno Part 7 표준화 활동의 재현 가능한 베이스라인 역할을 할 수 있도록 벤치마크 생성, 하이브리드 주관적 평가, 그리고 객관적 지표 분석을 통합하는 통일된 워크플로우가 필요합니다.

방법론
본 논문은 세 가지 주요 구성 요소로 이루어진 표준화된 워크플로우를 제안합니다:

1. 자극물 생성 및 데이터셋 구축:

   • 소스 자료: 다양한 공간 해상도, 각도 샘플링 밀도, 장면 기하학을 포괄하기 위해 8개의 다양한 소스 장면(자연적인 실내/실외 및 합성 장면)이 선정되었습니다.
   • 왜곡 군(Distortion Families): 벤치마크는 다음 세 가지 범주로 나뉘는 144개의 자극물을 포함합니다:
     • 코딩 전용(Coding-only): 4D 변환 모드와 x265/HEVC(의사 비디오 코딩)를 사용하여 JPEG Pleno 모델(JPLM)로 압축된 자극물.
     • 보간 기반(Interpolation-based): 희소 뷰(sparse views)를 인코딩 및 디코딩하고, 누락된 뷰를 RIFE 또는 SepConv++를 사용하여 합성함.
     • 3DGS 재구성(3DGS Reconstruction): 희소 뷰를 인코딩 및 디코딩하고, 3D Gaussian Splatting(3DGS)을 사용하여 조밀한 LF 그리드를 재구성함.
   • 이러한 설계는 전통적인 코딩 아티팩트와 현대적인 재구성 유발 왜곡 모두에 대해 지표를 평가할 수 있도록 합니다.

2. 하이브리드 주관적 평가 (DSCS+PC):

   • 1단계 (DSCS): 관찰자는 참조 영상 대비 왜곡된 자극물을 4단계 이중 자극 비교 척도(동일함, 약간 나쁨, 나쁨, 매우 나쁨)를 사용하여 평가합니다. 이를 통해 참조 기반의 전역적인 품질 구조를 확립합니다.
   • 2단계 (선택적 PC): 1단계에서 동일한 등급을 받은 자극물 쌍(특히 "약간 나쁨" 및 "나쁨" 범주 내)에 대해서만 쌍체 비교를 수행합니다. 이는 등급 척도의 해상도가 부족한 지각적 모호 영역을 타겟팅합니다.
   • 3단계 (점수 재구성): DSCS 등급과 PC 선호도를 Thurstone Case V 모델을 사용하여 융합함으로써 연속적이고 세밀한 지각 품질 척도를 생성합니다. 이 접근 방식은 등급의 의미론적 명확성을 유지하면서 모호한 영역에서의 국부적 순서를 복구합니다.
   • 검증: 두 실험실 간의 교차 코호트 일관성 및 leave-one-observer-out 분석을 통해 신뢰성을 검증하여 하이브리드 점수의 재현성을 확인했습니다.

3. 객관적 지표 평가:

   • PSNR, SSIM, VIF와 같은 고전적인 신호 충실도 지표, 딥 피처 기반 지표(LPIPS, DISTS, ST-LPIPS), 그리고 몰입형 비디오 확장 지표(IV-PSNR, IV-SSIM)를 포함한 종합적인 전체 참조(Full-Reference, FR) 지표 세트를 평가했습니다.
   • 집계 전략: 지표 성능에 대한 뷰 풀링(view-pooling) 전략(산술 평균, Minkowski 풀링, Worst-X% 풀링)의 영향을 분석했습니다.
   • 통계 분석: 하이브리드 주관적 정답(ground truth)에 대해 Spearman 순위 상관 계수(SRCC), Pearson 선형 상관 계수(PLCC), 평균 제곱근 오차(RMSE)를 사용하여 지표를 평가했습니다.

주요 결과

• 주관적 점수: 하이브리드 DSCS+PC 방법은 높은 교차 코호트 일관성(실험실 간 SRCC = 0.943)을 가진 연속적인 품질 척도를 성공적으로 생성했습니다. 선택적 PC 단계는 모호한 영역의 해상도를 크게 개선하여, leave-one-observer-out 테스트에서 DSCS 단독 점수 대비 +572.92의 로그 가능도(log-likelihood) 이득을 얻었습니다.
• 코딩 전용 vs 재구성에 대한 지표 성능:
  • 지표들은 전체 벤치마크(재구성 아티팩트 포함)에 비해 코딩 전용 서브셋에서 훨씬 더 나은 성능을 보였습니다 (예: ST-LPIPS SRCC = 0.889 vs 0.776).
  • 딥러닝 기반 지표(ST-LPIPS, LPIPS, DISTS)와 피처 기반 지표(CVVDP, IW-SSIM)가 일반적으로 고전적인 픽셀 기반 지표(PSNR, SSIM, FSIM)보다 우수한 성능을 보였습니다.
  • 고전적 지표들은 뷰 합성 왜곡(보간, 3DGS)이 도입될 때 상당한 성능 저하를 보였으며, 기하학적 변화와 뷰 의존적 불일치를 포착하는 데 실패했습니다.
• 풀링의 영향: 뷰 풀링 전략은 지표 성능에 상당한 영향을 미쳤습니다. 학습 기반 지각 지표는 Worst-X% 또는 Minkowski 풀링을 사용할 때 주관적 점수와의 상관관계가 향상되었는데, 이는 국부적인 품질 저하가 지각 품질에 큰 영향을 미침을 시사합니다. 반면, 전통적인 충실도 지표는 단순 평균 풀링에서 가장 좋은 성능을 보이는 경우가 많았습니다.
• 교차 왜곡 강건성: 코딩 전용 왜곡에 대해서만 캘리브레이션된 지표들은 재구성 기반 자극물에 적용될 때 체계적인 편향(저하를 과소 예측함)을 보였으며, 이는 왜곡 군 간의 일반화 능력이 부족함을 나타냅니다.

의의 및 주장
본 논문은 미세한 라이트 필드 QA를 위한 재현 가능하고 표준화 준비가 된 프레임워크를 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 방법론적 토대: 효율성과 높은 변별력을 동시에 갖춘 하이브리드 주관적 프로토콜(DSCS+PC)을 구축하였으며, 이는 복잡한 성격의 LF 콘텐츠에 적합합니다.
2. 벤치마킹 베이스라인: 코딩뿐만 아니라 재구성 아티팩트로 지표를 검증하는 다양한 데이터셋(144개 자극물)을 도입하여, 단순 압축에만 집중된 좁은 벤치마크를 넘어섰습니다.
3. 진단적 통찰: 현재의 객관적 지표들이 코딩 전용에서 재구성 기반 파이프라인으로 일반화되지 못하는 문제와 뷰 풀링 전략에 대한 민감성을 드러내는 한계를 분석했습니다.
4. 표준화 지원: 본 연구는 향 far 더 강력한 LF 품질 지표 개발을 가이드할 수 있는 필요한 주관적 정답과 평가 프로토콜을 제공함으로써, JPEG Pleno Part 7 표준화 활동의 방법론적 기초 역할을 합니다.

저자들은 본 논문이 새로운 객관적 지표를 제안하는 것이 아니라, 그러한 지표를 평가하고 개발하기 위해 필요한 인프라로서 표준화된 테스트 절차 자체를 제시하는 것임을 명시하고 있습니다. 주관적으로 주석이 달린 데이터셋은 이 목표를 지원하기 위해 공개적으로 제공됩니다.