Towards Standardized Light Field Quality Assessment: Hybrid Subjective Benchmarking and Objective Metric Evaluation

Technische Samenvatting: Naar een Gestandaardiseerde Kwaliteitsbeoordeling van Light Field-beelden

Probleemstelling
De standaardisatie van immersieve media, in het bijzonder Light Field (LF) beeldvorming onder het JPEG Pleno-raamwerk, vereist betrouwbare, reproduceerbare subjectieve kwaliteitsbeoordeling (QA) en objectieve metrieken die accuraat blijven over diverse soorten distorties heen. Bestaande uitdagingen omvatten:

1. Beperkingen van Conventionele Methoden: Traditionele beoordelingsmethoden (bijv. Absolute Category Rating, Double Stimulus Impairment Scale) missen vaak sensitiviteit bij het evalueren van hoogwaardige stimuli of stimuli met kleine perceptuele verschillen. Daarentegen biedt paarsgewijze vergelijking (Pairwise Comparison, PC) een hogere discriminatiekracht, maar is het evenredig tijdrovend voor dynamische, multi-view LF-content.
2. Tekortkomingen van Huidige Metrieken: Conventionele 2D-beeldkwaliteitsmetrieken (bijv. PSNR, SSIM) slagen er niet in de unieke multidimensionale kenmerken van LF's te vangen, zoals angulaire consistentie, parallax-stabiliteit en view-afhankelijke verschijning. Bovendien hebben bestaande objectieve metrieken vaak moeite wanneer LF-verwerkingspipelines niet alleen compressie-artefacten bevatten, maar ook distorties voortvloeiend uit view-synthese, interpolatie en neurale reconstructie (bijv. 3D Gaussian Splatting).
3. Gebrek aan Gestandaardiseerde Benchmarks: Er is behoefte aan een uniforme workflow die benchmarkgeneratie, hybride subjectieve evaluatie en objectieve metriekanalyse integreert om een reproduceerbare baseline te dienen voor de JPEG Pleno Part 7 standaardisatieactiviteiten.

Methodologie
Het artikel stelt een gestandaardiseerde workflow voor bestaande uit drie hoofdonderdelen:

1. Stimulusgeneratie en Datasetsconstructie:

   • Bronmateriaal: Acht diverse bronscènes (natuurlijke binnen/buiten en synthetisch) werden geselecteerd om een breed scala aan ruimtelijke resoluties, angulaire bemonsteringsdichtheden en scènegeometrieën te dekken.
   • Distortiefamilies: De benchmark bevat 144 stimuli verdeeld in drie categorieën:
     • Alleen codering: Stimuli gecomprimeerd met JPEG Pleno Model (JPLM) met 4D Transform Mode en x265/HEVC (pseudo-video codering).
     • Interpolatie-gebaseerd: Sparse views gecodeerd en gedecodeerd, waarbij ontbrekende views zijn gesynthetiseerd met RIFE of SepConv++.
     • 3DGS Reconstructie: Sparse views gecodeerd/gedecodeerd, waarbij dense LF-grids zijn gereconstrueerd met 3D Gaussian Splatting (3DGS).
   • Dit ontwerp maakt evaluatie van metrieken tegen zowel traditionele codingsartefacten als moderne reconstructie-geïnduceerde distorties mogelijk.

2. Hybride Subjectieve Evaluatie (DSCS+PC):

   • Fase I (DSCS): Waarnemers beoordelen gedistorteerde stimuli ten opzichte van een referentie met behulp van een vierpunt Double Stimulus Comparison Scale (Hetzelfde, Iets slechter, Slechter, Veel slechter). Dit vestigt een globale, op een referentie gebaseerde kwaliteitsstructuur.
   • Fase II (Selectieve PC): Paarsgewijze vergelijkingen worden uitgevoerd alleen voor stimulusparen die in Fase I identieke beoordelingen ontvingen (specifiek binnen de categorieën "Iets slechter" en "Slechter"). Dit richt zich op perceptueel ambigue regio's waar beoordelingsschalen een gebrek aan resolutie vertonen.
   • Fase III (Score Reconstructie): DSCS-beoordelingen en PC-voorkeuren worden gefuseerd met behulp van een Thurstone Case V-model om een continue, fijnmazige perceptuele kwaliteitsschaal te genereren. Deze aanpak behoudt de semantische helderheid van de beoordelingen terwijl de lokale ordening in ambigue regio's wordt hersteld.
   • Validatie: Betrouwbaarheid werd geverifieerd via cross-cohort consistentie (twee laboratoria) en leave-one-observer-out analyses, wat de reproduceerbaarheid van de hybride scores bevestigde.

3. Objectieve Metriek Evaluatie:

   • Een uitgebreide set Full-Reference (FR) metrieken werd geëvalueerd, inclusclusief klassieke signaalgetrouwheidsmetrieken (PSNR, SSIM, VIF), deep feature-gebaseerde metrieken (LPIPS, DISTS, ST-LPIPS) en immersieve video-extensies (IV-PSNR, IV-SSIM).
   • Aggregatiestrategieën: De studie analyseerde de impact van view-pooling strategieën (arithmetisch gemiddelde, Minkowski pooling en Worst-X% pooling) op de prestaties van de metrieken.
   • Statistische Analyse: Metrieken werden beoordeeld met behulp van Spearman Rank-Order Correlation (SRCC), Pearson Linear Correlation Coefficient (PLCC) en Root Mean Squared Error (RMSE) tegen de hybride subjectieve grondwaarheid.

Belangrijkste Resultaten

• Subjectieve Scores: De hybride DSCS+PC methode genereerde succesvol een continue kwaliteitsschaal met een hoge cross-cohort consistentie (SRCC = 0,943 tussen laboratoria). De selectieve PC-fase verbeterde de resolutie van ambigue regio's aanzienlijk, met een log-likelihood winst van +572,92 ten opzichte van DSCS-alleen scores in leave-one-observer-out tests.
• Metriek Prestaties op Codering-alleen versus Reconstructie:
  • Metrieken presteerden substantieel beter op de codering-alleen subset (bijv. ST-LPIPS SRCC = 0,889) vergeleken met de volledige benchmark inclusief reconstructie-artefacten (ST-LPIPS SRCC = 0,776).
  • Deep learning-gebaseerde metrieken (ST-LPIPS, LPIPS, DISTS) en feature-gebaseerde metrieken (CVVDP, IW-SSIM) presteerden over het algemeen beter dan klassieke pixel-gebaseerde metrieken (PSNR, SSIM, FSIM).
  • Klassieke metrieken vertoonden significante prestatiedalingen wanneer view-synthese distorties (interpolatie, 3DGS) werden geïntroduceerd, waarbij ze faalden in het vastleggen van geometrische verschuivingen en view-afhankelijke inconsistenties.
• Impact van Pooling: View-pooling strategieën beïnvloedden de prestaties van metrieken aanzienlijk. Learning-gebaseerde perceptuele metrieken vertoonden een verbeterde correlatie met subjectieve scores bij gebruik van Worst-X% of Minkowski pooling, wat suggereert dat gelokaliseerde slechte views de waargenomen kwaliteit zwaar beïnvloeden. In contrast hiermee presteerden traditionele getrouwheidsmetrieken vaak het best met eenvoudige gemiddelde pooling.
• Cross-Distortie Robuustheid: Metrieken die uitsluitend gekalibreerd waren op codering-alleen distorties vertoonden een systematische bias (ondervoorspelling van degradatie) wanneer ze werden toegepast op reconstructie-gebaseerde stimuli, wat wijst op een gebrek aan generaliseerbaarheid over verschillende distortiefamilies.

Betekenis en Claims
Het artikel claimt een reproduceerbaar en klaar voor standaardisatie framework te bieden voor fijnmazige Light Field QA. De primaire bijdragen zijn:

1. Methodologisch Fundament: Het vestigt een hybride subjectief protocol (DSCS+PC) dat efficiëntie balanceert met een hoge discriminatiekracht, geschikt voor de complexe aard van LF-content.
2. Benchmarking Baseline: Het introduceert een diverse dataset (144 stimuli) die objectieve metrieken belast met zowel codings- als reconstructie-artefacten, waarmee verder wordt gegaan dan smalle benchmarks die enkel gericht zijn op compressie.
3. Diagnostische Inzichten: De analyse benadrukt kritieke beperkingen van huidige objectieve metrieken, specifiek hun onvermogen om te generaliseren van codering-alleen naar reconstructie-gebaseerde pipelines en hun gevoeligheid voor view-pooling strategieën.
4. Ondersteuning voor Standaardisatie: Dit werk dient als een methodologische basis voor de JPEG Pleno Part 7 standaardisatieactiviteiten, door de noodzakelijke subjectieve grondwaarheid en evaluatieprotocollen te bieden om de ontwikkeling van toekomstige, meer robuuste LF-kwaliteitsmetrieken te begeleiden.

De auteurs verklaren expliciet dat het artikel geen nieuwe objectieve metriek voorstelt, maar eerder de gestandaardiseerde testprocedure zelf presenteert als de noodzakelijke infrastructuur voor het evalueren en ontwikkelen van dergelijke metrieken. De subjectief geannoteerde dataset wordt publiekelijk beschikbaar gesteld om dit doel te ondersteunen.