Towards Standardized Light Field Quality Assessment: Hybrid Subjective Benchmarking and Objective Metric Evaluation

Sintesi Tecnica: Verso una Valutazione Standardizzata della Qualità dei Campi di Luce (Light Field)

Problematica
La standardizzazione dei media immersivi, in particolare dell'imaging a Campo di Luce (LF) nell'ambito del framework JPEG Pleno, richiede una valutazione della qualità (QA) soggettiva affidabile e riproducibile e metriche oggettive che rimangano accurate attraverso diversi tipi di distorsione. Le sfide esistenti includono:

1. Limitazioni dei Metodi Convenzionali: I metodi soggettivi tradizionali basati sulla valutazione (ad es., Absolute Category Rating, Double Stimulus Impairment Scale) spesso mancano di sensibilità quando valutano stimoli di alta qualità o stimoli con piccole differenze percettive. Al contrario, il confronto a coppie (Pairwise Comparison - PC) offre una maggiore discriminabilità ma è proibitivamente lungo per contenuti LF dinamici e multi-view.
2. Inadeguatezza delle Metriche Attuali: Le metriche convenzionali di qualità dell'immagine 2D (ad es., PSNR, SSIM) non riescono a catturare le caratteristiche multidimensionali uniche dei LF, come la coerenza angolare, la stabilità della parallasse e l'aspetto dipendente dalla vista. Inoltre, le metriche oggettive esistenti spesso faticano quando le pipeline di elaborazione LF coinvolgono non solo artefatti di compressione, ma anche distorsioni derivanti dalla sintesi di viste, dall'interpolazione e dalla ricostruzione neurale (ad es., 3D Gaussian Splatting).
3. Mancanza di Benchmark Standardizzati: È necessaria un'unificazione del flusso di lavoro che integri la generazione di benchmark, la valutazione soggettiva ibrida e l'analisi delle metriche oggettive per servire come base riproducibile per le attività di standardizzazione JPEG Pleno Parte 7.

Metodologia
Il documento propone un flusso di lavoro standardizzato composto da tre componenti principali:

1. Generazione degli Stimoli e Costruzione del Dataset:

   • Materiale Sorgente: Sono stati selezionati otto scenari sorgente diversificati (interni/esterni naturali e sintetici) per coprire una vasta gamma di risoluzioni spaziali, densità di campionamento angolare e geometrie della scena.
   • Famiglie di Distorsione: Il benchmark include 144 stimoli divisi in tre categorie:
     • Solo Codifica (Coding-only): Stimoli compressi utilizzando JPEG Pleno Model (JPLM) con modalità 4D Transform e x265/HEVC (pseudo-codifica video).
     • Basati su Interpolazione: Viste sparse codificate e decodificate, con viste mancanti sintetizzate tramite RIFE o SepConv++.
     • Ricostruzione 3DGS: Viste sparse codificate/decodificate, con griglie LF dense ricostruite tramite 3D Gaussian Splatting (3DGS).
   • Questa progettazione consente la valutazione delle metriche sia rispetto ai tradizionali artefatti di codifica che alle moderne distorsioni indotte dalla ricostruzione.

2. Valutazione Soggettiva Ibrida (DSCS+PC):

   • Fase I (DSCS): Gli osservatori valutano gli stimoli distorti rispetto a un riferimento utilizzando una scala di confronto a doppio stimolo a quattro livelli (Uguale, Leggermente peggiore, Peggiore, Molto peggiore). Ciò stabilisce una struttura qualitativa globale ancorata al riferimento.
   • Fase II (PC Selettivo): I confronti a coppie vengono condotti solo per le coppie di stimoli che hanno ricevuto valutazioni identiche nella Fase I (specificamente all'interno delle categorie "Leggermente peggiore" e "Peggiore"). Ciò mira a colpire le regioni percettivamente ambigue dove le scale di valutazione mancano di risoluzione.
   • Fase III (Ricostruzione del Punteggio): Le valutazioni DSCS e le preferenze PC vengono fuse utilizzando un modello di Thurstone Case V per generare una scala di qualità percettiva continua e fine. Questo approccio preserva la chiarezza semantica delle valutazioni pur recuperando l'ordinamento locale nelle regioni ambigue.
   • Validazione: L'affidabilità è stata verificata attraverso la coerenza tra coorti (due laboratori) e analisi leave-one-observer-out, confermando la riproducibilità dei punteggi ibridi.

3. Valutazione delle Metriche Oggettive:

   • È stato valutato un set completo di metriche Full-Reference (FR), incluse metriche classiche di fedeltà del segnale (PSNR, SSIM, VIF), metriche basate su deep feature (LPIPS, DISTS, ST-LPIPS) ed estensioni per video immersivi (IV-PSNR, IV-SSIM).
   • Strategie di Aggregazione: Lo studio ha analizzato l'impatto delle strategie di view-pooling (media aritmetica, Minkowski pooling e Worst-X% pooling) sulle prestazioni delle metriche.
   • Analisi Statistica: Le metriche sono state valutate utilizzando la correlazione di rango di Spearman (SRCC), il coefficiente di correlazione lineare di Pearson (PLCC) e l'errore quadratico medio (RMSE) rispetto alla verità soggettiva ibrida.

Risultati Chiave

• Punteggi Soggettivi: Il metodo ibrido DSCS+PC ha generato con successo una scala di qualità continua con alta coerenza tra le coorti (SRCC = 0,943 tra i laboratori). La fase di PC selettivo ha migliorato significativamente la risoluzione delle regioni ambigue, producendo un guadagno di log-likelihood di +572,92 rispetto ai punteggi DSCS-only nei test leave-one-observer-out.
• Prestazioni delle Metriche su Codifica-Only vs. Ricostruzione:
  • Le metriche hanno performato sostanzialmente meglio sul sottoinsieme di sola codifica (ad es., ST-LPIPS SRCC = 0,889) rispetto al benchmark completo che include gli artefatti di ricostruzione (ST-LPIPS SRCC = 0,776).
  • Le metriche basate su deep learning (ST-LPIPS, LPIPS, DISTS) e le metriche basate su feature (CVVDP, IW-SSIM) hanno generalmente superato le metriche classiche basate sui pixel (PSNR, SSIM, FSIM).
  • Le metriche classiche hanno mostrato cali significativi di prestazione quando venivano introdotte distorsioni di sintesi di vista (interpolazione, 3DGS), fallendo nel catturare spostamenti geometrici e inconsistenze dipendenti dalla vista.
• Impatto del Pooling: Le strategie di view-pooling hanno influenzato significativamente le prestazioni delle metriche. Le metriche percettive basate sull'apprendimento hanno mostrato una migliore correlazione con i punteggi soggettivi utilizzando il pooling Worst-X% o Minkowski, suggerendo che le viste localizzate scarse influenzano pesantemente la qualità percepita. Al contrario, le metriche di fedeltà tradizionali spesso performavano meglio con un semplice mean pooling.
• Robustezza Cross-Distorsione: Le metriche calibrate esclusivamente su distorsioni di sola codifica hanno mostrato un bias sistematico (sottostima della degradazione) quando applicate a stimoli basati sulla ricostruzione, indicando una mancanza di generalizzabilità tra le famiglie di distorsione.

Significatività e Rivendicazioni
Il documento rivendica di fornire un framework riproducibile e pronto per la standardizzazione per la QA fine-grained dei Campi di Luce. I suoi principali contributi sono:

1. Fondamento Metodologico: Stabilisce un protocollo soggettivo ibrido (DSCS+PC) che bilancia efficienza e alto potere discriminante, adatto alla natura complessa dei contenuti LF.
2. Baseline di Benchmarking: Introduce un dataset diversificato (144 stimoli) che mette alla prova le metriche oggettive sia con artefatti di codifica che di ricostruzione, andando oltre i benchmark ristretti focalizzati solo sulla compressione.
3. Approfondimenti Diagnostici: L'analisi evidenzia i limiti critici delle attuali metriche oggettive, specificamente la loro incapacità di generalizzare dalla sola codifica alle pipeline basate sulla ricostruzione e la loro sensibilità alle strategie di view-pooling.
4. Supporto alla Standardizzazione: Il lavoro funge da base metodologica per le attività di standardizzazione JPEG Pleno Parte 7, fornendo la necessaria verità soggettiva e i protocolli di valutazione per guidare lo sviluppo di futuri e più robusti parametri di qualità LF.

Gli autori dichiarano esplicitamente che il documento non propone una nuova metrica oggettiva, ma presenta il procedimento di test standardizzato stesso come l'infrastruttura necessaria per valutare e sviluppare tali metriche. Il dataset annotato soggettivamente è reso pubblico per supportare questo obiettivo.