Towards Standardized Light Field Quality Assessment: Hybrid Subjective Benchmarking and Objective Metric Evaluation

Resumen Técnico: Hacia la Estandarización de la Evaluación de la Calidad de Campos de Luz

Declaración del Problema
La estandarización de los medios inmersivos, particularmente la imagen de Campo de Luz (LF) bajo el marco de trabajo JPEG Pleno, requiere una evaluación de calidad (QA) subjetiva fiable y reproducible, así como métricas objetivas que sigan siendo precisas ante diversos tipos de distorsión. Los desafíos existentes incluyen:

1. Limitaciones de los Métodos Convencionales: Los métodos subjetivos tradicionales basados en calificaciones (por ejemplo, Clasificación de Categoría Absoluta, Escala de Doble Estímulo de Deterioro) suelen carecer de sensibilidad al evaluar estímulos de alta calidad o estímulos con pequeñas diferencias perceptivas. Por el contrario, la comparación por pares (PC) ofrece una mayor discriminabilidad, pero es prohibitivamente lenta para el contenido de LF dinámico y multivista.
2. Insuficiencia de las Métricas Actuales: Las métricas de calidad de imagen 2D convencionales (por ejemplo, PSNR, SSIM) no logran capturar las características multidimensionales únicas de los LF, tales como la consistencia angular, la estabilidad de la paralaje y la apariencia dependiente de la vista. Además, las métricas objetivas existentes suelen tener dificultades cuando los procesos de procesamiento de LF involucran no solo artefactos de codificación, sino también distorsiones derivadas de la síntesis de vistas, la interpolación y la reconstrucción neuronal (por ejemplo, 3D Gaussian Splatting).
3. Falta de Benchmarks Estandarizados: Existe la necesidad de un flujo de trabajo unificado que integre la generación de benchmarks, la evaluación subjetiva híbrida y el análisis de métricas objetivas para servir como una base reproducible para las actividades de estandarización de JPEG Pleno Parte 7.

Metodología
El artículo propone un flujo de trabajo estandarizado que consta de tres componentes principales:

1. Generación de Estímulos y Construcción del Conjunto de Datos:

   • Material de Origen: Se seleccionaron ocho escenas de origen diversas (naturales, interiores/exteriores y sintéticas) para cubrir un amplio rango de resoluciones espaciales, densidades de muestreo angular y geometrías de escena.
   • Familias de Distorsión: El benchmark incluye 144 estímulos divididos en tres categorías:
     • Solo Codificación: Estímulos comprimidos usando el Modelo JPEG Pleno (JPLM) con Modo de Transformada 4D y x265/HEVC (pseudo-codificación de video).
     • Basado en Interpolación: Vistas dispersas codificadas y decodificadas, con vistas faltantes sintetizadas mediante RIFE o SepConv++.
     • Reconstrucción 3DGS: Vistas dispersas codificadas/decodificadas, con rejillas de LF densas reconstruidas mediante 3D Gaussian Splatting (3DGS).
   • Este diseño permite la evaluación de las métricas frente tanto a los artefactos de codificación tradicionales como a las distorsiones modernas inducidas por la reconstrucción.

2. Evaluación Subjetiva Híbrida (DSCS+PC):

   • Etapa I (DSCS): Los observadores califican los estímulos distorsionados en relación con una referencia utilizando una Escala de Comparación de Doble Estímulo de cuatro niveles (Igual, Ligeramente peor, Peor, Mucho peor). Esto establece una estructura de calidad global anclada a la referencia.
   • Etapa II (PC Selectiva): Las comparaciones por pares se realizan solo para los pares de estímulos que recibieron calificaciones idénticas en la Etapa I (específicamente dentro de las categorías "Ligeramente peor" y "Peor"). Esto se enfoca en las regiones perceptualmente ambiguas donde las escalas de calificación carecen de resolución.
   • Etapa III (Reconstrucción de Puntuación): Las calificaciones DSCS y las preferencias de PC se fusionan utilizando un modelo de caso de Thurstone V para generar una escala de calidad perceptual continua y de grano fino. Este enfoque preserva la claridad semántica de las calificaciones mientras recupera el orden local en las regiones ambiguas.
   • Validación: La fiabilidad se verificó mediante la consistencia entre cohortes (dos laboratorios) y análisis de dejar un observador fuera, confirmando la reproducibilidad de las puntuaciones híbridas.

3. Evaluación de Métricas Objetivas:

   • Se evaluó un conjunto exhaustivo de métricas de Referencia Completa (FR), incluyendo métricas clásicas de fidelidad de señal (PSNR, SSIM, VIF), métricas basadas en características profundas (LPIPS, DISTS, ST-LPIPS) y extensiones de video inmersivo (IV-PSNR, IV-SSIM).
   • Estrategias de Agregación: El estudio analizó el impacto de las estrategias de agrupación de vistas (media aritmética, agrupación de Minkowski y agrupación de Peor-X%) sobre el rendimiento de las métricas.
   • Análisis Estadístico: Las métricas fueron evaluadas utilizando la Correlación de Rango de Spearman (SRCC), el Coeficiente de Correlación Lineal de Pearson (PLCC) y el Error Cuadrático Medio (RMSE) contra la verdad de terreno (ground truth) subjetiva híbrida.

Resultados Clave

• Puntuaciones Subjetivas: El método híbrido DSCS+PC generó con éxito una escala de calidad continua con alta consistencia entre cohortes (SRCC = 0.943 entre laboratorios). La etapa de PC selectiva mejoró significamente la resolución de las regiones ambiguas, produciendo una ganancia de log-verosimilitud de +572.92 sobre las puntuaciones de solo DSCS en las pruebas de dejar un observador fuera.
• Rendimiento de las Métricas en Solo Codificación vs. Reconstrucción:
  • Las métricas funcionaron sustancialmente mejor en el subconjunto de solo codificación (por ejemplo, ST-LPIPS SRCC = 0.889) en comparación con el benchmark completo que incluye artefactos de reconstrucción (ST-LPIPS SRCC = 0.776).
  • Las métricas basadas en aprendizaje profundo (ST-LPIPS, LPIPS, DISTS) y las métricas basadas en características (CVVDP, IW-SSIM) generalmente superaron a las métricas clásicas basadas en píxeles (PSNR, SSIM, FSIM).
  • Las métricas clásicas mostraron caídas significativas de rendimiento cuando se introdujeron distorsiones de síntesis de vista (interpolación, 3DGS), fallando en capturar cambios geométricos e inconsistencias dependientes de la vista.
• Impacto de la Agrupación (Pooling): Las estrategias de agrupación de vistas afectaron significativamente el rendimiento de las métricas. Las métricas perceptuales basadas en el aprendizaje mostraron una mejor correlación con las puntuaciones subjetivas cuando se utilizó la agrupación de Peor-X% o de Minkowski, lo que sugiere que las vistas deficientes localizadas influyen fuertemente en la calidad percibida. En contraste, las métricas de fidelidad tradicionales a menudo funcionaron mejor con una agrupación de media simple.
• Robustez ante la Cruz de Distorsión: Las métricas calibradas únicamente en distorsiones de solo codificación exhibieron un sesgo sistemático (subestimación de la degradación) cuando se aplicaron a estímulos basados en reconstrucción, indicando una falta de generalizabilidad a través de las familias de distorsión.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco reproducible y listo para la estandarización para la QA de grano fino de Campos de Luz. Sus principales contribuciones son:

1. Fundamento Metodológico: Establece un protocolo subjetivo híbrido (DSCS+PC) que equilibra la eficiencia con un alto poder discriminativo, adecuado para la naturaleza compleja del contenido de LF.
2. Base de Referencia (Benchmark): Introduce un conjunto de datos diverso (144 estímulos) que pone a prueba las métricas objetivas con artefactos tanto de codificación como de reconstrucción, yendo más allá de los benchmarks estrechos enfocados únicamente en la compresión.
3. Información Diagnóstica: El análisis resalta las limitaciones críticas de las métricas objetivas actuales, específicamente su incapacidad para generalizarse de los procesos de solo codificación a los de reconstrucción y su sensibilidad a las estrategias de agrupación de vistas.
4. Apoyo a la Estandarización: El trabajo sirve como base metodológica para las actividades de estandarización de JPEG Pleno Parte 7, proporcionando la verdad de terreno subjetiva necesaria y los protocolos de evaluación para guiar el desarrollo de futuras métricas de calidad de LF más robustas.

Los autores declaran explícitamente que el artículo no propone una nueva métrica objetiva, sino que presenta el procedimiento de prueba estandarizado en sí mismo como la infraestructura necesaria para evaluar y desarrollar tales métricas. El conjunto de datos anotado subjetivamente se pone a disposición pública para apoyar este objetivo.