Subjective and Objective Quality Assessment of Rendered Human Avatar Videos in Virtual Reality

Resumen Técnico: Evaluación de la Calidad Subjetiva y Objetiva de Videos de Avatares Humanos Renderizados en Realidad Virtual

Declaración del Problema
A medida que las aplicaciones de Realidad Virtual (VR) y Realidad Aumentada (AR) inmersivas dependen cada vez más de avatares humanos de alta fidelidad (a menudo denominados "hologramas" o gemelos digitales) para la interacción social, la telepresencia y el "metaverso", la transmisión de estos flujos de datos enfrenta restricciones significativas de ancho de banda. La comunicación en tiempo real requiere compresión volumétrica para minimizar la latencia, pero los artefactos de compresión y renderizado pueden degradar severamente la calidad perceptual de los avatares humanos en 3D. Los modelos de Evaluación de la Calidad de Video (VQA) son esenciales para optimizar el equilibrio entre la calidad perceptual y el volumen de datos, pero los algoritmos existentes son en gran medida insuficientes para este dominio. Los métodos tradicionales de VQA 2D no logran considerar las complejidades de la percepción de profundidad, la resolución espacial y la naturaleza dinámica de las mallas 3D. Además, el desarrollo de modelos de VQA especializados para avatares humanos se ve obstaculizado por la escasez de bases de datos exhaustivas y a gran escala que contengan juicios de calidad subjetiva recolectados dentro de entornos de VR inmersivos de 6-DoF (seis grados de libertad). La mayoría de las bases de datos de gráficos 3D existentes dependen de pantallas 2D, objetos estáticos o tipos de distorsión limitados, fallando al capturar los matices de los avatares humanos renderizados y transmitidos.

Metodología
Para abordar estas brechas, los autores construyeron la Base de Datos LIVE-Meta de VQA de Avatares Humanos Renderizados y realizaron una evaluación rigurosa de modelos de VQA de Referencia Completa (FR) y Sin Referencia (NR).

1. Construcción de la Base de Datos:

   • Contenido de la Fuente: El estudio utilizó 36 videos de avatares humanos prístinos obtenidos de Metastage, que presentan diversas demografías, vestimentas y poses (sentado y de pie). Estos fueron reconstruidos como mallas 3D texturizadas (aprox. 20,000 triángulos) con una resolución de textura de 2048×2048.
   • Simulación de Distorsión: Se desarrolló un pipeline personalizado de simulación-renderizado volumétrico dentro de un entorno Unity. Este pipeline simuló 20 configuraciones de distorsión distintas para imitar los artefactos de transmisión del mundo real, incluyendo:
     • Artefactos Temporales: Retrasos (100–400 ms) que causan oclusiones temporales propias.
     • Artefactos Espaciales: Reducción de la resolución de color (480p a 1600p) y tasas de fotogramas (10–30 fps).
     • Condiciones Combinadas: Tres categorías de limitaciones de ancho de banda (Moderada, Pesada y Severamente Limitada) que combinan retrasos, errores de profundidad y reducciones de resolución.
   • Generación de Estímulos: Este proceso produjo 720 secuencias de video (36 fuentes × 20 configuraciones de distorsión).

2. Adquisición de Datos Subjetivos:

   • Entorno: El estudio se llevó a cabo en un entorno de VR inmersivo de 6-DoF utilizando visores Oculus Quest Pro (1800×1920 por ojo, 72 Hz).
   • Participantes: 78 sujetos humanos (de 18 a 33 años) calificaron los videos.
   • Protocolo: Utilizando una metodología de Clasificación Absoluta de Categoría con Referencia Oculta (ACR-HR), los sujetos vieron 120 videos aleatorios por sesión. Las calificaciones se recolectaron mediante una escala de Likert continua de 5 puntos (de Malo a Excelente) usando controladores de VR.
   • Procesamiento de Datos: Las puntuaciones subjetivas se procesaron utilizando el método SUREAL MLE-MOS (Estimación de Máxima Verosimilitud - Media de Opinión Puntuada) para tener en cuenta el sesgo y la inconsistencia de los sujetos, generando puntuaciones medias de opinión (MOS) y DMOS fiables.

3. Evaluación de Modelos Objetivos:

   • Los autores evaluaron una amplia gama de modelos de estado del arte (SOTA) de FR y NR en la nueva base de datos.
   • Preprocesamiento: Para centrarse en el avatar, se excluyeron los píxeles del fondo y se extrajeron cuadros delimitadores (bounding boxes) para el cuerpo y la cara utilizando modelos YOLO.
   • Métricas: El rendimiento se midió mediante el Coeficiente de Correlación de Rango de Spearman (SRCC), el Coeficiente de Correlación de Rango de Kendall (KRCC), el Coeficiente de Correlación Lineal de Pearson (PLCC) y el Error Cuadrático Medio (RMSE).
   • Modelos Probados: El estudio incluyó métricas tradicionales (PSNR, SSIM), modelos basados en aprendizaje profundo (LPIPS, CONTRIQUE, CONVIQT, Re-IQA) y un nuevo modelo propuesto por los autores, HoloQA. HoloQA utiliza un enfoque de Mezcla de Expertos, aprovechando la neurociencia visual, la teoría de la información y el aprendizaje profundo autosupervisado para capturar tanto la calidad de los píxeles de bajo nivel como las características de alto nivel específicas del cuerpo.

Contribuciones Clave

1. La Base de Datos de VQA de Avatares Humanos más Completa y Grande: El artículo presenta la Base de Datos LIVE-Meta de VQA de Avatares Humanos Renderizados, que contiene 720 estímulos distorsionados de 36 videos fuente, calificados por 78 sujetos en un entorno de 6-DoF inmersivo. Esta es actualmente la base de datos de VQA de gráficos 3D más grande de su tipo.
2. Nuevo Predictor de Calidad (HoloQA): Los autores presentan HoloQA, un modelo novedoso diseñado específicamente para hologramas humanos renderizados. Logra un rendimiento de estado del arte en la nueva base de datos al combinar características tradicionales y de aprendizaje profundo adaptadas al contenido del cuerpo humano.
3. Marco de Referencia (Benchmarking): El artículo proporciona un marco de referencia exhaustivo de los modelos SOTA de FR y NR frente a los juicios humanos en VR, demostrando las limitaciones de los modelos de propósito general y la necesidad de enfoques específicos de dominio.
4. Recurso Público: Los metadatos de la base de datos se publican para facilitar la investigación posterior en la predicción de la calidad de VR/AR y la optimización de la compresión.

Resultos

• Análisis Subjetivo:
  • Impacto de la Distorsión: El estudio encontró que la resolución de color y la tasa de fotogramas tuvieron un impacto significativamente mayor en la calidad percibida que los artefactos de retraso. Específicamente, reducir la resolución de color por debajo de 1600p y las tasas de fotogramas por debajo de 20 fps causó una degradación notable de la calidad.
  • Tolerancia al Retraso: Los retrasos de hasta 400 ms tuvieron una influencia mínima en la calidad percibida, lo que sugiere que el ancho de banda puede intercambiarse por la reducción de la latencia sin una pérdida perceptual severa.
  • Consistencia: Se observó una alta consistencia inter-sujeto (SRCC ~0.95) e intra-sujeto, validando la fiabilidad de los datos recolectados.
• Rendimiento de los Modelos Objetivos:
  • Modelos FR: Entre los modelos de Referencia Completa, CONTRIQUE, Re-IQA y CONVIQT (modelos de aprendizaje profundo no supervisados) demostraron una fuerte generalización. El nuevo modelo HoloQA logró el mejor rendimiento (SRCC: 0.9144, PLCC: 0.9489 para solo cuerpo; SRCC: 0.9201, PLCC: 0.9523 para solo cara), superando a las métricas tradicionales y otros enfoques de aprendizaje profundo.
  • Modelos NR: En la categoría de Sin Referencia, los modelos basados en aprendizaje profundo (CONTRIQUE, CONVIQT, RAPIQUE, GAMIVAL) superaron significativamente a los modelos neuroestadísticos manuales (por ejemplo, BRISQUE, TLVQM). Notablemente, TLVQM no logró generalizarse a los videos de avatares humanos, mientras que HoloQA lideró nuevamente las métricas de rendimiento.
  • Cara vs. Cuerpo: Los modelos generalmente funcionaron mejor cuando se evaluaron en recortes de solo la cara en comparación con los recortes de solo el cuerpo, destacando la importancia crítica de la fidelidad facial en la percepción del avatar.

Significancia y Reivindicaciones
El artículo afirma que la Base de Datos de VQA de Avatares Humanos Renderizados LIVE-Meta es un recurso crítico para avanzar en el campo de los medios inmersivos. Al proporcionar una base de datos que captura los matices perceptuales específicos de los avatares humanos de 6-DoF en VR, permite el desarrollo de algoritmos de VQA más precisos. Estos algoritmos son esenciales para optimizar los protocolos de compresión y los flujos de trabajo de transmisión en el metaverso, asegurando experiencias de usuario de alta calidad bajo condiciones variables de ancho de banda. Los autores señalan modestamente que, aunque sus hallazgos son robustos dentro del entorno probado (Oculus Quest Pro), el trabajo futuro debería explorar diversos visores de VR y tipos de distorsión adicionales (por ejemplo, errores de color, ruido de superficie) para refinar aún más estos modelos. La publicación de la base de datos y el modelo HoloQA (tras la revisión por pares) sirve como un paso fundamental hacia la transmisión perceptualmente optimizada de avatares humanos.