From Far and Near: Perceptual Evaluation of Crowd Representations Across Levels of Detail

Resumen Técnico: Evaluación Perceptiva de Representaciones de Multitudes a Diferentes Niveles de Detalle

1. Problema y Motivación

El renderizado de multitudes en tiempo real requiere equilibrar el realismo visual con la eficiencia computacional. Tradicionalmente, se han utilizado técnicas de Nivel de Detalle (LoD) que simplifican mallas geométricas o emplean impostores basados en imágenes (sprites 2D). Sin embargo, con el auge de las técnicas de renderizado neuronal (como Campos de Radiación Neuronal - NeRF y Splatting Gaussiano 3D - 3DGS), surge una pregunta crítica: ¿Cómo se comparan estas nuevas representaciones neuronales con los métodos tradicionales bajo diferentes condiciones de visualización?

El objetivo del estudio es determinar en qué condiciones (distancia de visualización y nivel de detalle) las representaciones neuronales y tradicionales son perceptivamente indistinguibles de una malla de alta resolución (ground truth), para guiar el diseño de estrategias de LoD optimizadas perceptualmente.

2. Metodología

A. Representaciones Evaluadas
El estudio compara cuatro tipos de representaciones de personajes de multitudes:

1. Mallas Geométricas (Mesh): La referencia de alta fidelidad, utilizando mallas esqueléticas animadas.
2. Impostores Basados en Imágenes: Secuencias precalculadas empaquetadas en hojas de sprites (2D).
3. Campos de Radiación Neuronal (NeRF): Implementados con Instant-NGP, utilizando codificación de cuadrícula hash multiresolución.
4. Splatting Gaussiano 3D (3DGS): Utilizando un rasterizador consciente de la visibilidad y splats anisotrópicos.

B. Niveles de Detalle (LoD) y Condiciones
Se definieron cuatro niveles de detalle (LoD 0 a 3), donde el detalle se reduce a la mitad en cada paso (100%, 50%, 25%, 12.5%):

• Mesh: Reducción de polígonos mediante el modificador Decimate de Blender.
• Impostores: Reducción de la resolución de las texturas de las hojas de sprites.
• NeRF: Reducción de la capacidad de la tabla hash y el ancho de la red MLP.
• 3DGS: Reducción del número de gaussianas y poda de opacidad.

Se evaluaron cinco distancias de visualización (D0 a D4) y dos modos: Video (con movimiento) e Imagen (sin movimiento).

C. Diseño Experimental

• Datos: Se utilizó un personaje femenino de Mixamo capturado en 60 fotogramas desde 60 cámaras en una configuración hemisférica.
• Estudio de Usuarios: Participaron 24 voluntarios. En cada ensayo, se mostraron las cuatro representaciones lado a lado junto con una malla de referencia de alta resolución. Los participantes debían seleccionar cuál se parecía más a la referencia.
• Análisis Estadístico: Se utilizaron ANOVA de medidas repetidas y modelos lineales generalizados (GLM) binomiales para analizar las proporciones de elección, considerando los factores: Representación, Distancia, LoD y Modo (Movimiento).

D. Métricas Cuantitativas
Además del estudio de usuarios, se calcularon métricas de fidelidad de imagen (PSNR, SSIM, LPIPS) comparando cada representación contra la malla de referencia en una vista de evaluación específica. También se midió el tamaño en disco y el tiempo de entrenamiento (para métodos neuronales).

3. Contribuciones Clave

1. Umbral Perceptivo para la Colocación de LoD: El estudio identifica cuándo cada representación (Malla, Impostor, NeRF, 3DGS) es juzgada como la más similar a la malla de alta calidad. Esto proporciona datos empíricos para decidir cuándo cambiar entre representaciones en un sistema de renderizado.
2. Pipeline y Herramientas de LoD Guiado por la Percepción: Se introduce un pipeline de renderizado que integra estas cuatro representaciones, junto con directrices prácticas y herramientas para generar activos LoD personalizados y reproducibles.
3. Evaluación Comparativa Exhaustiva: Es uno de los primeros trabajos que compara sistemáticamente mallas, impostores y dos técnicas neuronales modernas (NeRF y 3DGS) bajo un marco unificado de LoD y distancia.

4. Resultados Principales

A. Resultados del Estudio de Usuarios (Percepción)

• Factores Determinantes: La fidelidad percibida depende principalmente de la Representación, la Distancia y el LoD.
• Movimiento: No se encontró un efecto significativo de la presencia de movimiento (Video vs. Imagen) en las decisiones de los usuarios.
• Preferencias por Distancia/LoD:
  • Distancias Cercanas / Alto Detalle: Las Mallas Geométricas son las más preferidas y se consideran indistinguibles de la referencia.
  • Distancias Lejanas / Bajo Detalle: Los 3D Gaussians (3DGS) se vuelven progresivamente indistinguibles de las mallas a medida que disminuye la densidad de píxeles o el detalle.
  • Impostores: Son competitivos en vistas únicas (especialmente en SSIM y LPIPS bajos) pero sufren de falta de paralaje 3D.
  • NeRF: Muestra una degradación suave en PSNR pero mantiene alta estructura (SSIM) en niveles medios.

B. Resultados Cuantitativos (Fidelidad y Eficiencia)

• Fidelidad de Imagen: A LoD 0, tanto 3DGS como NeRF coinciden estrechamente con la malla (PSNR > 36 dB). A medida que se reduce el LoD, NeRF mantiene un SSIM alto, mientras que 3DGS sufre una caída mayor en PSNR pero sigue siendo competitivo en métricas estructurales hasta LoD 2.
• Eficiencia de Memoria y Costo:
  • Impostores: Son los más eficientes en memoria (KB) y no requieren tiempo de entrenamiento, pero son rígidos en animación.
  • 3DGS: Ofrece una compresibilidad excelente (de 19 MB a <1 MB) y es una alternativa volumétrica sintonizable, aunque requiere tiempo de entrenamiento offline.
  • Mallas: Solo ofrecen ahorros modestos al simplificar (debido a la rigidez y texturas) pero no tienen costo de entrenamiento.
  • NeRF: Requiere el mayor pie de huella en disco y tiempos de entrenamiento consistentes, con reducciones proporcionales menores en memoria.

5. Significado y Conclusiones

El artículo concluye que no existe una "solución única" para el renderizado de multitudes; la elección óptima depende del contexto de visualización:

• Para distancias lejanas y bajo detalle: Los Impostores siguen siendo la opción más escalable y económica, aunque sacrifican flexibilidad de animación.
• Para distancias medias y alto detalle: Los 3D Gaussians emergen como una alternativa potente a las mallas, ofreciendo renderizado en tiempo real con una calidad perceptiva casi idéntica a la malla cuando la densidad de píxeles es baja.
• Para vistas cercanas: Las Mallas Geométricas mantienen su ventaja indiscutible.

Impacto Futuro:
Estos hallazgos son cruciales para aplicaciones de Realidad Virtual (VR) y Realidad Aumentada (AR), donde la selección de LoD basada en la percepción puede equilibrar el realismo visual con el rendimiento del sistema, asegurando tasas de cuadros estables y comodidad del usuario. El trabajo sugiere futuras investigaciones hacia patrones de movimiento más complejos, interacciones físicas y evaluaciones de rendimiento a nivel de sistema completo.