Resumen Técnico: Investigación y Desarrollo de Tecnologías de Transmisión Comprimida de Alta Eficiencia para la Comunicación Holográfica en Redes Más Allá del 5G (Beyond 5G)

1. Planteamiento del Problema

La realización práctica de la televisión holográfica (Holo-TV) y la comunicación inmersiva se ha visto históricamente obstaculizada por dos cuellos de botella principales: el enorme volumen de datos holográficos requeridos para una reconstrucción de alta fidelidad y la resolución y capacidades computacionales limitadas de los dispositivos de visualización. Los enfoques tradicionales suelen requerir la transmisión de datos holográficos adaptados a dispositivos y puntos de vista específicos del usuario, lo que resulta en cargas computacionales insostenibles en la estación de radiodifusión y requisitos excesivos de ancho de banda de comunicación. Además, los algoritmos existentes de Holografía Generada por Computadora (CGH) tienen dificultades con la renderización realista de escenas complejas (por ejemplo, reflejos curvos, superficies ocultas) y el rendimiento en tiempo real, particularmente cuando soportan seis grados de libertad (6DoF) y diversas arquitecturas de visualización (por ejemplo, pantallas montadas en la cabeza o proyectores de mesa).

2. Metodología

El grupo de investigación de la Universidad de Hokkaido propuso una arquitectura de sistema denominada Transmisión de Vídeo Holométrico (HVS). Este marco desacopla el proceso de radiodifusión del dispositivo y el punto de vista específicos del usuario. La metodología central consiste en:

• Formato de Datos Comunes: En lugar de transmitir hologramas específicos para cada dispositivo, el sistema transmite "datos comunes" (específicamente, la luz del objeto en la posición de la pupila, $O_{eye}$) que son independientes del hardware del usuario. El dispositivo receptor realiza entonces un cálculo de retropropagación para convertir estos datos comunes en datos holográficos ($O_{SLM}$) adecuados para su sistema óptico específico.
• Renderización Realista mediante Ray Tracing: Para lograr el fotorrealismo, el grupo desarrolló algoritmos de trazado de rayos (ray-tracing) capaces de manejar la eliminación de superficies ocultas y reflejos en superficies curvas (utilizando superficies de Bézier y recorte de Bézier).
• Computación de Alta Velocidad:
  • Lado del Servidor: Se utilizó un clúster de GPU (18 NVIDIA RTX 4090) para paralelizar la computación de CGH, empleando procesamiento de segmentación (pipeline) y división espacial del plano del holograma.
  • Registro Cilíndrico: Para soportar la visualización de punto de vista libre, se introdujo una superficie de registro cilíndrica. Se desarrolló un algoritmo para calcular eficientemente la luz del objeto en este cilindro mediante la retropropagación desde una superficie plana, logrando una aceleración de más de 10,000 veces en comparación con el cálculo directo.
  • Lado del Cliente: Se desarrollaron algoritmos ligeros de compensación de fase para los dispositivos del usuario (HMD) para actualizar los hologramas en tiempo real basándose en la rotación de la cabeza, independientemente del número de fuentes de luz puntual.
• Explotación del Sistema Visual Humano (HVS): Para abordar la compresión y la velocidad de computación, se aplicó el renderizado foveado. Esta técnica renderiza la región central de la mirada (fóvea) a alta resolución mientras reduce la resolución de las regiones periféricas utilizando "sub-hologramas".
• Desarrollo de Hardware: El proyecto incluyó el diseño y la construcción de varios prototipos de visualización, incluyendo un Visor de Realidad Virtual Holográfico (Holo-HMD), un Proyector Holográfico Montado en la Cabeza (Holo-HMP), dispositivos portátiles de generación de datos basados en FPGA y pantallas de mesa de campo de visión amplio.

3. Contribuciones Clave y Resultados

A. Arquitectura del Sistema y Formatos de Datos

• Marco HVS: Se demostró con éxito una arquitectura de tipo radiodifusión donde se transmiten datos comunes y se generan hologramas específicos para cada dispositivo. Esto reduce significativamente la carga computacional del radiodifusor y el ancho de banda requerido para la transmisión.
• Luz del Objeto como Datos Comunes: Se validó que la transmisión de la onda óptica en la posición de la pupila ($O_{eye}$) permite la reconstrucción de imágenes idénticas a través de diferentes sistemas ópticos (por ejemplo, con y sin lentes convexas) tras una transformación inversa adecuada.

B. Rendimiento de Renderización y Computación

• Renderización de Reflejos Curvos: Se desarrolló un algoritmo para generar reflejos en superficies curvas (por ejemplo, pomos de puertas metálicos, espejos curvos). Al subdividir las superficies de Bézier en segmentos planos y aplicar el principio de Fermat, la velocidad de computación se aceleró más de 30 veces, y un 100 veces más con la optimización de la trayectoria óptica, permitiendo tiempos de generación del orden de segundos.
• Aceleración por Clúster de GPU: Un clúster de 4 servidores con 18 GPUs alcanzó un pico teórico de 2 PFLOPS. Esto permitió la generación de vídeo holográfico de resolución 2K a 25.8 fotogramas por segundo (FPS) para simulaciones físicas complejas (por ejemplo, un conejo sobre un balancín), logrando un rendimiento cuasi-en tiempo real.
• Luz de Objeto Cilíndrica: El método de retropropagación propuesto para superficies de registro cilíndricas logró una aceleración de 10,000 veces respecto a los métodos convencionales de fuentes de luz puntual.

C. Dispositivos de Visualización y Experiencia del Usuario

• Holo-HMD: Se desarrolló un HMD a color completo, compacto (125 × 130 × 40 mm), con un campo de visión (FOV) de 16.4°. Soporta 6DoF y actualiza los hologramas a >30 FPS en respuesta al movimiento de la cabeza.
• Holo-HMP: Se realizó un sistema de proyector montado en la cabeza que proyecta imágenes holográficas sobre un espejo cóncavo, expandiendo el FOV sin obstruir la visión del usuario del mundo real. Incluye compensación de fase en tiempo real para la rotación de la cabeza (head roll).
• Pantallas de Mesa: Se demostraron dispositivos con campos de visión amplios (12.8°) y zonas de visión amplias (32°). Estos sistemas utilizan el seguimiento ocular para cambiar electrónicamente la luz de reconstrucción, lo que permite que múltiples usuarios o un solo usuario vean la imagen desde varios ángulos sin ajustes físicos.
• Reducción de Ruido de Moteado (Speckle): Se probaron dos métodos:
  1. Reducción de Coherencia Temporal: El uso de excitación por fósforo amarillo y filtros de frecuencia redujo el ruido de moteado en aproximadamente un 30% manteniendo el brillo.
  2. Reducción de Coherencia Espacial: El uso de fibras ópticas multimodo vibratorias redujo el ruido en un 43%, aunque con cierto compromiso en la resolución de la imagen.

D. Compresión y Eficiencia

• Renderizado Foveado: Al aplicar sub-hologramas a la visión periférica, el estudio logró una aceleración de >8 veces en la computación en comparación con el renderizado de resolución completa.
• Relación de Compresión: La reducción del volumen de datos mediante sub-hologramas permitió una mejora en la relación de compresión de más de 3 veces en comparación con los métodos de compresión sin pérdida convencionales.
• Datos del Mundo Real: El sistema mostró con éxito datos 3D capturados de objetos del mundo real (usando datos de polígonos y nubes de puntos) en el Holo-HMD, demostando capacidades de punto de vista libre de 6DoF con oclusión y paralaje de movimiento realistas.

4. Significado y Reivindicaciones

Los autores afirman que esta investigación establece las tecnologías elementales fundamentales requeridas para la comunicación holográfica de tipo radiodifusión en redes Beyond 5G. La importancia del trabajo radica en:

1. Escalabilidad: La arquitectura HVS resuelve el problema de escalabilidad de la radiodifusión hacia diversos dispositivos al trasladar la carga computacional del renderizado específico del dispositivo al lado del usuario, manteniendo un único flujo de datos comunes.
2. Viabilidad de la Holo-TV en Tiempo Real: Al combinar la aceleración por clúster de GPU, algoritmos de renderizado optimizados y compresión basada en el HVS, el proyecto demuestra que la transmisión de vídeo holográfico de alta fidelidad y en tiempo real es técnicamente viable, cumpliendo el objetivo de 1.5 Gbps o menos (una mejora de eficiencia de ocho veces respecto a los métodos convencionales).
3. Integración de Dispositivos Prácticos: El desarrollo de dispositivos de visualización portátiles, ligeros y de zona de visión amplia (HMDs, HMPs, unidades de mesa) cierra la brecha entre la holografía teórica y las aplicaciones de consumo prácticas.
4. Base para Sistemas Futuros: Aunque el estudio se centró en tecnologías elementales individuales, proporciona una hoja de ruta validada para integrar estos componentes en un sistema de extremo a extremo para comunicaciones 3D inmersivas, educación y aplicaciones de salud.

El informe concluye que, si bien se necesita más trabajo para la integración total del sistema de extremo a extremo y una mayor aceleración, el marco HVS propuesto y las tecnologías demostradas abordan eficazmente las barreras críticas para realizar la comunicación holográfica en la era Beyond 5G.