Resumo Técnico: Pesquisa e Desenvolvimento de Tecnologias de Transmissão Comprimida de Alta Eficiência para Comunicação Holográfica em Redes Além do 5G

1. Definição do Problema

A realização prática da televisão holográfica (Holo-TV) e da comunicação imersiva tem sido historicamente dificultada por dois gargalos principais: o enorme volume de dados holográficos necessários para a reconstrução de alta fidelidade e a resolução e capacidade computacional limitadas dos dispositivos de exibição. As abordagens tradicionais frequentemente exigem a transmissão de dados holográficos adaptados a dispositivos e pontos de vista específicos do usuário, resultando em cargas computacionais insustentáveis na estação de transmissão e requisitos excessivos de largura de banda de comunicação. Além disso, os algoritmos existentes de Computação de Holografia Gerada por Computador (CGH) têm dificuldade com a renderização realista de cenas complexas (ex: reflexos curvos, superfícies ocultas) e com o desempenho em tempo real, particularmente ao suportar seis graus de liberdade (6DoF) e diversas arquiteturas de exibição (ex: Displays Montados na Cabeça, projetores de bancada).

2. Metodologia

O grupo de pesquisa da Universidade de Hokkaido propôs uma arquitetura de sistema denominada Streaming de Vídeo Holométrico (HVS). Esta estrutura desacopla o processo de transmissão do dispositivo e do ponto de vista específico do usuário. A metodologia central envolve:

• Formato de Dados Comum: Em vez de transmitir hologramas específicos para cada dispositivo, o sistema transmite "dados comuns" (especificamente, a luz do objeto na posição da pupila, $O_{eye}$) que são independentes do hardware do usuário. O dispositivo receptor realiza então um cálculo de retropropagação para converter esses dados comuns no dado holográfico ($O_{SLM}$) adequado para o seu sistema óptico específico.
• Renderização Realista via Ray Tracing: Para alcançar o fotorrealismo, o grupo desenvolveu algoritmos de traçado de raios (ray-tracing) capazes de lidar com remoção de superfícies ocultas e reflexos em superfícies curvas (usando superfícies de Bézier e clipping de Bézier).
• Computação de Alta Velocidade:
  • Lado do Servidor: Um cluster de GPU (18 NVIDIA RTX 4090 GPUs) foi utilizado para paralelizar a computação de CGH, empregando processamento em pipeline e divisão espacial do plano do holograma.
  • Registro Cilíndrico: Para suportar a visualização de ponto de vista livre, uma superfície de registro cilíndrica foi introduzida. Um algoritmo foi desenvolvido para computar eficientemente a luz do objeto neste cilindro através da retropropagação de uma superfície planar, alcançando uma aceleração de mais de 10.000 vezes em comparação com o cálculo direto.
  • Lado do Cliente: Algoritmos leves de compensação de fase foram desenvolvidos para dispositivos do usuário (HMDs) para atualizar os hologramas em tempo real com base na rotação da cabeça, independentemente do número de fontes de luz pontuais.
• Exploração do Sistema Visual Humano (HVS): Para abordar a compressão e a velocidade de computação, a renderização foveada foi aplicada. Esta técnica renderiza a região central do olhar (fóvea) em alta resolução, enquanto reduz a resolução das regiões periféricas utilizando "sub-hologramas".
• Desenvolvimento de Hardware: O projeto envolveu o design e a construção de vários protótipos de exibição, incluindo um Display Montado na Cabeça Holográfico (Holo-HMD), um Projetor Montado na Cabeça Holográfico (Holo-HMP), dispositivos portáteis de geração de dados baseados em FPGA e displays de campo de visão amplo de bancada.

3. Principais Contribuições e Resultados

A. Arquitetura de Sistema e Formatos de Dados

• Estrutura HVS: Demonstrou com sucesso uma arquitetia do tipo transmissão onde dados comuns são transmitidos, e hologramas específicos para o dispositivo são gerados localmente. Isso reduz significativamente a carga computacional do transmissor e a largura de banda necessária para a transmissão.
• Luz do Objeto como Dado Comum: Validou que a transmissão da onda óptica na posição da pupila ($O_{eye}$) permite a reconstrução de imagens idênticas através de diferentes sistemas ópticos (ex: com e sem lentes convexas) após a transformação inversa apropriada.

B. Desempenho de Renderização e Computação

• Renderização de Reflexo Curvo: Desenvolveu um algoritmo para gerar reflexos em superfícies curvas (ex: maçanetas metálicas, espelhos curvos). Ao subdividir superfícies de Bézier em segmentos planares e aplicar o princípio de Fermat, a velocidade de computação foi acelerada em mais de 30 vezes, e em mais 100 vezes com otimização de caminho óptico, permitindo tempos de geração na ordem de segundos.
• Aceleração por Cluster de GPU: Um cluster de 4 servidores com 18 GPUs alcançou um pico teórico de 2 PFLOPS. Isso permitiu a geração de vídeo holográfico de resolução 2K a 25,8 quadros por segundo (FPS) para simulações físicas complexas (ex: um coelho em um balanço), alcançando desempenho quase em tempo real.
• Luz de Objeto Cilíndrica: O método de retropropagação proposto para superfícies de registro cilíndrico alcançou uma aceleração de 10.000 vezes sobre os métodos convencionais de fonte de luz pontual.

C. Dispositivos de Exibição e Experiência do Usuário

• Holo-HMD: Foi desenvolvido um HMD compacto (125 × 130 × 40 mm), colorido, com um campo de visão (FOV) de 16,4°. Ele suporta 6DoF e atualiza hologramas a >30 FPS em resposta ao movimento da cabeça.
• Holo-HMP: Foi realizado um sistema de projetor montado na cabeça que projeta imagens holográficas em um espelho côncavo, expandindo o FOV sem obstruir a visão do usuário do mundo real. Inclui compensação de fase em tempo real para o rolamento (roll) da cabeça.
• Displays de Bancada: Dispositivos com amplos FOVs (12,8°) e zonas de visualização amplas (32°) foram demonstrados. Estes sistemas utilizam rastreamento ocular para alternar eletronicamente a luz de reconstrução, permitindo que múltiplos usuários ou um único usuário visualizem a imagem de vários ângulos sem ajuste físico.
• Redução de Ruído de Speckle: Dois métodos foram testados:
  1. Redução de Coerência Temporal: O uso de excitação por fósforo amarelo e filtros de frequência reduziu o ruído de speckle em ~30% mantendo o brilho.
  2. Redução de Coerência Espacial: Fibras ópticas multimodo vibratórias reduziram o ruído em 43%, embora com algum compromisso na resolução da imagem.

D. Compressão e Eficiência

• Renderização Foveada: Ao aplicar sub-hologramas à visão periférica, o estudo alcançou uma aceleração de >8 vezes na computação em comparação com a renderização de resolução total.
• Taxa de Compressão: A redução no volume de dados via sub-hologramas permitiu uma melhoria na taxa de compressão de mais de 3 vezes em comparação com os métodos convencionais de compressão sem perdas.
• Dados do Mundo Real: O sistema exibiu com sucesso dados 3D capturados de objetos do mundo real (usando dados de polígonos e nuvem de pontos) no Holo-HMD, demonstrando capacidades de ponto de vista livre de 6DoF com oclusão realista e paralaxe de movimento.

4. Significância e Alegações

Os autores afirmam que esta pesquisa estabelece as tecnologias elementares fundamentais necessárias para a comunicação holográfica do tipo transmissão em redes Além do 5G. A significância do trabalho reside em:

1. Escalabilidade: A arquitetura HVS resolve o problema de escalabilidade de transmissão para diversos dispositivos ao deslocar o fardo computacional da renderização específica do dispositivo para o lado do usuário, mantendo um único fluxo de dados comum.
2. Viabilidade de Holo-TV em Tempo Real: Ao combinar aceleração de cluster de GPU, algoritmos de renderização otimizados e compressão baseada em HVS, o projeto demonstra que a transmissão de vídeo holográfico de alta fidelidade e em tempo real é tecnicamente viável, atingindo a meta de 1,5 Gbps ou menos (uma melhoria de oito vezes na eficiência em relação aos métodos convencionais).
3. Integração Prática de Dispositivos: O desenvolvimento de dispositivos de exibição portáteis, leves e de zona de visualização ampla (HMDs, HMPs, unidades de bancada) preenche a lacuna entre a holografia teórica e as aplicações práticas de consumo.
4. Fundação para Sistemas Futuros: Embora o estudo tenha focado em tecnologias elementares individuais, ele fornece um roteiro validado para integrar esses componentes em um sistema de ponta a ponta para comunicações 3D imersivas, educação e aplicações de saúde.

O relatório conclui que, embora seja necessário mais trabalho para a integração completa do sistema de ponta a ponta e maior aceleração, a estrutura HVS proposta e as tecnologias demonstradas abordam efetivamente as barreiras críticas para a realização da comunicação holográfica na era Além do 5G.