ProgressiveAvatars: Progressive Animatable 3D Gaussian Avatars

1. Problema e Motivação

Em aplicações de XR (Realidade Estendida) e telepresença em tempo real, os recursos de rede e computação flutuam frequentemente. As representações 3D atuais, baseadas em Gaussian Splatting (3DGS), oferecem alta fidelidade e renderização eficiente, mas sofrem de limitações críticas para streaming:

• Latência de Início: Métodos existentes geralmente exigem o download completo do ativo antes de qualquer renderização, causando atrasos iniciais.
• Falta de Progressividade: Eles não suportam carregamento incremental ou refinamento contínuo à medida que os dados chegam.
• Ineficiência de Recursos: Abordagens anteriores de Level of Detail (LoD) frequentemente usam paradigmas discretos (troca de modelos inteiros) ou subdivisão uniforme, o que gera redundância de armazenamento e desperdício de recursos ao refinar áreas que não precisam de detalhe.

O objetivo é criar uma representação de avatar 3D que permita um início rápido com baixa qualidade, refinando-se suavemente e continuamente à medida que a largura de banda permite, mantendo a animabilidade e a estabilidade temporal.

2. Metodologia: ProgressiveAvatars

O método propõe uma representação progressiva baseada em uma hierarquia de Gaussians 3D, construída sobre uma malha de template (modelo FLAME).

A. Representação Hierárquica e Subdivisão Implícita

• Base: Utiliza o modelo FLAME para fornecer uma estrutura animável base.
• Subdivisão Implícita Adaptativa: Em vez de subdividir uniformemente a malha, o sistema cresce uma hierarquia de triângulos através de subdivisão recursiva.
  • Um novo vértice filho é criado via interpolação baricêntrica dos vértices do pai.
  • Os coeficientes baricêntricos são otimizados suavemente durante o treinamento, permitindo que a hierarquia se adapte a diferentes tamanhos e estruturas faciais.
• Vínculo Local (Face-Local Binding): Os Gaussians 3D são definidos nas coordenadas locais de cada triângulo da malha. Isso garante que, sob deformações da malha (expressões e movimento da cabeça), os Gaussians se movam consistentemente, mantendo a identidade e a animabilidade em todos os níveis de detalhe.

B. Construção e Treinamento

• Crescimento Adaptativo: Durante o treinamento, a estrutura cresce "on-the-fly". A subdivisão é acionada apenas em faces onde o gradiente no espaço da tela (sinal de erro) indica falta de detalhe. Isso concentra recursos em regiões de alta frequência (ex: olhos, boca, cabelo) e evita o desperdício em áreas lisas.
• Supervisão Multi-Nível: O modelo é supervisionado em vários níveis simultaneamente para garantir consistência entre as camadas de detalhe. Isso permite que níveis mais baixos (coarsos) aprendam uma estrutura global completa, essencial para o streaming inicial.
• Perda de Regularização: São utilizadas perdas de escala e posição para garantir que os Gaussians permaneçam ancorados corretamente à malha FLAME durante a animação.

C. Transmissão e Renderização Progressiva

• Classificação de Importância: Após o treinamento, cada face da hierarquia recebe uma pontuação de importância baseada na contribuição agregada dos seus Gaussians para a imagem renderizada (opacidade e transmitância).
• Streaming Prioritário: Os dados são transmitidos em ordem decrescente de importância.
  1. Primeiro, a estrutura base (nível mais grosseiro) é enviada, permitindo a renderização imediata de um avatar animável.
  2. À medida que novos dados chegam, grupos de refinamento (Gaussians de níveis mais finos) são adicionados incrementalmente.
  3. Não há substituição de ativos; o conteúdo anterior é preservado e apenas refinado, evitando "pops" visuais e garantindo estabilidade temporal.

3. Contribuições Principais

1. Paradigma de Ativo Único Contínuo: Transição da troca discreta e redundante de modelos (LoD tradicional) para um único ativo de fluxo contínuo. Qualquer subconjunto recebido de Gaussians pode ser renderizado imediatamente.
2. Carregamento Incremental e Refinamento Adaptativo: O avatar emerge instantaneamente como uma versão grosseira e animável, melhorando visualmente de forma suave conforme a largura de banda permite, sem necessidade de reinicialização ou troca de modelos.
3. Eficiência de Recursos: A subdivisão adaptativa foca nos detalhes onde são necessários, otimizando o uso de memória e largura de banda em comparação com subdivisões uniformes.

4. Resultados Experimentais

Os testes foram realizados no conjunto de dados NeRSemble, comparando o método com GaussianAvatars e PointAvatar.

• Qualidade com Orçamento Baixo: Com apenas 5% do orçamento de dados (aprox. 2.6 MB), o método gera um avatar utilizável com qualidade razoável (PSNR ~27.9), enquanto métodos tradicionais exigem o download completo para serem úteis.
• Qualidade Final: Com 100% dos dados, o método atinge qualidade comparável aos métodos mais avançados (SOTA), com PSNR de 31.47 e SSIM de 0.929.
• Desempenho de Streaming:
  • A qualidade melhora monotonicamente à medida que mais dados chegam.
  • Detalhes finos (botões, dentes, cabelo) são recuperados progressivamente.
  • A taxa de quadros (FPS) permanece estável durante o processo de refinamento.
• Comparação com Compressão Discreta: O método supera pipelines de compressão discreta (como GaussianAvatars + LightGaussian), que exigem múltiplas cópias do modelo e causam saltos visuais na qualidade. O ProgressiveAvatars oferece um refinamento contínuo e suave.

5. Significado e Impacto

O ProgressiveAvatars resolve um gargalo crítico para a adoção de avatares 3D de alta fidelidade em redes heterogêneas e dispositivos móveis. Ao permitir que um avatar seja "usável" quase instantaneamente e melhore continuamente sem interrupções, o método viabiliza experiências imersivas em VR social e telepresença mesmo sob condições de rede instáveis. A abordagem é genérica e pode ser estendida para outros ativos 3D e vídeos volumétricos 4D, estabelecendo um novo padrão para a transmissão progressiva de conteúdo 3D baseado em Gaussian Splatting.