Resumo Técnico: Gaussian Splatting Aprimorado por Eventos (E2GS)

Declaração do Problema

Avanços recentes na reconstrução de cenas 3D e na síntese de novas visualizações foram impulsionados pelos Campos Radiantes Neurais (NeRF) e, mais recentemente, pelo Gaussian Splatting 3D. Embora o Gaussian Splatting 3D ofereça capacidades de treinamento e renderização rápidas em comparação com o NeRF, esses métodos geralmente assumem condições de entrada ideais. Eles enfrentam dificuldades significativas quando apresentados a imagens com desfoque de movimento, um artefato comum causado por movimento do objeto, trepidação da câmera ou desfoque da lente.

Por outro lado, câmeras de eventos (Sensores de Visão Dinâmica) oferecem alta faixa dinâmica, ausência de desfoque de movimento e baixa latência, capturando assincronamente mudanças no brilho dos pixels. Métodos anteriores de reconstrução 3D baseados em eventos, como o E2NeRF, utilizaram com sucesso dados de eventos juntamente com imagens RGB desfocadas para reconstruir cenas nítidas. No entanto, essas abordagens dependem do paradigma NeRF, que exige estratégias extensas de amostragem de raios, resultando em tempos de treinamento proibitivamente longos e velocidades de renderização lentas. Permanece a necessidade de um método que combine a eficiência do Gaussian Splatting com a resiliência a desfoque de movimento dos dados de eventos.

Metodologia

Os autores propõem o Gaussian Splatting Aprimorado por Eventos (E2GS), um framework que integra dados de fluxo de eventos ao pipeline do Gaussian Splatting 3D para lidar com entradas desfocadas. O método opera através de três etapas principais:

1. Pré-processamento e Inicialização

• Desfocagem Orientada por Eventos: Dado um conjunto de imagens desfocadas e seus fluxos de eventos correspondentes, o método divide o tempo de exposição de cada imagem em $N$ timestamps iguais. Utilizando o modelo de Duplo Integral Baseado em Eventos (EDI), estima uma sequência de imagens intermediárias nítidas ($I_i$) acumulando dados de eventos. A imagem desfocada é modelada como a média desses quadros intermediários.
• Inicialização: A sequência estimada de imagens desfocadas é alimentada em um pipeline de Estrutura a partir do Movimento (SfM) (COLMAP) para gerar as coordenadas 3D iniciais do Gaussian e as poses da câmera. Esta etapa é crucial, pois o SfM padrão frequentemente falha quando inicializado diretamente com imagens desfocadas.

2. Framework de Treinamento

O E2GS otimiza os parâmetros do Gaussian 3D usando duas funções de perda distintas para supervisionar a reconstrução:

• Perda de Renderização de Imagem ($\mathcal{L}_{blur}$): Para adaptar o Gaussian Splatting a entradas desfocadas, o método renderiza $N$ visualizações intermediárias correspondentes aos timestamps e as média para simular a verdade fundamental desfocada. A perda é uma combinação de perda L1 e D-SSIM (Semelhança Estrutural de Dissimilaridade) comparando a média simulada contra a imagem desfocada de entrada.
• Perda de Renderização de Eventos ($\mathcal{L}_{event}$): Para aproveitar a alta resolução temporal dos dados de eventos, o método seleciona aleatoriamente dois quadros da sequência renderizada, converte-os para intensidade no domínio logarítmico e calcula o número esperado de eventos com base na diferença de intensidade e em um limiar $C$. Este bin de evento estimado é comparado ao bin de evento da verdade fundamental usando o Erro Quadrático Médio (MSE). Esta perda impõe consistência com o processo temporal contínuo do desfoque, e não apenas com a média estática.

A função de perda total é uma soma ponderada: $\mathcal{L} = \mathcal{L}_{blur} + w_{event}\mathcal{L}_{event}$.

Contribuições Principais

1. Primeira Integração de Eventos no Gaussian Splatting: O E2GS é a primeira abordagem a incorporar dados de eventos no framework do Gaussian Splatting, indo além do paradigma de renderização volumétrica do NeRF.
2. Desfocagem e Síntese Eficientes: O método utiliza efetivamente tanto imagens RGB desfocadas quanto fluxos de eventos para alcançar desfocagem de imagem de alta qualidade e síntese de novas visualizações.
3. Melhorias Significativas de Velocidade: Ao substituir a amostragem de raios por rasterização diferenciável, o E2GS reduz drasticamente os custos computacionais em comparação com métodos baseados em NeRF.

Resultados Experimentais

Os autores avaliaram o E2GS em conjuntos de dados sintéticos (trepidação de câmera simulada no Blender) e conjuntos de dados do mundo real (capturados com câmeras de eventos DAVIS346).

• Desempenho Quantitativo:
  • Desfocagem de Imagem: Em dados sintéticos, o E2GS alcançou um PSNR de 30,84, superando o Gaussian Splatting padrão (22,92) e igualando ou superando ligeiramente o E2NeRF (29,77). Em dados do mundo real, o E2GS alcançou as menores pontuações BRISQUE (indicando maior naturalidade), com uma média de 32,50 em comparação com 36,59 do E2NeRF.
  • Síntese de Novas Visualizações: O E2GS demonstrou resultados superiores ou competitivos nas métricas PSNR, SSIM e LPIPS contra tanto o GS padrão quanto o E2NeRF em dados sintéticos. Na síntese de novas visualizações do mundo real, o E2GS novamente alcançou as melhores pontuações BRISQUE (média de 32,77).
• Eficiência:
  • Treinamento: O E2GS reduziu o tempo de treinamento por um fator de 60 em comparação com o E2NeRF (50 minutos vs. 2 dias).
  • Renderização: O E2GS alcançou uma velocidade de renderização de 140 FPS, representando um aumento de velocidade de 3500x sobre o E2NeRF (0,04 FPS).

Significado e Alegações

O artigo afirma que o E2GS conecta com sucesso a lacuna entre a reconstrução de alta qualidade dos métodos baseados em NeRF com eventos e a eficiência computacional do Gaussian Splatting. Os autores afirmam que seu método gera renderizações visualmente atraentes enquanto oferece tempos de treinamento e renderização significativamente mais rápidos, tornando viável a reconstrução 3D em tempo real ou quase real a partir de dados aumentados por eventos e desfocados por movimento.

Os autores concluem que, embora seu método lide efetivamente com cenas estáticas, as direções futuras de pesquisa incluem abordar cenas dinâmicas com sujeitos em movimento rápido (por exemplo, esportes), que permanecem desafiadoras para as abordagens atuais focadas apenas em RGB ou em cenas estáticas.