DeblurSplat: SfM-free 3D Gaussian Splatting with Event Camera for Robust Deblurring

Resumo Técnico do DeblurSplat: 3D Gaussian Splatting Tradicional sem SfM com Câmera de Eventos para Deblurring Robusto

Declaração do Problema
Métodos existentes de reconstrução 3D e síntese de novas vistas (NVS), como 3D Gaussian Splatting (3D-GS) e NeRF, tipicamente assumem entradas de alta qualidade capturadas sob condições ideais. Em cenários do mundo real envolvendo desfoque de movimento (causado por baixa luminosidade ou exposições longas), esses métodos sofrem uma degradação significativa de desempenho. O desfoque de movimento borra bordas e achata texturas, confundindo processos de detecção e correspondência de características. Consequentemente, pipelines tradicionais de Structure-from-Motion (SfM) (por exemplo, COLMAP) falham em estimar poses de câmera precisas ou gerar nuvens de pontos iniciais confiáveis. Esses erros de pose propagam-se para a reconstrução final, resultando em geometria distorcida, superfícies incompletas e artefatos. Embora câmeras de eventos ofereçam alto alcance dinâmico e não possuam desfoque de movimento, os métodos existentes de reconstrução 3D com deblurring baseado em eventos ainda dependem do SfM tradicional para inicialização, tornando-se suscetíveis aos mesmos modos de falha quando o desfoque é severo.

Metodologia
Os autores propõem o DeblurSplat, um framework tradicional sem SfM para deblurring de movimento robusto em 3D Gaussian Splatting. O pipeline integra aprendizado estéreo denso e dados de câmera de eventos para contornar a necessidade de uma estimativa de pose inicial precisa a partir de imagens borradas. O método consiste em três componentes principais:

1. Inicialização sem SfM via DUSt3R:
   Em vez de usar o COLMAP, o método aproveita o módulo de estéreo denso pré-treinado DUSt3R. O DUSt3R regride diretamente coordenadas 3D e estimativas de confiança a partir de imagens borradas usando uma arquitetura baseada em transformer que captura layouts estruturais globais. Esta abordagem evita a acumulação de erros associados à estimativa imprecisa de pose de câmera em condições de desfoque. Os autores observam que, embora o desfoque de movimento atue como um filtro passa-baixa degradando detalhes de alta frequência, o DUSt3R preserva estatísticas geométricas de média e baixa frequência (layout global e profundidade relativa), fornecendo um prior estruturalmente coerente, embora ruidoso.

2. Amostragem de Equilíbrio de Confiança (Confidence Balanced Sampling):
   Para utilizar efetivamente as nuvens de pontos geradas pelo DUSt3R, os autores introduzem uma estratégia de Amostragem de Equilíbrio de Confiança. Estratégias ingênuas de usar todos os pontos ou apenas pontos de alta confiança são subótimas: pontos de alta confiança frequentemente se agrupam em regiões sobrepostas, enquanto pontos de baixa confiança ainda codificam estrutura espacial essencial. O método proposto particiona o intervalo de confiança em intervalos e amostra pontos proporcionalmente à sua confiança dentro de cada intervalo. Isso garante uma cobertura espacial equilibrada, evitando a concentração excessiva em regiões de alta confiança enquanto preserva a completude geométrica de áreas de menor confiança.

3. Alinhamento Progressivo com Fluxos de Eventos:
   Para abordar artefatos residuais e refinar a reconstrução, o framework incorpora fluxos de eventos.

   • Desacoplamento de Imagem Nítida Latente: Usando o método de Integral Dupla Baseada em Eventos (EDI), o sistema desacopla imagens RGB com desfoque de movimento em múltiplas imagens nítidas latentes baseadas nos dados de eventos assíncronos.
   • Modelagem de Movimento Latente: O período de exposição é modelado como uma sequência de imagens latentes ao longo de uma trajetória de câmera. O sistema parametriza e otimiza poses de câmera (usando interpolação de álgebra de Lie em SE(3)) para recuperar a trajetória responsável pela formação do desfoque.
   • Otimização: Uma estratégia de alinhamento progressivo refina iterativamente as aparências nítidas latentes e o movimento da câmera. A função de perda combina uma perda padrão de reconstrução 3D-GS (alinhando a média das renderizações latentes com a entrada borrada) e uma perda guiada por eventos. A perda guiada por eventos alinha as versões em tons de cinza das imagens nítidas latentes renderizadas com as imagens latentes derivadas dos eventos, fornecendo supervisão de grão fino para guiar a otimização em direção a uma reconstrução geometricamente consistente.

Principais Contribuições

• Framework DeblurSplat: O primeiro framework de 3D-GS tradicional sem SfM para deblurring robusto, integrando efetivamente o amplo conhecimento prévio do DUSt3R e a informação de alto alcance dinâmico das câmeras de eventos.
• Amostragem de Equilíbrio de Confiança: Uma estratégia de amostragem inovadora que utiliza as estimativas de confiança do DUSt3R para extrair nuvens de pontos iniciais de alta qualidade, mantendo a cobertura espacial necessária, evitando as armadilhas de poda agressiva ou concentração excessiva.
• Alinhamento Progressivo: Um mecanismo que combina pistas de fluxos de eventos para estimar imagens nítidas latentes e poses de câmera latentes, fornecendo orientação de grão fino para a otimização da reconstrução da cena.
• Avaliação Abrangente: A construção de sete cenas sintéticas "difíceis" desafiadoras com iluminação complexa e movimentos de câmera de grande escala, juntamente com um conjunto de dados do mundo real com níveis controlados de desfoque de movimento, permitindo uma avaliação sistemática além dos benchmarks existentes.

Resultos Experimentais
Experimentos extensivos foram conduzidos em conjuntos de dados sintéticos (cenas Normal e Hard) e conjuntos de dados do mundo real.

• Desempenho: O DeblurSplat supera consistentemente os métodos de estado da arte (SOTA), incluindo B-NeRF, B-3DGS, BAD-NeRF, BAD-GS e outras abordagens baseadas em eventos (E2GS, EDNeRF). Na categoria sintética "Hard", o DeblurSplat alcançou um PSNR de 26.94 comparado ao segundo melhor (EDNeRF) com 24.20. Em cenários do mundo real, alcançou um PSNR de 25.93, superando significativamente os concorrentes.
• Eficiência: O método demonstra eficiência de inicialização superior. Enquanto a inicialização por COLMAP em imagens nítidas leva significativamente mais tempo e frequentemente falha em entradas borradas, o DeblurSplat alcança a inicialização aproximadamente 2.96× mais rápido em média em cenas difíceis.
• Estudos de Ablação: Experimentos confirmam que tanto a Amostragem de Equilíbrio de Confiança quanto o Alinhamento Progressivo são críticos; remover qualquer um desses componentes leva a uma queda perceptível nas métricas PSNR, SSIM e LPIPS.

Significância e Alegações
O artigo afirma que o DeblurSplat constitui a primeira tentativa de aproveitar um módulo de estéreo denso (DUSt3R) especificamente para enfrentar o desafio do deblurring de movimento na reconstrução 3D sem depender do SfM tradicional. Ao eliminar a dependência do SfM, o método melhora a confiabilidade em cenários onde o desfoque faz com que a correspondência de características falhe. A integração de câmeras de eventos fornece um prior semântico de alto alcance dinâmico que guia a recuperação de imagens nítidas latentes e poses de câmera, permitindo a síntese de novas vistas de alta fidelidade mesmo sob desfoque de movimento severo. Os autores enfatizam que sua abordagem não apenas se destaca na geração de novas vistas de alta fidelidade, mas também alcança uma eficiência de renderização significativa em comparação com os métodos atuais de deblur 3D-GS.