High-speed Imaging through Turbulence with Event-based Light Fields

1. O Problema

A imagem de longo alcance através da atmosfera é fundamental para astronomia, sensoriamento remoto e vigilância. No entanto, a turbulência atmosférica degrada severamente a fidelidade da imagem, introduzindo desfoque, distorção geométrica e "wander" (oscilação da imagem).

As soluções existentes enfrentam limitações fundamentais:

• Sensores Convencionais: Câmeras tradicionais integram a luz em uma janela de exposição fixa. Em cenas dinâmicas ou sob forte turbulência, isso resulta na mistura irreversível dos movimentos da cena com as flutuações da turbulência, causando desfoque de movimento e artefatos.
• Câmeras de Eventos (Event Cameras): Embora capazes de capturar mudanças de brilho em microssegundos (evitando desfoque), as câmeras de eventos sozinhas não conseguem distinguir se um evento foi gerado pelo movimento do objeto ou pela turbulência atmosférica.
• Abordagens Atuais: Métodos anteriores que combinam eventos e turbulência geralmente assumem objetos rígidos ou dependem de câmeras de quadro (frame-based) para a formação final da imagem, limitando a taxa de quadros e perdendo a vantagem de alta velocidade dos eventos.

2. Metodologia

O trabalho propõe um sistema inovador que combina câmeras de eventos com óptica de campo de luz (light field) para resolver a ambiguidade entre movimento da cena e turbulência.

A. Hardware: Câmera de Campo de Luz Baseada em Eventos

• Configuração: O sistema utiliza uma câmera de eventos (Prophesee EVK4) acoplada a um sistema óptico de campo de luz baseado em um kaleidoscópio.
• Funcionamento: O kaleidoscópio cria múltiplas vistas sub-aperturas (9 vistas em um arranjo 3x3) simultaneamente a partir de uma única lente principal.
• Princípio Físico: Cada sub-apertura observa a mesma cena dinâmica através de uma coluna atmosférica diferente.
  • O movimento da cena é consistente e altamente correlacionado entre todas as vistas.
  • A turbulência é estocástica e gera eventos fracos ou não correlacionados entre as diferentes vistas.

B. Modelo de Formação de Imagem

O modelo matemático descreve a intensidade capturada como uma integral incoerente onde a radiância da cena ($S$) e a função de espalhamento de ponto (PSF) da turbulência ($h$) estão acopladas multiplicativamente.

• Com uma única vista, recuperar $S$ e $h$ é um problema inverso mal-posto.
• Com $N$ vistas, o sistema acumula restrições cruzadas: a cena $S$ é comum a todas as vistas, enquanto as realizações de turbulência $\{h^{(i)}\}$ são independentes. Isso permite separar o sinal da cena do ruído da turbulência.

C. Algoritmo de Reconstrução

• Arquitetura: Os autores adaptaram o modelo E2VID (uma rede recorrente encoder-decoder baseada em U-Net) para o cenário multivista.
• Entrada: Os fluxos de eventos de cada uma das $N$ vistas são convertidos em grades de voxels espaciais-temporais e empilhados ao longo da dimensão do canal.
• Treinamento: A rede é treinada de forma supervisionada em um grande conjunto de dados simulados (usando o simulador de turbulência P2S e o simulador de eventos V2E). A rede aprende implicitamente as estatísticas espaciais da turbulência anisoplanática e a variedade de cenas naturais, utilizando o consenso entre as vistas para resolver a ambiguidade bilinear.
• Perda: O treinamento utiliza a perda perceptual LPIPS (Learned Perceptual Image Patch Similarity) em vez de MSE, para evitar imagens borradas.

3. Contribuições Principais

1. Primeiro Método "Event-Only": Apresenta o primeiro método capaz de imageamento de alta velocidade através de turbulência forte usando apenas câmeras de eventos, rompendo a barreira de taxa de quadros das câmeras convencionais.
2. Resolução de Ambiguidade via Campo de Luz: Demonstra que a óptica de campo de luz fornece informações suficientes para remover a turbulência enquanto preserva o movimento da cena, explorando a correlação cruzada entre vistas.
3. Desempenho Superior: Experimentos reais e simulados mostram que o método supera significativamente as reconstruções de vista única e métodos baseados em quadros convencionais.
4. Imagem de Objetos Não-Rígidos Rápidos: Sucesso na captura de objetos em movimento rápido e não-rígidos (como um balão de água estourando) sem confundir a dinâmica do objeto com a turbulência.

4. Resultados

Os experimentos foram realizados em laboratório (setup de mesa) e em simulação, com os seguintes achados:

• Qualidade de Imagem: O modelo com campo de luz recupera bordas muito mais nítidas e retas em comparação com a vista única, que sofre de distorções curvas e desfoque.
• Consistência Temporal: Gráficos $x-t$ e $r-t$ mostram que o método de campo de luz reduz drasticamente o "wobble" (oscilação) e mantém uma aparência temporalmente consistente, enquanto a vista única exibe instabilidade quadro a quadro.
• Alta Velocidade: O sistema foi capaz de reconstruir vídeos a 600 fps e até 12.000 fps (estimativa) para objetos extremamente rápidos.
  • Exemplo: Um dardo de Nerf viajando a 16.000 pixels por segundo foi reconstruído com uma trajetória de linha reta clara e precisa, algo impossível para métodos de vista única ou baseados em quadros.
• Comparação com Métodos Existentes:
  • Métodos de "Event-to-Video" tradicionais (como E2VID, ET-Net) falham quando treinados apenas em eventos turbulentos, interpretando a turbulência como movimento da cena.
  • Tentativas de pós-processamento (reconstruir vídeo e depois aplicar mitigação de turbulência baseada em quadros, como MambaTM) falharam, pois a distorção introduzida na etapa de reconstrução de eventos é irreversível para esses modelos. A abordagem end-to-end é essencial.
• Métricas Quantitativas: Na simulação, o método de campo de luz superou a vista única em todas as métricas (PSNR, SSIM e LPIPS), mesmo quando comparado com uma vista única de resolução 3x maior (para igualar o número total de pixels).

5. Significado e Conclusão

Este trabalho representa um avanço significativo na computação óptica e na visão computacional. Ao combinar a alta resolução temporal das câmeras de eventos com a redundância espacial dos campos de luz, os autores superaram um dos maiores obstáculos na imageamento atmosférico: a distinção entre movimento real e distorção atmosférica.

Implicações:

• Permite a observação de fenômenos dinâmicos rápidos em longas distâncias sem a necessidade de óptica adaptativa complexa e cara (que geralmente requer estrelas-guia).
• Abre caminho para aplicações em vigilância de alta velocidade, monitoramento ambiental e astronomia, onde a turbulência e o movimento rápido coexistem.
• Demonstra que o aprendizado de máquina, quando alimentado com dados sintéticos realistas e arquiteturas adequadas, pode resolver problemas inversos complexos de imageamento físico.

Limitações:

• A resolução espacial é limitada (cerca de 1 MP), sacrificada em favor da diversidade de vistas.
• Assume que a cena está aproximadamente no infinito óptico (paralaxe desprezível entre vistas), o que pode não ser válido para aplicações de curto alcance (ex: biomedicina).
• Existe uma latência de processamento de ~3,4 ms na reconstrução atual.