Resumo Técnico: EVIS – Um Plugin de Câmera de Eventos Baseado em Física para NVIDIA Isaac Sim

1. Declaração do Problema

Câmeras de eventos oferecem vantagens significativas para a robótica, incluindo resolução temporal de microssegundos, baixa latência e alta faixa dinâmica, tornando-as ideais para cenários de movimento rápido e alta faixa dinâmica. No entanto, o desenvolvimento da percepção e controle baseados em eventos é dificultado pela escassez de dados rotulados. Coletar dados de eventos do mundo real para implementações robóticas e cenas específicas é caro, demorado e exige alinhamento preciso. Embora a simulação seja uma solução natural, os simuladores existentes muitas vezes falham em atender a três requisitos simultâneos:

1. Fidelidade: Modelos de contraste de disparo precisos em taxas de quadros efetivas altas, incluindo ruído do sensor.
2. Consistência Física: Os eventos devem originar-se de uma cena genuína simulada por física com verdade fundamental (ground truth) exata, não de vídeos pré-renderizados.
3. Vazão de Renderização: A geração de eventos deve acompanhar o ritmo do simulador de física (idealmente em tempo real em uma única GPU) para permitir o treinamento em escalas comparáveis às pipelines RGB.

2. Metodologia

Os autores apresentam o EVIS, um plugin integrado diretamente ao NVIDIA Isaac Sim através do framework Isaac Lab. O sistema gera fluxos de eventos de alta taxa e totalmente rotulados combinando um modelo de evento fiel com uma pipeline de interpolação de quadros baseada em vetores de movimento.

2.1. Modelo de Evento

O plugin implementa um modelo de evento de contraste de intensidade logarítmica que opera no buffer de cores HDR do renderizador (intensidade linear) sem correção gama.

• Cálculo de Luminância: Converte RGB para luminância ($I$) usando pesos Rec. 709.
• Resposta Logarítmica: Computa a intensidade logarítmica $L = \log(I + \epsilon)$.
• "Fire-and-Latch" Assíncrono: Cada pixel mantém uma referência de intensidade logarítmica ($L_{ref}$). Quando a diferença $\Delta L = L - L_{ref}$ excede um limiar de contraste $C$ (padrão 0.15), um evento dispara com polaridade $p \in \{+1, -1\}$. A referência é imediatamente atualizada ($L_{ref} \leftarrow L$).
• Agrupamento (Batching): As atualizações são realizadas por meio de operações de tensores em lote em todos os ambientes e câmeras.
• Modelagem de Ruído: Para reduzir a lacuna com o hardware real, o plugin oferece componentes de ruído opcionais: desajuste de limiar (limiares ON/OFF por pixel), períodos refratários, eventos de fuga (leak events), ruído de disparo (shot noise), pixels quentes e largura de banda finita (filtragem passa-baixa dependente da intensidade).

2.2. Interpolação de Quadros por Vetor de Movimento

Para alcançar taxas de quadros efetivas na escala de kHz sem o custo proibitivo de renderizar cada quadro, o EVIS emprega uma pipeline de deformação (warping) bidirecional de vetores de movimento:

• Renderização de Keyframes: O sistema renderiza "keyframes" esparsos (cor, vetores de movimento, profundidade) a uma taxa baixa $f_k$.
• Deformação Bidirecional: Quadros intermediários são sintetizados deformando o keyframe anterior para frente (forward-warping) e o próximo keyframe para trás (backward-warping) usando os vetores de movimento do renderizador.
• Composição: O quadro deformado para trás serve como o resultado primário. O quadro deformado para frente preenche lacunas de desoclusão. Pixels cobertos por nenhum dos dois permanecem pretos para evitar fabricar cores.
• Tratamento de Anti-Aliasing: O anti-aliasing é desativado durante a interpolação para evitar artefatos de borda causados por pixels de franja compostos por alfa que herdam vetores de movimento do fundo.
• Tratamento de Bordas: Uma margem de sobre-renderização opcional é usada para cortar artefatos próximos às bordas da imagem.

2.3. Desfoque de Movimento (Motion Blur)

Para simular a exposição real da câmera, o sistema faz a média dos quadros sintetizados ao longo de uma duração de obturador $E$. O modelo de evento então opera nesses quadros borrados, fazendo com que as bordas se espalhem em bandas largas em vez de contornos finos, mimetizando a integração física.

3. Principais Contribuições

1. Modelo de Evento em Lote na GPU e Fiel: Um modelo de contraste de intensidade logarítmica com atualizações de referência assíncronas por pixel, validado pela execução de redes de eventos pré-treinadas sem modificações nos fluxos gerados.
2. Integração Direta com Isaac Sim: Uma configuração pronta para uso que substitui câmeras RGB padrão por câmeras de eventos, permitindo que qualquer cena simulada fisicamente produza dados de eventos rotulados com verdade fundamental exata.
3. Pipeline de Interpolação em Tempo Real: Um sistema de interpolação de quadros baseado em vetores de movimento que renderiza keyframes RTX esparsos e sintetiza quadros de alta taxa, permitindo a geração em tempo real em uma única GPU.

4. Resultados e Avaliação

O sistema foi avaliado em uma única GPU RTX 5090 com uma câmera monocular de 640×480.

4.1. Desempenho

• Vazão (Throughput): A pipeline alcança desempenho em tempo real. Por exemplo, uma configuração de 30 Hz de keyframes com 8x de interpolação (30 × 8) gera eventos de 240 Hz a 1.2× mais rápido que o tempo real.
• Escalabilidade: A vazão escala com ambientes paralelos, amortizando os custos de renderização entre o lote.

4.2. Validação de Tarefas de Downstream

Modelos pré-treinados e congelados foram testados nos fluxos gerados sem ajuste fino (fine-tuning):

• Reconstrução (E2VID): Reconstrução de vídeo de intensidade a partir de eventos. Embora a interpolação introduza erro (o SSIM cai de 0.632 em 1000 Hz nativos para 0.484 em 8x de interpolação), o sistema produz reconstruções utilizáveis.
• Fluxo Óptico (E-RAFT): Estimativa de fluxo denso. O sistema atinge precisão sub-pixel (EPE ~0.96–0.99 px) em todas as configurações. Os autores observam que, como a deformação desloca o conteúdo ao longo dos verdadeiros vetores de movimento do renderizador, os quadros interpolados preservam o campo de movimento da cena até o pressuposto de velocidade constante.
• Correspondência de Características (Match-Any-Events): Correspondência de eventos entre duas visões. A precisão da correspondência degrada suavemente com o aumento da interpolação (de 81.2% para 74.2%), mas permanece funcional.

4.3. Análise Qualitativa

Visualizações de nuvens de pontos de eventos (x, y, t) confirmam que os fluxos deformados reproduzem a geometria espaço-temporal global das renderizações nativas. Artefatos menores, como o efeito de "persiana veneziana" (venetian-blind), aparecem sob deslocamento rápido ou oclusão severa (ex: rotação revelando novas superfícies), mas estes diminuem conforme a frequência de renderização base aumenta.

5. Significância

O artigo afirma que o EVIS reduz a barreira para a pesquisa de percepção e controle baseados em eventos. Ao gerar fluxos de eventos de alta taxa e totalmente rotulados diretamente dentro de um simulador de física, ele permite que as pipelines de eventos sejam treinadas na mesma escala que suas contrapartes RGB. O sistema reduz a lacuna sim-to-real ao incorporar não-idealidades do sensor e desfoque de movimento, mantendo a verdade fundamental exata necessária para treinamento e avaliação rigorosos. Os autores enfatizam que os fluxos gerados são diretamente utilizáveis por redes pré-treinadas existentes, facilitando a adoção imediata sem a necessidade de novas arquiteturas de modelos ou ajustes finos extensos.