Resumen Técnico: EVIS – Un Plugin de Cámara de Eventos Basado en la Física para NVIDIA Isaac Sim

1. Planteamiento del Problema

Las cámaras de eventos ofrecen ventajas significativas para la robótica, incluyendo una resolución temporal de microsegundos, baja latencia y un alto rango dinámico, lo que las hace ideales para escenarios de movimiento rápido y alto rango dinámico. Sin embargo, el desarrollo de la percepción y el control basados en eventos se ve obstaculizado por la escasez de datos etiquetados. La recolección de datos de eventos del mundo real para implementaciones robóticas y escenas específicas es costosa, requiere mucho tiempo y exige una alineación precisa. Si bien la simulación es una solución natural, los simuladores existentes a menudo no logran cumplir con tres requisitos simultáneos:

1. Fidelidad: Modelos de contraste de disparo precisos a altas tasas de fotogramas efectivas, incluyendo el ruido del sensor.
2. Consistencia Física: Los eventos deben originarse de una escena genuina simulada mediante física con una verdad de campo exacta, no de videos pre-renderizados.
3. Rendimiento de Renderizado: La generación de eventos debe mantener el ritmo del simulador de física (idealmente en tiempo real en una sola GPU) para permitir el entrenamiento a escalas comparables a las de los pipelines RGB.

2. Metodología

Los autores presentan EVIS, un plugin integrado directamente en NVIDIA Isaac Sim a través del framework Isaac Lab. El sistema genera flujos de eventos de alta tasa y totalmente etiquetados combinando un modelo de eventos fiel con un pipeline de interpolación de fotogramas basado en vectores de movimiento.

2.1. Modelo de Eventos

El plugin implementa un modelo de eventos de contraste de intensidad logarítmica que opera sobre el búfer de color HDR del renderizador (intensidad lineal) sin corrección gamma.

• Cálculo de Luminancia: Convierte RGB a luminancia ($I$) utilizando pesos de Rec. 709.
• Respuesta Logarítmica: Calcula la intensidad logarítmica $L = \log(I + \epsilon)$.
• "Disparo y Bloqueo" Asíncrono (Fire-and-Latch): Cada píxel mantiene una luminancia de referencia ($L_{ref}$). Cuando la diferencia $\Delta L = L - L_{ref}$ excede un umbral de contraste $C$ (predeterminado 0.15), se dispara un evento con polaridad $p \in \{+1, -1\}$. La referencia se actualiza inmediatamente ($L_{ref} \leftarrow L$).
• Agrupación (Batching): Las actualizaciones se realizan mediante operaciones de tensores agrupados en todos los entornos y cámaras.
• Modelado de Ruido: Para cerrar la brecha con el hardware real, el plugin ofrece componentes de ruido opcionales: desajuste de umbral (umbrales ON/OFF por píxel), periodos refractarios, eventos de fuga, ruido de disparo, píxeles calientes y ancho de banda finito (filtrado de paso bajo dependiente de la intensidad).

2.2. Interpolación de Fotogramas por Vectores de Movimiento

Para lograr tasas de fotogramas efectivas de escala kHz sin el costo prohibitivo de renderizar cada fotograma, EVIS emplea un pipeline de deformación (warping) bidireccional de vectores de movimiento:

• Renderizado de Fotogramas Clave (Keyframes): El sistema renderiza "keyframes" dispersos (color, vectores de movimiento, profundidad) a una tasa baja $f_k$.
• Deformación Bidireccional (Bidirectional Warping): Los fotogramas intermedios se sintetizan mediante el deformado hacia adelante (forward-warping) del fotograma clave anterior y el deformado hacia atrás (backward-warping) del siguiente fotograma clave utilizando los vectores de movimiento del renderizador.
• Composición: El fotograma deformado hacia atrás sirve como resultado principal. El fotograma deformado hacia adelante llena los huecos de oclusión (disocclusión). Los píxeles cubiertos por ninguno permanecen negros para evitar la fabricación de color.
• Manejo de Anti-Aliasing: El anti-aliasing se desactiva durante la interpolación para evitar artefactos de borde causados por píxeles de franja compuestos con alfa que heredan vectores de movimiento de fondo.
• Manejo de Bordes: Se utiliza un margen de sobre-renderizado opcional para recortar artefactos cerca de los bordes de la imagen.

2.3. Desenfoque de Movimiento (Motion Blur)

Para simular la exposición de una cámara real, el sistema promedia los fotogramas sintetizados sobre una duración de obturación $E$. El modelo de eventos opera entonces sobre estos fotogramas desenfocados, causando que los bordes se difuminen en bandas anchas en lugar de contornos delgados, imitando la integración física.

3. Contribuciones Clave

1. Modelo de Eventos Agrupado en GPU y Fiel: Un modelo de contraste de intensidad logarítmica con actualizaciones de referencia asíncronas por píxel, validado mediante la ejecución de redes de eventos preentrenadas sin modificaciones sobre los flujos generados.
2. Integración Directa en Isaac Sim: Una configuración de implementación directa que reemplaza las cámaras RGB estándar con cámaras de eventos, permitiendo que cualquier escena simulada físicamente produzca datos de eventos con verdad de campo exacta.
3. Pipeline de Interpolación en Tiempo Real: Un sistema de interpolación de fotogramas basado en vectores de movimiento que renderiza keyframes RTX dispersos y sintetiza fotogramas de alta tasa, permitiendo la generación en tiempo real en una sola GPU.

4. Resultados y Evaluación

El sistema fue evaluado en una única GPU RTX 5090 con una cámara monocular de 640×480.

4.1. Rendimiento

• Capacidad de Procesamiento (Throughput): El pipeline logra un rendimiento en tiempo real. Por ejemplo, una configuración de 30 Hz de keyframes con 8x de interpolación (30 × 8) genera eventos de 240 Hz a 1.2× más rápido que el tiempo real.
• Escalabilidad: El rendimiento escala con los entornos paralelos, amortizando los costos de renderizado a través del lote (batch).

4.2. Validación de Tareas de Avalancha (Downstream Tasks)

Se probaron modelos preentrenados y congelados en los flujos generados sin ajuste fino (fine-tuning):

• Reconstrucción (E2VID): Reconstrucción de video de intensidad a partir de eventos. Aunque la interpolación introduce error (el SSIM cae de 0.632 a 1000 Hz nativos a 0.484 con 8x de interpolación), el sistema produce reconstrucciones utilizables.
• Flujo Óptico (E-RAFT): Estimación de flujo denso. El sistema logra una precisión sub-píxel (EPE ~0.96–0.99 px) en todas las configuraciones. Los autores señalan que, debido a que el deformado desplaza el contenido a lo largo de los verdaderos vectores de movimiento del renderizador, los fotogramas interpolados preservan el campo de movimiento de la escena bajo la suposición de velocidad constante.
• Emparejamiento de Características (Match-Any-Events): Emparejamiento de eventos entre dos vistas. La precisión del emparejamiento se degrada suavemente con el aumento de la interpolación (del 81.2% al 74.2%), pero sigue siendo funcional.

4.3. Análisis Cualitativo

Las visualizaciones de nubes de puntos de eventos (x, y, t) confirman que los flujos deformados reproducen la geometría espacio-temporal global de los renders nativos. Aparecen artefactos menores, como el bandeado tipo "persiana veneciana", bajo desplazamientos rápidos o oclusiones severas (por ejemplo, rotación que revela nuevas superficies), pero estos disminuyen a medida que aumenta la frecuencia de renderizado base.

5. Significado

El artículo afirma que EVIS reduce la barrera para la investigación de la percepción y el control basados en eventos. Al generar flujos de eventos de alta tasa y totalmente etiquetados directamente dentro de un simulador de física, permite que los pipelines basados en eventos se entrenen a la misma escala que sus contrapartes RGB. El sistema cierra la brecha sim-to-real al incorporar no idealidades del sensor y desenfoque de movimiento, manteniendo al mismo tiempo la verdad de campo exacta requerida para un entrenamiento y evaluación rigurosos. Los autores enfatizan que los flujos generados son directamente utilizables por redes preentrenadas existentes, facilitando la adopción inmediata sin la necesidad de nuevas arquitecturas de modelos o un ajuste fino extensivo.