Resumen Técnico: Neurosim y Cortex

Planteamiento del Problema

El desarrollo de algoritmos para la percepción neuromórfica, particularmente utilizando cámaras basadas en eventos, enfrenta obstáculos significativos debido a la naturaleza única de los datos de eventos. A diferencia de las imágenes RGB estándar, las cámaras de eventos producen flujos asíncronos de cambios de intensidad (4-tuplas de tiempo, coordenadas y polaridad), lo que hace que los enfoques tradicionales de visión por computadora sean inaplicables y que el etiquetado mediante aprendizaje supervisado sea extremadamente difícil. Las soluciones existentes dependen en gran medida de la supervisión transmodal (por ejemplo, transfiriendo etiquetas desde RGB o LiDAR), lo que requiere una sincronización y calibración precisas. Además, los conjuntos de datos multimodales de eventos más grandes actualmente existentes (por ejemplo, M3ED) son limitados en tamaño (menos de cuatro horas de datos).

Los simuladores actuales no logran abordar adecuadamente estos desafíos. Muchos dependen de renderizados RGB de baja tasa de fotogramas (por ejemplo, 30 FPS) para aproximar los eventos, lo que provoca aliasing temporal y artefactos significativos. Otros generan datos RGB de alta tasa de fotogramas, los guardan en disco y luego los procesan para crear eventos, un proceso que es prohibitivamente lento y consume mucho almacenamiento (consumiendo terabytes para horas de simulación). Adicionalmente, existe una falta de sistemas capaces de alimentar pipelines de aprendizaje profundo con datos de sensores multimodales de alto rendimiento (eventos, RGB, profundidad, IMU) directamente, sin cuellos de botella de E/S de disco, lo cual es esencial para entrenar modelos fundacionales y probar el control de bucle cerrado en los límites de la agilidad del hardware.

Metodología

Los autores presentan Neurosim, un simulador rápido, en tiempo real y de alto rendimiento, y Cortex, una biblioteca de comunicación basada en ZeroMQ, diseñadas para cerrar la brecha entre la simulación y los flujos de trabajo de aprendizaje automático.

Arquitectura de Neurosim

Neurosim se construye sobre cuatro principios de diseño: modularidad, baja latencia, transmisión en tiempo real y accesibilidad de tipo Pythonic.

1. Renderizado y Generación de Eventos: El sistema utiliza Habitat-Sim para el renderizado de escenas de alta fidelidad, capaz de alcanzar ~3000 FPS en escenas interiores. La simulación de eventos se realiza sobre la marcha rastreando el estado de intensidad de cada píxel. Cuando el cambio de intensidad supera un umbral, se dispara un evento.
2. Optimización de GPU: Para superar la latencia de la generación de eventos basada en CPU, Neurosim implementa un kernel de CUDA personalizado. Este kernel procesa los píxeles en paralelo y agrega eventos al nivel de warp. Al utilizar memoria compartida (SRAM) para reducciones intermedias y minimizar las operaciones atómicas globales (reduciéndolas de una por evento a una por warp), el sistema logra una reducción masiva en la contención atómica de rendimiento. Esto permite tasas de generación de eventos de >31 kHz para VGA y >23 kHz para marcos HD.
3. Dinámica y Sensores: El simulador integra RotorPy para la dinámica de multirotores, simulando aerodinámica, arrastre y sensores inerciales a >20 kHz en un solo núcleo de CPU. Soporta control de bucle cerrado donde los datos de los sensores y los comandos de control se intercambian con una latencia mínima.

Interfaz de Comunicación Cortex

Cortex es una biblioteca de comunicación de alto rendimiento y baja latencia diseñada para conectar Neurosim con consumidores descendentes (controladores, entrenadores, visualizadores).

1. Zero-Copy y Soporte Nativo: Construido sobre ZeroMQ, Cortex soporta la serialización nativa para arreglos de NumPy y tensores de PyTorch, permitiendo la transferencia de datos zero-copy entre procesos. Esto elimina la necesidad de E/S de disco o buffering excesivo.
2. Descubrimiento Dinámico: Cuenta con un demonio de descubrimiento ligero para la gestión de registro de nodos y de tópicos, permitiendo topologías de pares (peer-to-peer) flexibles sin un agente centralizado.
3. Integración con ROS 2: Un puente bidireccional permite a los usuarios aprovechar el ecosistema ROS 2 para el control y la estimación de estado mientras utilizan Cortex para flujos de datos de alto ancho de banda dentro de Neurosim.

Contribuciones Clave

1. Simulación de Eventos de Alto Rendimiento: Neurosim logra velocidades de simulación de eventos de hasta 2700 FPS en una sola GPU de escritorio (Nvidia 4090), lo que es aproximadamente 10 veces más rápido que los métodos existentes basados en GPU y 55–121 veces más rápido que las implementaciones basadas en CPU.
2. Pipeline de Transmisión en Tiempo Real: La integración de Neurosim y Cortex permite un pipeline de entrenamiento "sin disco". Los datos multimodales (eventos, RGB, profundidad, IMU) se transmiten directamente a los pipelines de entrenamiento de aprendizaje profundo en formatos nativos de Python, soportando el entrenamiento en línea de modelos fundacionales.
3. Capacidad de Bucle Cerrado: El sistema soporta experimentos de bucle cerrado en los extremos del rendimiento del hardware (por ejemplo, giros ágiles, evasión de obstáculos a alta velocidad) con latencias tan bajas como 0.7 ms, permitiendo probar algoritmos reactivos que serían demasiado arriesgados para realizar en hardware físico.
4. Diseño Modular y Extensible: La arquitectura permite el intercambio de backends de renderizado, modelos de dinámica y controladores, facilitando diversas investigaciones en percepción encarnada (embodied perception).

Resultados

El artículo compara Neurosim y Cortex con herramientas existentes (ESIM, VID2E, AirSim, implementaciones de PyTorch):

• Latencia: El backend del simulador de eventos de Neurosim procesa una actualización de fotograma de intensidad en aproximadamente 0.37 ms (VGA), superando significativamente a sus competidores.
• Rendimiento (Throughput): En pasos de simulación completos (renderizado + dinámica + simulación de eventos), Neurosim alcanza ~2300 FPS para sensores VGA. Otros backends crean un cuello de botella en el pipeline, alcanzando solo 200–1200 FPS.
• Eficiencia: La simulación de eventos de Neurosim consume solo un ~8% del tiempo total del paso de simulación, comparado con el 40–90% de otros simuladores.
• Comunicación: Cortex logra tasas de mensajes de 100+ kHz para cargas útiles pequeñas y mantiene 250 Hz para imágenes de 1080p grandes, con un rendimiento que satura los límites del hardware a 7 GB/s.
• Aplicaciones Demostradas:
  • Entrenamiento en Línea: Entrenó con éxito una red de estimación de profundidad monocular basada en eventos (usando representación F3) completamente en línea, consumiendo ~8.5M de eventos/segundo sin almacenamiento en disco.
  • Aprendizaje por Refuerzo: Entrenó una política basada en PPO para estabilizar un cuadrotor desde condiciones iniciales de alta velocidad mediante el uso únicamente de observaciones de cámara de eventos, demostrando la capacidad del sistema para manejar tareas de control complejas y dinámicas.

Significado

Los autores afirman que Neurosim y Cortex abren nuevas vías para construir y probar algoritales neuromórficos al abordar los cuellos de botella críticos de la generación de datos, el almacenamiento y la latencia. El sistema permite:

• Aprendizaje Escalable: Entrenar con datos multimodales diversos y sincronizados en el tiempo sin la carga logística de gestionar terabytes de conjuntos de datos estáticos.
• Supervisión Privilegiada: Proporcionar información de verdad fundamental (ground truth) de alta tasa (profundidad métrica, pose, vistas transmodales) para el aprendizaje autodidacta y por refuerzo.
• Pruebas Realistas de Hardware: Permitir a los investigadores llevar los algoritmos a los límites de la agilidad del hardware (por ejemplo, giros, navegación de alta velocidad) en un entorno simulado seguro.
• Estudios Controlados: Facilitar investigaciones precisas sobre el tiempo de los sensores, el sesgo del reloj y el muestreo asíncrono.

El artículo concluye que estas herramientas son esenciales para avanzar en la autonomía encarnada, particularmente para aplicaciones que requieren una percepción rápida y robusta en entornos dinámicos y con restricciones de potencia. El trabajo futuro incluye experimentos de hardware en el bucle (hardware-in-the-loop) y soporte para Unreal Engine 5 como backend de renderizado.