Los robots y los coches autónomos han dependido durante mucho tiempo de cámaras estándar que capturan el mundo como una cámara de cine, tomando una imagen completa de una escena cada fracción de segundo. Este método funciona bien para muchas cosas, pero crea una pesada carga de datos, gran parte de los cuales es solo espacio vacío o un fondo inalterado. Un nuevo tipo de sensor, conocido como cámara de eventos, opera bajo un principio diferente. En lugar de tomar imágenes completas, solo registra los cambios. Cuando un píxel en el sensor nota un cambio de brillo, envía una señal única, o evento, en ese preciso momento. Esto significa que la cámara produce un flujo de señales aisladas que son asíncronas, ocurriendo siempre que algo cambia, en lugar de en un ritmo fijo. También significa que los datos son dispersos, conteniendo solo la información sobre dónde ocurrió el movimiento o el cambio, dejando el resto de la escena en silencio. Aunque este enfoque es increíblemente eficiente y rápido, ha sido difícil alimentar este flujo único de datos en los modelos de inteligencia artificial que los robots utilizan para comprender su entorno.

Durante años, los investigadores han intentado resolver esto forzando estos eventos asíncronos al formato antiguo y familiar de las imágenes estándar. Agrupaban los eventos en ventanas de tiempo fijas para crear un fotograma, de forma muy parecida a cómo se ensambla una serie de instantáneas. Sin embargo, este proceso destruye las cualidades mismas que hacen especiales a las cámaras de eventos. Al esperar a que pase un tiempo fijo antes de crear una imagen, el sistema pierde la capacidad de reaccionar instantáneamente ante cambios repentinos, y al rellenar los espacios vacíos, pierde la eficiencia de tener solo los datos relevantes. Un equipo de investigadores de la Universidad Técnica de Dinamarca ha propuesto ahora un camino diferente. Desarrollaron un nuevo método llamado Spiking Patches (Parches de Impulsos), que trata a los grupos de estas señales cambiantes como unidades únicas de información sin forzarlas a una cuadrícula rígida basada en el tiempo. Este enfoque permite que los datos sigan siendo asíncronos y dispersos, preservando la velocidad y la eficiencia del sensor original mientras los hace compatibles con los potentes modelos de IA modernos.

Los investigadores diseñaron su sistema observando cómo funcionan las neuronas biológicas. En el cerebro, una neurona espera hasta recibir suficientes señales para alcanzar un cierto umbral antes de emitir un impulso. El equipo aplicó esta misma lógica a los datos de la cámara de eventos. Dividieron la vista de la cámara en una cuadrícula de pequeños cuadrados, o parches. A medida que llegan los eventos, estos se acumulan dentro de cada parche, elevando un potencial virtual. Una vez que el número de eventos en un parche alcanza un límite específico, el parche "dispara", creando un token que representa ese grupo de eventos. Este token es enviado entonces al modelo de IA para su procesamiento. Crucialmente, este disparo ocurre de forma independiente para cada parche y en el momento exacto en que se alcanza el umbral, en lugar de esperar a que un reloj marque el paso del tiempo. Esto significa que el sistema puede reaccionar a un objeto de movimiento rápido en el instante en que se acumulan suficientes eventos, sin esperar a que se construya un fotograma completo.

Para probar si esta idea funcionaba en la práctica, el equipo comparó su método Spiking Patches contra las dos formas más comunes de manejar datos de eventos: los fotogramas estándar y los bloques de datos 3D llamados vóxeles. Probaron el método en tres tipos diferentes de arquitecturas de IA, incluyendo redes diseñadas para grafos, nubes de puntos y transformadores, utilizando tareas como el reconocimiento de gestos manuales y la detección de coches en grabaciones de conducción. Los resultados fueron sorprendentes. En términos de velocidad, el nuevo método fue significamente más rápido que las alternativas. En el reconocimiento de gestos, el sistema Spiking Patches fue hasta 3,4 veces más rápido que el método de vóxeles y hasta 10,4 veces más rápido que el método basado en fotogramas. Esta aceleración se produjo sin sacrificar la precisión; en muchos casos, el nuevo método fue tan preciso como los anteriores, e incluso en algunas instancias fue más preciso, mejorando el reconocimiento de gestos hasta en un 3,8 por ciento y la detección de objetos hasta en un 1,4 por ciento.

El estudio también confirmó que el método mantuvo con éxito la dispersión y la asincronía de los datos. Los investigadores midieron qué tan rápido el sistema podía reunir suficiente información para reaccionar a una escena en comparación con el flujo bruto de eventos. Encontraron que el sistema Spiking Patches podía reaccionar casi tan rápido como los eventos brutos mismos, con solo un pequeño retraso de unos pocos milisegundos, mientras que los métodos basados en fotogramas se veían obligados a esperar un intervalo de tiempo fijo, introduciendo un desfase mucho mayor. Además, el nuevo método redujo la cantidad de datos que la computadora tenía que procesar por un factor de al menos 1,5 en comparación con los fotogramas y los vóxeles, y en algunos casos, por cientos de veces en comparación con el flujo de eventos brutos. Esta reducción en el tamaño de los datos es lo que permite que el sistema funcione mucho más rápido, ya que la computadora tiene menos elementos que analizar.

Uno de los aspectos más prácticos de este descubrimiento es que el sistema es lo suficientemente rápido como para manejar aplicaciones en tiempo real. Los investigadores implementaron el proceso de tokenización en un lenguaje de programación conocido por su velocidad y descubrieron que el sistema podía generar tokens más rápido de lo que llegaban nuevos eventos a la cámara. Esto significa que el sistema puede seguir el ritmo del flujo de información en escenarios del mundo real, como un coche circulando por una autopista, sin quedarse atrás. El equipo también exploró cómo diferentes configuraciones afectaban el rendimiento, encontrando que podían ajustar la sensibilidad del sistema para intercambiar la cantidad de tokens generados por la precisión del resultado. Por ejemplo, al introducir una breve pausa después de que un parche dispara, pudieron reducir el número de tokens en cuatro veces manteniendo la precisión casi igual.

Aunque los resultados son prometedores, los investigadores señalan que el método requiere un ajuste cuidadoso del umbral que activa un token. Si el umbral se establece demasiado bajo, el sistema podría disparar con demasiada frecuencia, creando demasiados datos. Si se establece demasiado alto, podría perder detalles importantes. El equipo sugiere que el trabajo futuro podría centrarse en hacer que este umbral se adapte automáticamente a la escena. También planean probar el método en otros tipos de tareas, como el seguimiento de objetos en movimiento o el cálculo del flujo de movimiento en una escena. Por ahora, sin embargo, el trabajo demuestra que es posible cerrar la breancia entre la naturaleza única y asíncrona de las cámaras de eventos y los potentes modelos de IA que impulsan la robótica moderna. Al tratar los grupos de eventos como unidades únicas y significativas, los investigadores han demostrado que podemos mantener la velocidad y la eficiencia de las cámaras de eventos sin perder la capacidad de utilizar las herramientas más avanzadas de la inteligencia artificial.