Resumen Técnico: Eventos Neuronales: Autoencoders Discretos Asíncronos para Visión Basada en Eventos

Planteamiento del Problema

Las cámaras de eventos ofrecen una fidelidad temporal excepcional al capturar escenas como un flujo continuo de eventos de resolución de microsegundos, donde cada evento señala un cambio de brillo localizado. Sin embargo, los eventos individuales poseen un valor semántico mínimo, lo que requiere que los algoritmos de procesamiento posterior integren torrentes masivos de datos de baja información. Las arquitecturas actuales enfrentan un compromiso fundamental:

• Enfoques sincrónicos (p. ej., CNNs, Transformers) agregan eventos en mapas de características densos. Aunque son efectivos, pierden la naturaleza impulsada por eventos de los datos, lo que conduce a un procesamiento, almacenamiento y latencia excesivos.
• Enfoques asíncronos (p. ej., Redes Neuronales de Impulsos [SNN], Redes Neuronales de Grafos [GNN]) preservan la dispersión y el tiempo, pero luchan con la escalabilidad. Las SNN están limitadas por el procesamiento secuencial lento, mientras que las GNN incurren en enormes sobrecargas de memoria debido a la construcción de grafos dinámicos, lo que a menudo resulta en un menor rendimiento de las tareas en comparación con los métodos densos.

El desafío central es representar los patrones de eventos de una manera que sea escalable, preserve la precisión temporal y la dispersión, y reduzca el flujo de datos sin sacrificar la riqueza semántica.

Metodología

El artículo propone un marco para re-tokenizar flujos de eventos crudos en un conjunto compacto de "eventos neuronales". Estos son representaciones espacio-temporales dispersas y semánticamente ricas que resumen grupos de eventos crudos en códigos discretos.

1. Definición de Evento Neuronal

Un evento neuronal $n_i$ se define por una ubicación de parche $p_i$, un timestamp $\tau_i$ y una característica discreta $z_i$ seleccionada de un libro de códigos aprendido $Q$. El mapeo $\phi$ reduce el número de eventos ($N' \ll N$) y el dominio espacial ($|\Omega'| \ll |\Omega|$).

2. Codificador Asíncrono Discreto

La generación de eventos neuronales ocurre por parches e involucra cuatro etapas:

• Incrustación de Entrada (Input Embedding): Los eventos crudos se proyectan en un espacio vectorial continuo utilizando incrustaciones espaciales y temporales (incorporando codificaciones posicionales de seno/coseno para el tiempo).
• Transformer Lineal (RWKV-7): Un modelo recurrente de atención lineal procesa la secuencia de eventos dentro de cada parche. Este actualiza un estado de memoria localizada $S_m$ para producir un vector de logits continuo $o_i$. Esta arquitectura evita la complejidad cuadrática de los Transformers estándar y los cuellos de botella secuenciales de las LSTM.
• Cuantización: Los logits continuos se mapean a un conjunto finito de códigos discretos de un libro de códigos aprendido mediante un operador Gumbel Softmax (Estimador de Paso Directo [Straight-Through Estimator]). Esto convierte los potenciales analógicos en tokens discretos, de forma análoga al "spiking" en las SNN, pero con una menor complejidad de entrenamiento.
• Retokenización (Disparo/Triggering): Un evento neuronal se dispara solo cuando el código asignado cambia respecto al estado anterior ($z_{im} \neq z_{im-1}$). Esto actúa como un compresor semántico de muchos-a-uno y asíncrono, descartando eventos redundantes donde el código permanece constante.

3. Aprendizaje de Representación (Pre-entrenamiento)

Para estabilizar las asignaciones de los códigos y prevenir el "chatter" (cambios frecuentes en los límites de decisión), los autores emplean una estrategia de pre-entrenamiento no supervisado que combina tres objetivos:

• Pérdida de Reconstrucción ($L_R$): Los códigos discretos se agregan por parche y se decodifican para reconstruir una representación de superficie temporal de los eventos originales.
• Pérdida de Alineación de Tasa ($L_{RA}$): Fomenta la similitud en las representaciones latentes para eventos con tasas de inter-evento similares, alineando los logits con la dinámica de la tasa de eventos.
• Pérdida de Enderezamiento Latente ($L_{LS}$): Minimiza la diferencia angular en la velocidad de los logits subsecuentes, suavizando las trayectorias en el simplex de probabilidad para reducir cambios de código innecesarios.

Contribuciones Clave

1. Codificador Discreto Asíncrono: Una arquitectura novedosa que aprende eventos neuronales a partir de flujos crudos, produciendo salidas que son semánticamente ricas, espacio-temporalmente dispersas y ocupan un espacio latente discreto compacto.
2. Mecanismo de Tokenización Único: Una estrategia de disparo que emite un evento neuronal solo tras un cambio de código. Esto generaliza el muestreo basado en niveles al simplex de probabilidad, filtrando eficazmente la información redundante.
3. Estrategia de Pre-entrenamiento de Estabilización: Una combinación de objetivos de reconstrucción, alineación de tasa y enderezamiento latente que estabiliza la asignación del libro de códigos, evita el "spiking" redundante y permite una alta reducción de la tasa de eventos.

Resultados Experimentales

El método fue evaluado en tareas de detección de objetos (DSEC, Gen1) y clasificación (N-Caltech101).

• Reducción de la Tasa de Eventos: El marco reduce la tasa de eventos por un factor de 2.0 añadiendo solo un bit adicional de información por evento (el índice del código discreto).
• Rendimiento:
  • Detección de Objetos: En el conjunto de datos Gen1, el método propuesto (TokSwinT) alcanzó 49.9 mAP, superando a los enfoques sincrónicos (GET, 47.9 mAP) y asíncronos-a-sincrónicos (EVA-L, 47.7 mAP) de vanguardia. En DSEC, emparejar el tokenizador con un backbone asíncrono (TokDAGr) mejoró el rendimiento del modelo base en 9.0 mAP.
  • Clasificación de Objetos: En N-Caltech101, el método logró un 86.5% de precisión, rindiendo a la par o mejor que las líneas base existentes sincrónicas, asíncronas y A2S.
• Eficiencia:
  • El codificador requiere solo 140 KFLOPS por evento, lo cual es 17 veces menor que el codificador de vanguardia EVA-L.
  • El método reduce significativamente la carga computacional y el consumo de energía (µJ/ev) en comparación con tanto las líneas base sincrónicas como las asíncronas.

Significado y Afirmaciones

El artículo afirma que los eventos neuronales ofrecen una solución escalable para los cuellos de botella de ancho de banda y memoria de la visión basada en eventos actual. Al comprimir los flujos crudos en tokens discretos, el método retiene la dinámica espacio-temporal crítica requerida para una percepción de alto rendimiento mientras reduce drásticamente la carga computacional de las redes descendentes.

Los autores enfatizan que este enfoque permite el uso de redes descendentes más pequeñas y eficientes, y facilita el despliegue en hardware de borde (edge) con restricciones de memoria. Aunque reconocen una brecha de rendimiento frente a los métodos basados en fotogramas sincrónicos altamente parametrizados en tareas complejas, el trabajo demuestra que la codificación asíncrona discreta puede lograr resultados de vanguardia con requisitos de recursos significativamente menores. El artículo concluye que esta dirección es clave para permitir el despliegue de ultra bajo consumo en dispositivos de borde y abre la puerta a formas más generales de aprendizaje de representación de eventos más allá de las cámaras de eventos tradicionales.