Resumen Técnico: Plasticidad Dependiente del Tiempo de Espigas Inspirada en el Cerebro para Visión de Cámaras de Eventos Eficiente en Etiquetas y Confiable

Declaración del Problema

Desplegar detectores de objetos basados en cámaras de eventos enfrenta dos cuellos de botella principales: el alto costo de los presupuestos de anotación por cuadro requeridos para entrenar modelos densos basados en gradientes, y la dependencia de hardware de clase GPU para la inferencia. Si bien las redes densas (por ejemplo, RVT, HMNet, ReYOLOv8) logran alta precisión, consumen grandes conjuntos de datos y recursos computacionales. Por el contrario, los detectores existentes de redes neuronales de espigas (SNN) de extremo a extremo a menudo requieren millones de sinapsis, despliegues multi-chip (Loihi-2, SpiNNaker) y entrenamiento con gradientes sustitutos en GPUs, sin lograr escapar de las huellas de etiquetas y cómputo que buscan reemplazar. Existe la necesidad de una arquitectura de detección que opere con supervisión mínima, se ejecute en sustratos neuromórficos de un solo núcleo (o CPUs estándar) y se adapte a cambios de distribución sin reentrenamiento.

Metodología

Los autores proponen una tubería híbrida que combina seis canales clásicos de detección solo con eventos con tres módulos locales, libres de gradientes, de Plasticidad Dependiente del Tiempo de Espigas (STDP). El sistema opera sin retropropagación ni gradientes sustitutos.

1. Tubería de Detección de Seis Canales

La capa base consta de seis canales clásicos de procesamiento de eventos alimentados a una unión de distinción de IoU:

• Agrupador de cuencas de densidad: Una alternativa en el dominio de eventos a DBSCAN.
• Rastreador K-medias de múltiples hipótesis: Mantiene los 5 mejores candidatos por cuadro.
• Canal de agrupación temporal: Calcula diferencias de imágenes de eventos agrupadas.
• Analizador de frecuencia de rotor: Detecta armónicos de rotores de drones mediante FFT.
• Filtro de asimetría de polaridad: Repondera candidatos basándose en el desequilibrio de eventos ON/OFF.
• Revalorización consciente de sombras: Una etapa de reponderación lineal entrenada una vez en un conjunto de calibración compacto.

2. Tres Módulos Locales STDP

Tres módulos de plasticidad distintos operan en diferentes niveles de la tubería:

• Puerta de Cohorte de Secuencia (Nivel de Secuencia):

  • Función: Selecciona una de seis recetas de procesamiento por secuencia basándose en una huella dactilar estadística de eventos de 17 dimensiones.
  • Arquitectura: Una red Leaky Integrate-and-Fire (LIF) de 17→32→12 con inhibición estricta de Ganador-Toma-Todo (WTA).
  • Plasticidad: Entrenada mediante STDP simétrica basada en pares. Convierte pesos amplios de proyección aleatoria en pesos de atractor dispersos.
  • Despliegue: Una vez entrenada, los pesos de "Quién" (enrutamiento) se congelan. La puerta cabe dentro de un solo núcleo neuromórfico (384 sinapsis plásticas) y se ejecuta en un solo hilo de CPU.

• Puerta de Confiabilidad de Candidato R-STDP (Nivel de Candidato):

  • Función: Modula las confianzas de anclaje y admite candidatos de "rescate" temporalmente coherentes.
  • Arquitectura: Una capa oculta WTA de 64 unidades que proyecta a seis estados de confiabilidad (por ejemplo, extensión del objeto, duplicado, borde de fondo).
  • Plasticidad: Utiliza STDP modulada por recompensa. Las etiquetas de entrenamiento se utilizan únicamente para generar señales de recompensa durante el entrenamiento; la inferencia es libre de etiquetas.
  • Resultado: Admite candidatos no anclados solo si tienen soporte de canal local y persisten a través de los cuadros.

• STDP-Tubo (Nivel de Tubo):

  • Función: Vincula las detecciones por cuadro en tubos de eventos cortos para aprender confiabilidad a partir de la continuidad temporal y la evidencia cruzada de canales.
  • Arquitectura: Mapeo WTA/STDP acotado que convierte características del tubo (edad, residuo de movimiento, aislamiento, etc.) en seis estados.
  • Resultado: Reduce las falsas alarmas filtrando detecciones espurias que carecen de coherencia temporal.

Contribuciones y Resultados Clave

1. Niveles de Detección Eficientes en Etiquetas (Benchmarks FRED)

El artículo demuestra tres niveles distintos de supervisión en el benchmark de drones FRED, mostrando una compensación entre bits de despliegue almacenados y precisión:

• Libre de Etiquetas Estricto (0 bits): El detector de unión de cinco canales logra un 53.8% mAP@30.
• Calibración Compacta (~26 bits): Agregar un término de confianza consciente de soporte (umbral de distinción de IoU y pesos de sombra) eleva el rendimiento a 76.9% mAP@30.
• Puerta de Candidato STDP (≥3,072 bits): Agregar la puerta de confiabilidad R-STDP logra 78.60 ± 0.42% mAP@30 (media sobre 10 semillas).
• Nota: Estos resultados ocupan un punto de operación diferente en el espacio de costo de supervisión/precisión en comparación con las líneas base densas como YOLOv11 (que requiere etiquetas por cuadro e inferencia en GPU).

2. Adaptación a Deriva y Ajuste de Varianza

• Adaptación a Deriva: Bajo cambios de distribución por orden de adquisición, la puerta de cohorte de secuencia entrenada con STDP supera al k-medias en flujo continuo en +2.03 ± 0.58 puntos porcentuales (pp) en mAP@30 de flujo medio. Un control "sin deriva" (división aleatoria 50/50) elimina esta ventaja (−0.44 ± 1.97 pp), confirmando que el mecanismo rastrea específicamente la deriva.
• Reducción de Varianza: La puerta STDP reduce la desviación estándar del rendimiento a través de semillas aleatorias en 6.6× (de σ = 0.607 pp a 0.092 pp).
• Equivalencia de Modelo Único: Este ajuste de varianza permite que una sola puerta entrenada iguale el límite de varianza de la media analítica de la muestra de un ensamble de inicialización aleatoria de 44 semillas.

3. Rendimiento EV-UAV

En el benchmark EV-UAV (objetos pequeños, sensor DAVIS346):

• El módulo STDP-Tubo (configuración K=5) reduce las falsas alarmas de 662.34 a 340.21 × 10⁻⁴ mientras mantiene una probabilidad de detección (Pd) de ≥88.44%.
• Esto mejora el mAP@30 de 50.97% a 57.03% y el IoU de eventos de 31.18% a 44.48%.

4. Viabilidad de Despliegue Neuromórfico

• Puerto de Hardware: La puerta de secuencia se portó al simulador Intel Lava (referencia Loihi-2) con cuantización de punto fijo de 8 bits. Logró un 89.4% de acuerdo de cohorte top-2 en comparación con la simulación fp32.
• Eficiencia: La puerta se ejecuta en un solo hilo de CPU (~20 ms de tiempo de cómputo por cuadro, excluyendo E/S) y no requiere GPU. El conteo total de sinapsis es de ~656 (384 plásticas + ~272 fijas), ajustándose dentro de la capacidad actual por núcleo de Loihi-2.

Significado y Afirmaciones

El artículo afirma que los detectores densos entrenados con gradientes no pueden entregar esta combinación específica de eficiencia de etiquetas baja, despliegue de un solo núcleo y adaptación a deriva por construcción debido a su dependencia de multiplicaciones de matrices densas y reglas de gradiente globales.

El significado central radica en demostrar que las reglas locales de STDP pueden:

1. Cerrar la brecha entre la detección libre de etiquetas y la eficiente en etiquetas sin requerir grandes conjuntos de datos ni entrenamiento en GPU.
2. Estabilizar el rendimiento de un solo modelo al nivel de grandes ensambles, reduciendo el riesgo de despliegue asociado con la inicialización aleatoria.
3. Adaptarse a cambios de distribución (deriva) en tiempo real utilizando únicamente plasticidad local, una capacidad ausente en los modelos estándar de aprendizaje profundo estáticos.
4. Operar en sustratos neuromórficos comerciales (o CPUs estándar) con potencial de latencia de microsegundos y proyecciones de potencia a escala de vatios, cumpliendo la promesa de la visión neuromórfica para la percepción de drones.

Los autores enfatizan que estos resultados se derivan de benchmarks específicos (FRED, EV-UAV) y que la definición de "eficiente en etiquetas" es operativa, refiriéndose a una huella de despliegue del orden de $10^3$ bits, significativamente menor que los presupuestos de cuadros delimitadores por cuadro.