SpikeStereoNet: A Brain-Inspired Framework for Stereo Depth Estimation from Spike Streams

1. Planteamiento del Problema

La percepción de profundidad es fundamental para la navegación autónoma y la manipulación robótica. Sin embargo, los sistemas de visión estereoscópica convencionales basados en cámaras de fotogramas (frame-based) sufren limitaciones críticas en escenas dinámicas y de alta velocidad:

• Desenfoque de movimiento y latencia: Las cámaras tradicionales tienen tiempos de exposición fijos, lo que genera borrosidad en movimientos rápidos.
• Incompatibilidad de datos: Las cámaras de espigas (spike cameras) bioinspiradas capturan eventos asíncronos a nivel de microsegundos con una resolución temporal ultra-alta (hasta 40,000 Hz). Sin embargo, los algoritmos existentes de estereovisión están diseñados para pares de imágenes sincrónicas de intensidad.
• Pérdida de ventajas: Convertir los flujos de espigas a fotogramas introduce errores de cuantización temporal y borrosidad, anulando las ventajas intrínsecas del sensor.
• Falta de benchmarks: No existían algoritmos especializados ni conjuntos de datos de referencia para estimar profundidad directamente desde flujos de espigas crudos (raw spike streams).

2. Metodología: SpikeStereoNet

Los autores proponen SpikeStereoNet, un marco de trabajo end-to-end e inspirado en el cerebro para estimar la profundidad estereoscópica directamente a partir de flujos de espigas binarios asíncronos.

Arquitectura Principal

El modelo se compone de cuatro módulos clave:

1. Extracción de Características de Espigas:
   • Utiliza redes convolucionales para procesar los flujos de espigas izquierdo y derecho ($S_l, S_r$).
   • Genera características multiescala (1/4, 1/8, 1/16 de resolución) y un mapa de contexto para inicializar el estado oculto de la red recurrente.
2. Volumen de Correlación:
   • Construye un volumen de costos de correlación entre las características de la izquierda y la derecha para medir la similitud local en diferentes desplazamientos (disparidad).
   • Se crea una pirámide de correlación de 4 niveles mediante agrupación promedio (pooling) para capturar contextos a diferentes escalas.
3. Operador de Actualización RSNN (Red Neuronal Spiking Recurrente):
   • Es el núcleo del modelo. Utiliza una RSNN de tres capas con conexiones recurrentes intra-capas y feedforward inter-capas.
   • Modelo de Neurona Adaptativa (ALIF): A diferencia de las redes neuronales recurrentes estándar (LSTM/GRU) o modelos LIF fijos, SpikeStereoNet emplea un modelo de "Integrar y Disparar con Fugas Adaptativas" (Adaptive Leaky Integrate-and-Fire).
   • Este modelo introduce variables adaptativas ($\alpha_t, \beta_t, \gamma_t$) que controlan dinámicamente la retención del potencial de membrana, el umbral de disparo y el reseteo suave, imitando la plasticidad neuronal biológica.
   • El operador actualiza iterativamente la estimación de la disparidad utilizando el volumen de costos local y las características contextuales.
4. Supermuestreo Espacial:
   • Predice el residuo de disparidad en la capa final y actualiza la disparidad actual ($d_t = d_{t-1} + \Delta d_t$).
   • Utiliza una estrategia de combinación convexa para aumentar la resolución de 1/4 a la resolución completa.

Función de Pérdida

El entrenamiento se supervisa mediante una función de pérdida compuesta:

• Pérdida Estéreo ($L_{stereo}$): Distancia L1 ponderada temporalmente entre la disparidad predicha y la verdad fundamental.
• Regularización de Tasa de Disparo ($L_{rate reg}$): Penaliza desviaciones de una tasa de disparo objetivo para promover la dispersión temporal (sparsity).
• Regularización de Voltaje ($L_{v reg}$): Penaliza la velocidad de cambio del potencial de membrana para suavizar la dinámica temporal.

3. Contribuciones Clave

1. Nuevos Conjuntos de Datos (Benchmarks):
   • Dataset Sintético: Generado con Blender, incluye 150 escenas de entrenamiento y 40 de prueba con flujos de espigas de alta resolución temporal y mapas de profundidad densos.
   • Dataset Real: Capturado con dos cámaras de espigas y una cámara de profundidad (Kinect) en entornos interiores diversos, con más de 3,000 pares de flujos estereoscópicos y anotaciones de profundidad.
2. Arquitectura Bioinspirada: Propuesta de SpikeStereoNet, la primera red que integra una RSNN con mecanismos de actualización iterativa para refinar directamente la disparidad desde flujos de espigas crudos.
3. Análisis de Dinámica Neuronal: Demostración teórica y empírica de la estabilidad, convergencia y propiedades de separación de características de las iteraciones RSNN, validando su uso como actualizadores iterativos estables.
4. Eficiencia de Datos: El marco demuestra una capacidad de generalización superior, manteniendo un alto rendimiento incluso con conjuntos de datos de entrenamiento significativamente reducidos (10-50% de los datos).

4. Resultados Experimentales

El modelo fue evaluado en comparación con métodos basados en eventos (como ZEST, Stereospike) y métodos basados en fotogramas de última generación (RAFT-Stereo, IGEV-Stereo, Selective-Stereo), todos reentrenados bajo las mismas condiciones.

• Rendimiento en Dataset Sintético: SpikeStereoNet superó a todos los métodos competidores en todas las métricas principales (Bad Pixel 1.0/2.0/3.0 y Error Promedio). Por ejemplo, logró un AvgErr de 0.42 px frente a 0.45 px de Selective-Stereo y 0.48 px de RAFT-Stereo.
• Rendimiento en Dataset Real: En datos reales, el modelo mostró una mayor robustez en regiones desafiantes (superficies sin textura, iluminación extrema), logrando el menor AvgErr (0.56 px) y la menor tasa de píxeles malos.
• Eficiencia Computacional: A pesar de manejar estructuras temporales complejas, SpikeStereoNet mantiene un equilibrio favorable entre precisión y eficiencia, con un número de FLOPs (473 B) competitivo y un menor número de parámetros que muchos modelos basados en Transformers.
• Análisis de Abstracción: Las pruebas mostraron que la eliminación de las conexiones recurrentes/feedforward o el uso de neuronas LIF fijas degrada significativamente el rendimiento, confirmando la necesidad de la adaptabilidad dinámica (ALIF) y la estructura RSNN.

5. Significado e Impacto

Este trabajo representa un avance significativo en la visión neuromórfica al cerrar la brecha entre la captura de datos de alta velocidad (cámaras de espigas) y la estimación de profundidad precisa.

• Superioridad en Dinámica: Demuestra que los flujos de espigas, cuando se procesan con arquitecturas adecuadas, superan a los métodos tradicionales en escenas de movimiento rápido y condiciones de iluminación difíciles.
• Eficiencia Energética y Temporal: Al operar directamente sobre flujos asíncronos sin conversión a fotogramas, el sistema preserva la resolución temporal microsegundo y reduce la carga computacional asociada al procesamiento de video.
• Potencial de Aplicación: La capacidad de estimar profundidad robusta en tiempo real con baja latencia es crucial para aplicaciones críticas como la navegación de drones, la robótica de manipulación rápida y los vehículos autónomos en entornos dinámicos.

En resumen, SpikeStereoNet establece un nuevo estado del arte (SOTA) en la estereovisión basada en espigas, proporcionando tanto un marco algorítmico robusto como los recursos de datos necesarios para impulsar futuras investigaciones en visión computacional bioinspirada.