Resumen Técnico: Detección de Objetos en Vista Aérea Basada en LiDAR Neuromórfico utilizando Redes Neuronales de Pulsos Eficientes Energéticamente

1. Declaración del Problema

La percepción para la conducción autónoma requiere un procesamiento preciso de datos de sensores 3D bajo estrictas restricciones de potencia. Aunque las Redes Neuronales Convolucionales (CNN) dominan la detección de objetos 3D basada en LiDAR, son intensivas en cómputo y energéticamente ineficientes para plataformas neuromórficas con recursos limitados. Las CNN procesan cada ubicación espacial con igual peso, lo que genera un cómputo desperdiciado significativo en las celdas dispersas y vacías típicas de los mapas de LiDAR en Vista Aérea (BEV). Además, su operación basada en cuadros no explota la persistencia temporal ni la naturaleza impulsada por eventos de los sensores de próxima generación.

Las Redes Neuronales de Pulsos (SNN) ofrecen una solución potencial mediante cómputo impulsado por eventos, disperso y con integración temporal. Sin embargo, su aplicación a tareas complejas de percepción del mundo real como la detección de objetos 3D ha sido limitada. Los enfoques existentes de SNN a menudo dependen de la conversión de CNN preentrenadas (limitando la precisión y el aprendizaje temporal) o luchan con el desafío de realizar regresión continua (por ejemplo, dimensiones de la caja delimitadora) directamente desde salidas binarias de pulsos.

2. Metodología

Los autores proponen una red codificador-decodificador de pulsos de extremo a extremo entrenada desde cero utilizando retropropagación de gradientes sustitutos, diseñada específicamente para la detección de objetos LiDAR en BEV.

Representación de Entrada

Las nubes de puntos LiDAR crudas se proyectan en un mapa BEV 2D ($320 \times 320$ celdas). La entrada consta de 11 canales:

• 5 Características Geométricas/De Reflectancia: Altura máxima, ocupación binaria, reflectancia media, altura mínima y desviación estándar de la altura.
• 6 Bins del Eje Z: Un mapa de ocupación binaria que discretiza el eje vertical (0 a 2.4m) para preservar la estructura vertical.

Arquitectura de la Red

El modelo sigue un diseño U-Net adaptado para el cómputo de pulsos:

• Codificador: Cuatro bloques de submuestreo (DB1–DB4) que utilizan neuronas de Fuga e Integrate-and-Fire (LIF). Cada bloque incluye capas convolucionales, Normalización de Grupo (GN) y conexiones de salto.
• Decodificador: Cuatro bloques de sobremuestreo (UB) que agregan características multiescala para restaurar la resolución espacial.
• Cabezas de Salida: Tres cabezas paralelas que operan sobre características de resolución completa:
  • Cabeza de Puntos Clave: Predice los centros de los objetos mediante mapas de calor gaussianos.
  • Cabeza de Caja: Predice las dimensiones de la caja delimitadora ($\log_{10}$ de altura, ancho, longitud).
  • Cabeza de Rotación: Predice la orientación de la dirección como una clasificación sobre 31 bins ($6^\circ$ cada uno).

Entrenamiento y Funciones de Pérdida

La red se entrena utilizando la biblioteca snntorch con gradientes sustitutos para manejar la no diferenciabilidad de la generación de pulsos. Las innovaciones clave incluyen:

1. Estrategia de Entrada de Auto-codificación: En lugar de codificación Poisson o de latencia diseñada a mano, el mismo cuadro BEV se presenta idénticamente a lo largo de $T=13$ pasos de tiempo. Esto permite que las neuronas LIF integren evidencia a lo largo del tiempo, superando los esquemas de codificación tradicionales.
2. Pérdida Temporal de Dos Puntos para Puntos Clave: Una combinación de Pérdida Focal y Pérdida Dice enmascarada aplicada tanto a una ventana temporal temprana como a la ventana temporal completa. Esto impone coherencia espacial y maneja el desequilibrio de clases en mapas BEV dispersos.
3. Pérdida de Regresión Codificada por Población: Para predecir dimensiones continuas de cajas delimitadoras desde pulsos binarios, el método utiliza un clúster local de neuronas $k \times k$. El objetivo de regresión se decodifica a partir de la tasa media de disparo colectiva de esta población, eliminando la necesidad de discretizar los objetivos de regresión en bins.

Variantes de Inferencia

El artículo evalúa dos modos de inferencia:

• Potencial de Membrana (vmem): Lee el potencial de membrana continuo en la capa de salida para máxima precisión.
• Totalmente Binario (spike): Opera exclusivamente sobre trenes de pulsos binarios en cada capa, adecuado para la implementación directa en hardware neuromórfico que no expone estados internos de membrana.

3. Resultados Clave

Evaluado en el benchmark KITTI (Clase Coche, IoU=0.5 y 0.7):

• Precisión:

  • La variante vmem alcanza 92.05/87.04/86.51 AP (Fácil/Moderado/Difícil) en IoU=0.5, superando a todas las líneas base CNN (por ejemplo, PointPillars, PointRCNN) en la métrica Fácil y estableciendo un nuevo estado del arte entre los detectores SNN.
  • La variante de pulso totalmente binario alcanza 88.51/85.72/83.14 AP en IoU=0.5, superando a todos los detectores BEV basados en SNN anteriores (por ejemplo, SpikiLi, DeepSCNN) mientras utiliza únicamente activaciones binarias.
  • La brecha de rendimiento entre la variante de pulso binario y la variante vmem es de aproximadamente 3–4 puntos AP, cuantificando el costo de la lectura binaria pero permaneciendo significativamente más estrecha que las brechas típicas SNN-a-CNN.

• Eficiencia Energética:

  • Un análisis energético bloque a bloque utilizando constantes de tecnología de 45nm estima una reducción de 3.33× en la energía de operación sináptica en comparación con una CNN equivalente bajo una simulación conservadora basada en bucles (donde la entrada se repite $T=13$ veces).
  • Esta eficiencia es impulsada por dos mecanismos: el reemplazo de operaciones Multiplicar-Acumular (MAC) por operaciones Solo-Acumular (AC) (ahorros de 5.1× por evento) y una dispersión de disparo del 88.19% (tasa media de disparo de 0.1181).
  • Los autores señalan que en hardware neuromórfico dedicado, donde los pasos de tiempo se desarrollan naturalmente sin sobrecarga de bucles, la ventaja energética efectiva podría escalar a aproximadamente 43×.

4. Significado y Afirmaciones

El artículo afirma cerrar la brecha entre la eficiencia energética teórica de las SNN y la precisión práctica requerida para la percepción de conducción autónoma. Sus contribuciones principales son:

1. Viabilidad de SNN de Extremo a Extremo para Detección 3D: Demostrar que las SNN pueden igualar la precisión de CNN de precisión completa en tareas complejas de detección 3D sin depender de la conversión CNN-a-SNN.
2. Nuevas Pérdidas en el Dominio de Pulsos: Introducir regresión codificada por población y pérdidas temporales de dos puntos que permiten un flujo de gradiente efectivo y estimación de valores continuos directamente desde pulsos binarios, eliminando la necesidad de discretización o activaciones intermedias continuas.
3. Ganancias Energéticas Cuantificables: Proporcionar un análisis energético riguroso, bloque a bloque, que rastrea los ahorros a etapas arquitectónicas específicas y tipos de operación (MAC vs. AC), validando la viabilidad de las SNN para implementaciones automotrices con restricciones energéticas.

Los autores concluyen que, aunque el trabajo actual opera sobre cuadros estáticos, la arquitectura está diseñada para implementación secuencial donde los cuadros de sensores entrantes avanzan naturalmente la dinámica de pulsos, posicionando a las SNN como una arquitectura prometedora para pipelines de detección de alta tasa e impulsados por eventos en vehículos autónomos de próxima generación.