Fuzzy Encoding-Decoding to Improve Spiking Q-Learning Performance in Autonomous Driving

Resumen Técnico: Codificación-Decodificación Difusa para Mejorar el Aprendizaje por Refuerzo de Spiking en la Conducción Autónoma

1. Planteamiento del Problema

El artículo aborda las limitaciones críticas de las Redes Neuronales de Spiking (SNN) cuando se aplican al Aprendizaje por Refuerzo Profundo (DRL) en la conducción autónoma, específicamente en redes de Q-learning multimodales (MM-DSQN). Aunque las SNN son energéticamente eficientes y adecuadas para plataformas de borde, existen dos brechas de rendimiento significativas frente a las redes neuronales tradicionales (no espigantes):

1. Pérdida de Información en la Codificación: La conversión de entradas visuales densas (imágenes) a trenes de espigas binarios y dispersos provoca una pérdida de información perceptual fina. Los métodos de codificación por tasa (rate coding) tradicionales requieren ventanas de simulación largas para estimar frecuencias fiables, lo que introduce latencia incompatible con la conducción en tiempo real (que exige ~10 Hz).
2. Capacidad Representacional Limitada de los Valores Q: La naturaleza impulsada por eventos de las SNN hace que los valores Q (estimaciones de recompensa) colapsen en un rango estrecho y poco discriminativo. Esto dificulta que el agente distinga entre acciones óptimas y subóptimas, especialmente en entornos dinámicos donde se requiere una discriminación de acciones fina.

2. Metodología Propuesta

Los autores proponen una arquitectura end-to-end de codificador-decodificador difuso basado en poblaciones diseñada para integrarse dentro de una MM-DSQN basada en visión. El objetivo es preservar la eficiencia computacional de las SNN mientras se recupera la fidelidad de la información.

• Codificador Difuso Basado en Poblaciones (Encoder):

  • En lugar de una simple conversión binaria, cada píxel de la imagen de entrada se procesa a través de un banco de N funciones de membresía difusa entrenables (triangulares en este caso).
  • Cada función de membresía genera un valor de activación en el rango [0, 1], que luego se convierte en un tren de espigas mediante neuronas Integrate-and-Fire (IF).
  • Esto expande cada canal de imagen original a N canales de espigas, creando una representación distribuida y más rica que captura variaciones continuas de intensidad de píxeles sin necesidad de ventanas de simulación largas.
  • Se utilizan funciones triangulares por su bajo costo computacional (operaciones lineales simples) en comparación con funciones gaussianas.

• Decodificador Neuronal Ligero (Decoder):

  • Para abordar el problema de los valores Q dispersos, se asigna una población de M neuronas de salida para cada acción posible.
  • En lugar de usar operadores de desdifusificación clásicos (como el centroide), que son costosos computacionalmente, se introduce una red neuronal ligera (una capa totalmente conectada con activación ReLU).
  • Esta red aprende a mapear las activaciones de la población de espigas hacia valores Q continuos y expresivos, permitiendo una estimación precisa de la función de valor.

• Entrenamiento End-to-End:

  • Tanto los parámetros de las funciones de membresía del codificador como los pesos del decodificador se optimizan conjuntamente con la red de spiking mediante retropropagación, permitiendo que el sistema aprenda una representación difusa específica para la tarea.

3. Contribuciones Clave

1. Nuevo Codificador Difuso: Un mecanismo basado en poblaciones que reduce significativamente la pérdida de información durante la conversión de visión a espigas mediante el aprendizaje de funciones de membresía compactas y eficientes.
2. Nuevo Decodificador Difuso: Una arquitectura de decodificación neuronal que reconstruye valores Q continuos a partir de la actividad neuronal impulsada por eventos, mitigando el problema de la dispersión de valores Q en las SNN.
3. Integración en MM-DSQN: Es, según los autores, el primer trabajo que integra este mecanismo de codificación-decodificación difusa dentro de redes de Q-learning espigantes multimodales para la conducción autónoma.
4. Análisis Teórico: Demostración de que la codificación basada en poblaciones aumenta la capacidad de información (entropía) del sistema, permitiendo representaciones más ricas incluso con ventanas de simulación cortas.

4. Resultados Experimentales

El método se evaluó en el entorno HighwayEnv, utilizando un escenario de autopista con observaciones multimodales (cámara, LiDAR y datos cinemáticos).

• Comparativa de Rendimiento:
  • La MM-DSQN estándar (con codificación por tasa) mostró una caída de rendimiento de aproximadamente el 12.5% en recompensa acumulada en comparación con la red no espigante (DQN tradicional). Además, tendía a ser excesivamente conservadora (elegir "más lento" con frecuencia).
  • La arquitectura propuesta con codificador-decodificador difuso eliminó esta brecha, logrando un rendimiento equivalente al modelo no espigante en términos de recompensa y velocidad promedio.
• Seguridad y Eficiencia:
  • El modelo propuesto mantuvo una tasa de colisiones baja (aprox. 0.0025), comparable a la del modelo no espigante (0.002) y superior a la del modelo de tasa (0.001, pero con un rendimiento de tarea muy pobre).
  • Las funciones de membresía aprendidas mostraron una distribución lógica de los píxeles en canales de baja, media y alta intensidad, facilitando la discriminación de características visuales.
• Estudios de Ablación:
  • Se demostró que eliminar el decodificador o el codificador degrada el rendimiento.
  • El uso de funciones triangulares resultó ser más eficiente y efectivo que las gaussianas, confirmando la viabilidad para aplicaciones en tiempo real.

5. Significado e Impacto

Este trabajo es fundamental para el avance de la inteligencia a bordo eficiente en vehículos autónomos.

• Puente de Rendimiento: Demuestra que es posible cerrar la brecha de rendimiento entre las SNN (eficientes energéticamente) y las DNN tradicionales sin sacrificar la precisión en la toma de decisiones.
• Viabilidad en Tiempo Real: Al permitir ventanas de simulación cortas y mantener una alta fidelidad perceptual, la arquitectura hace viable el despliegue de sistemas de RL espigantes en hardware de borde con recursos limitados.
• Escalabilidad: La propuesta ofrece un marco escalable para la fusión sensorial multimodal en entornos complejos, sentando las bases para futuras aplicaciones en escenarios más difíciles (intersecciones, rotondas) y en sistemas multi-agente.

En conclusión, la propuesta transforma las limitaciones inherentes de las SNN (discretización y dispersión) en ventajas mediante un diseño difuso inteligente, logrando un equilibrio óptimo entre eficiencia energética y capacidad de decisión en la conducción autónoma.