Photonic spiking reinforcement learning for intelligent routing

Resumen Técnico: Aprendizaje por Refuerzo de Espigas Fotónicas para el Enrutamiento Inteligente

Planteamiento del Problema
El enrutamiento inteligente es crítico para las infraestructuras de comunicación modernas, incluyendo los centros de datos y las futuras redes 6G. Si bien el Aprendizaje por Refuerzo Profundo (DRL) ofrece un paradigma prometedor para optimizar el enrutamiento en entornos de tráfico dinámicos y con ráfagas, su despliegue práctico se ve obstaculizado por el alto consumo de energía y la latencia de decisión inherentes a las redes neuronales artificiales (ANN) convencionales. Los algoritmos de enrutamiento tradicionales, como Dijkstra, dependen de métricas estáticas y carecen de la adaptabilidad para aprender patrones de tráfico complejos y no lineales, lo que a menudo conduce a la congestión local y a una utilización ineficiente de los recursos. Existe la necesidad de una solución de enrutamiento que combine las capacidades de aprendizaje del DRL con la latencia ultra baja y la alta eficiencia energética requeridas para el control de redes en tiempo real.

Metodología
Los autores proponen una arquitectura de Aprendizaje por Refuerzo de Espigas Fotónicas (PSRL) que integra el algoritmo de Optimización de Política Próxima (PPO) con Redes Neuronales de Espigas Fotónicas (PSNN) dentro de un marco de Redes Definidas por Software (SDN).

• Arquitectura: El sistema opera en una estructura SDN jerárquica (planos de datos, control y aplicación). El plano de datos utiliza una topología fat-tree (inicialmente $k=4$) con switches OpenFlow. El plano de aplicación alberga el motor de toma de decisiones inteligente.
• Algoritmo: El agente de enrutamiento emplea un marco Actor-Crítico PPO.
  • Red Actor: Implementada como una Red Neuronal de Espigas (SNN) utilizando neuronas de Integración y Disparo con Fuga (LIF). Procesa los estados de la red (codificados como trenes de espigas) para producir acciones de enrutamiento (selección de ruta). La red utiliza un método de gradiente sustituto (Disparo de Inflación Cero) para permitir la retropropagación a través de funciones de espiga no diferenciables.
  • Red Crítico: Implementada como una ANN estándar para evaluar los valores de estado y asistir en la optimización de la política.
  • Estado y Acción: El espacio de estados incluye índices de host y características de ruta (utilización, recuento de saltos). El espacio de acciones es un vector de selección de ruta discreto, filtrado por una máscara de acción para asegurar la viabilidad.
  • Recompensa: Una función de recompensa multiobjetivo optimiza el rendimiento (throughput), la pérdida de paquetes, la latencia y el equilibrio de carga.
• Colaboración Hardware-Software: Para cerrar la brebra entre la simulación algorítmica y el despliegue físico, los autores desarrollaron un marco colaborativo:
  1. Preentrenamiento de Software: La SNN se entrena desde cero en simulación.
  2. Entrenamiento Fotónico In-situ: Las matrices de pesos lineales de las capas ocultas se mapean en un chip de malla de Interferómetros Mach-Zehnder (MZI) utilizando el algoritmo de Descenso de Gradiente Paralelo Estocástico (SPGD) para optimizar los voltajes de los desplazadores de fase.
  3. Ajuste Fino Consciente del Hardware: Los pesos mapeados se recargan en el modelo de software para compensar las imperfecciones de fabricación y el ruido del sistema.
  4. Inferencia Colaborativa: La inferencia final implica un bucle híbrido donde las activaciones de espigas no lineales se computan en una plataforma CPU-FPGA, mientras que las multiplicaciones de matrices vector-matriz lineales y las funciones de neurona de espiga no lineales se ejecutan en chips fotónicos (malla MZI y arreglos de láser DFB-SA).

Contribuciones Clave

1. Innovación en Arquitectura y Algoritmo: El desarrollo de un modelo de enrutamiento inteligente donde la red de política es una SNN, alineando el paradigma computacional con el hardware neuromórfico fotónico. Esto se integra en un plano de control SDN y se evalúa en una topología fat-tree.
2. Mejora del Rendimiento: Simulaciones extensas demuestran que el algoritmo PPO de espigas fotónicas supera significamente al algoritmo Dijkstra convencional en términos de rendimiento, latencia, tasa de pérdida de paquetes y equilibrio de carga, particularmente bajo altas cargas de red.
3. Computación Colaborativa Hardware-Software: La realización de un marco que mapea la red Actor de espigas sobre hardware PSNN. La validación experimental en 640 pares estado-acción confirma que el marco colaborativo hardware-software mantiene una precisión de decisión consistente con la implementación algorítmica pura.

Resultados

• Rendimiento de Simulación: En una red fat-tree ($k=4$), el PPO de espigas fotónicas alcanzó un rendimiento de casi 6000 Mbps (frente al crecimiento limitado de Dijkstra) y mantuvo retrasos promedio por debajo de 20 ms, mientras que el retraso de Dijkstra superó los 80 ms con un tráfico base de 200 Mbps. Las tasas de pérdida de paquetes fueron significativamente menores para el método propuesto.
• Validación de Hardware:
  • Mapeo de Pesos: La similitud entre los pesos digitales y los pesos mapeados por hardware en la malla MZI alcanzó 0.84 después de 2100 épocas de optimización SPGD.
  • Precisión de Inferencia: Los resultados experimentales a través de tres tasas de tráfico (40, 80 y 120 Mbps) mostraron alta fidelidad. Las tasas de error por capa fueron bajas (0.5371%, 0.4785% y 0.3516% respectivamente), con precisiones de inferencia final alcanzando del 99.38% al 100%.
  • Ajuste Fino: Después del ajuste fino consciente del hardware, el modelo reentrenado retuvo un rendimiento superior sobre Dijkstra a pesar de una ligera disminución en la recompensa en comparación con la línea base de software puro.
• Escalabilidad: El método demostró robustez al escalarse a una malla MZI de capa oculta de 128×128 y una topología fat-tree más grande ($k=6$, 54 hosts). En el escenario $k=6$, el método propuesto logró un rendimiento pico de ~12,000 Mbps (el doble que Dijkstra) manteniendo al mismo tiempo una menor pérdida de paquetes y retraso.

Significancia
El artículo afirma que este trabajo establece un nuevo paradigma para la optimización del enrutamiento inteligente caracterizado por una latencia ultra baja y una alta eficiencia energética. Al integrar estrechamente las capacidades de aprendizaje del algoritmo PPO con las ventajas físicas del hardware fotónico, el enfoque aborda las limitaciones tanto del enrutamiento estático tradicional como del DRL de alto consumo energético. Los autores postulan que esta integración cierra la brecha de investigación entre la computación neuromórfica fotónica y las tecnologías de enrutamiento de red, ofreciendo una solución viable para la optimización de redes en tiempo real en centros de datos a gran escala, redes de computación, sistemas de Internet satelital y futuras redes 6G. La exitosa inferencia colaborativa hardware-software demuestra la viabilidad de desplegar agentes de espigas fotónicas en los planos de control SDN prácticos.