Resumen Técnico: Enrutamiento con Fidelidad Predictiva y Programación Adaptativa en Redes Cuánticas NISQ Distribuidas mediante Aprendizaje por Refuerzo Actor-Crítico

1. Planteamiento del Problema

Los sistemas cuánticos distribuidos de escala intermedia ruidosa (NISQ, por sus siglas en inglés) dependen de la comunicación cuántica para funcionar; sin embargo, su despliegue práctico se ve obstaculizado por las fluctuaciones de los enlaces, los recursos cuánticos limitados y la degradación del entrelazamiento. Estos factores crean desafíos significativos para el enrutamiento y la programación fiables, particularmente en entornos a gran escala y dinámicamente cambiantes.

Los enfoques clásicos existentes, como el Enrutamiento de Fidelidad Ponderada Histórica (HWFR) y la Programación Cuántica de Multi-Prioridad Dinámica (DMPQS), funcionan adecuadamente solo cuando las condiciones de la red son estables. Su rendimiento se degrada significativamente cuando las tasas de éxito de entrelazamiento varían o cuando los nodos de relevo se congestionan. Una limitación principal de la literatura actual es el aislamiento de la optimización del enrutamiento y la programación, fallando a menudo al no considerar explícitamente las variaciones futuras de la fidelidad. Esta fragmentación conduce a un uso ineficiente de los recursos, un aumento de la latencia de extremo a extremo y una incapacidad para mantener una fidelidad de enlace estable bajo condiciones variables en el tiempo. Además, muchas estrategias basadas en aprendizaje tienen dificultades para la generalización en entornos con variaciones irregulares de tráfico y sufren de velocidades de convergencia lentas.

2. Metodología

Para abordar estos desafíos, los autores proponen el Marco de Optimización de Comunicación Cuántica basado en Aprendizaje por Refuerzo Profundo (DRL-QCOF). Este marco optimiza conjuntamente el enrutamiento y la programación a través de dos componentes interconectados:

A. Red de Predicción de Fidelidad Cuántica (QFPN)

La QFPN sirve como la columna vertebral predictiva, estimando la fidelidad futura del enlace ($F_{pred}(t)$) para permitir una toma de decisiones proactiva.

• Arquitectura: Utiliza una red de Memoria a Largo Corto Plazo Bidireccional (Bi-LSTM) combinada con un mecanismo de Auto-Atención Temporal.
• Entradas: La red procesa secuencias de series temporales de características del enlace, incluyendo la longitud del enlace, el coeficiente de ruido, la probabilidad de éxito de entrelazamiento y la utilización del relevo.
• Mecanismo: La Bi-LSTM captura dependencias temporales tanto en dirección directa como inversa, mientras que el mecanismo de atención asigna pesos de importancia a pasos de tiempo específicos (por ejemplo, picos repentinos de ruido). Una capa de regresión con una activación sigmoide produce la fidelidad predicha acotada entre 0 y 1.
• Salida: Un valor escalar de fidelidad predicha utilizado para guiar al agente de enrutamiento.

B. Agente de Programación Cuántica Adaptativa basado en Aprendizaje Profundo (DRAQS-Agent)

El DRAQS-Agent actúa como el núcleo de toma de decisiones, utilizando una arquitectura Actor–Crítico para aprender una política adaptativa de enrutamiento y programación.

• Representación de Estado: El vector de estado ($S_t$) integra las fidelidades predichas por la QFPN, las longitudes de cola actuales, la utilización del relevo, las estimaciones de latencia y la disponibilidad de saltos.
• Espacio de Acción: El agente selecciona acciones discretas que comprenden la selección de la ruta de enrutamiento, la asignación de prioridad de programación o el aplazamiento/rechazo de solicitudes basado en la escasez de recursos.
• Función de Recompensa: Una formulación de recompensa continua guía al agente para maximizar la fidelidad del enlace mientras minimiza la latencia, la longitud de la cola y la sobrecarga del relevo. La recompensa se define como:
  $$R_t = \alpha F_{eff} - \beta L_t - \gamma Q_t - \delta U_t$$
  donde $F_{eff}$ es la fidelidad efectiva de múltiples saltos, $L_t$ es la latencia, $Q_t$ es la longitud de la cola y $U_t$ es la utilización.
• Entrenamiento: El agente se entrena utilizando Aprendizaje de Diferencia Temporal (TD) con recorte de gradiente y regularización de entropía para asegurar la estabilidad. La red Actor actualiza la política, mientras que la red Crítico estima la función de valor.

3. Contribuciones Clave

El artículo describe tres contribuciones primarias:

1. Estrategia de Control Unificada: La propuesta de una estrategia de control basada en RL que optimiza conjuntamente el enrutamiento y las decisiones de recursos a través de horizontes de entrenamiento prolongados, demostrando una mejora de rendimiento constante a medida que el sistema evoluciona.
2. Estructura de Recompensa de Múltiples Métricas: El diseño de una función de recompensa que alinea el proceso de aprendizaje con los objetivos operativos prácticos, optimizando simultáneamente la fidelidad del enlace, la latencia, la tasa de bloqueo y el rendimiento (throughput).
3. Formulación de Estado Adaptativa: La introducción de una representación de estado que captura tanto la dinámica transitoria como la acumulativa de la red, respaldada por las capacidades predictivas de la QFPN, para facilitar patrones de decisión más precisos y estables.

4. Resultados Experimentales

El marco fue evaluado utilizando un entorno de co-simulación que combina NetSquid (para la dinámica de la red cuántica) y OMNeT++ (para el control clásico y el tráfico). Las simulaciones se realizaron en una topología NISQ de 25 nodos (basada en NSFNET) durante 1,000 épocas de control con 30 semillas aleatorias.

Comparaciones de Rendimiento:
El DRL-QCOF propuesto se comparó con HWFR, DMPQS, enrutamiento consciente de la purificación, DRL-RRA, enrutamiento de objetivos múltiples y enrutamiento TQD-Secure.

• Fidelidad del Enlace: El método propuesto logró una fidelidad de enlace promedio máxima de 0.88, superando a los métodos existentes que oscilaron entre 0.78 y 0.86.
• Latencia: La latencia de extremo a extremo se redujo de un valor inicial de 104 ms a 83 ms en la convergencia. Los esquemas de referencia se mantuvieron por encima de los 110 ms bajo condiciones similares.
• Tiempo de Respuesta: El tiempo de respuesta promedio de las solicitudes disminuyó a aproximadamente 147 ms, una mejora significativa respecto a los esquemas de referencia (por ejemplo, HWFR a 217 ms).
• Utilización de Recursos: El marco alcanzó una tasa de utilización del 71–83%, en comparación con el 67–81% de los esquemas existentes.
• Tasa de Éxito: La tasa de éxito mejoró del 93% al 97%, mientras que la tasa de bloqueo se redujo hasta un mínimo de 0.04.
• Rendimiento (Throughput): El sistema logró un rendimiento de 118–121 pares entrelazados por segundo.
• Convergencia: La recompensa acumulada se estabilizó aproximadamente en 16.0, observándose la convergencia dentro de los 300 episodios de entrenamiento, significativamente más rápido que los métodos competidores.

5. Significación y Reivindicaciones

El artículo afirma que el marco DRL-QCOF ofrece una solución robusta para la naturaleza dinámica e incierta de las redes NISQ. Al integrar el modelado predictivo de la fidelidad con el aprendizaje por refuerzo adaptativo, el sistema supera las limitaciones de las estrategias estáticas o semi-adaptativas que no logran anticipar la degradación del enlace.

La significación de este trabajo reside en su enfoque de optimización unificado y de múltiples métricas. En lugar de priorizar una sola métrica, el marco equilibra propiedades de red interdependientes (fidelidad, latencia, rendimiento) a través de un mecanismo de modelado de recompensa impulsado por la estabilidad. Los autores sostienen que este enfoque permite a la red mantener una alta fiabilidad y eficiencia incluso bajo cargas de tráfico fluctuantes y ruido ambiental, proporcionando una dirección práctica hacia la construcción de soluciones de control de red fiables, eficientes y adaptables. Los resultados sugieren que el método es efectivo en escenarios dinámicos y converge más rápido que los enfoques de aprendizaje o heurísticos existentes.