Resumen Técnico: Repensar la Acción: Ingeniería del Espacio de Acciones para el Enrutamiento de Circuitos Cuánticos Basado en Aprendizaje por Refuerzo en Sistemas Cuánticos Distribuidos

Declaración del Problema

A medida que la escalabilidad monolítica de los procesadores cuánticos enfrenta limitaciones debido a la complejidad del control, la diafonía y los errores correlacionados, la Computación Cuántica Distribuida (DQC) ha surgido como una alternativa viable. La DQC interconecta múltiples módulos de procesadores cuánticos más pequeños mediante canales cuánticos y clásicos. Sin embargo, la compilación de circuitos cuánticos para DQC introduce un desafío distinto: el compilador no solo debe satisfacer las restricciones de conectividad local dentro de los módulos, sino también gestionar la generación y el enrutamiento de estados entrelazados remotos (pares EPR) para facilitar operaciones no locales.

La generación de pares EPR es significativamente más lenta (por ejemplo, 10–40 Hz) en comparación con las operaciones de puertas locales (de MHz a kHz), creando un cuello de botella. Los enfoques de compilación tradicionales a menudo dependen de la colocación estática de qubits o de heurísticas que abstraen la dinámica de la red en costos escalares, fallando en capturar la naturaleza estocástica y la latencia de la generación de entrelazamiento remoto. Si bien el Aprendizaje por Refuerzo (RL) ha demostrado ser prometedor en el enrutamiento no distribuido, los marcos de RL específicos para DQC existentes (por ejemplo, Promponas et al., 2024) enfrentan desafíos en cuanto a la eficiencia del entrenamiento, la escalabilidad y el rendimiento de inferencia debido a sus formulaciones del espacio de acciones.

Metodología

Los autores proponen un agente de RL novedoso diseñado para optimizar el tiempo de ejecución del circuito en arquitecturas DQC. El enfoque se basa en el marco establecido por Promponas et al. (2024), pero introduce cambios significativos de ingeniería en el espacio de acciones, las estrategias de enmascaramiento y la aproximación de valores.

1. Modelo de Sistema y Circuito

• Representación del Circuito: Los circuitos cuánticos se modelan como Grafos Acíclicos Dirigidos (DAG), donde los nodos representan puertas y las aristas representan restricciones de precedencia.
• Modelo de Hardware: El sistema consta de múltiples módulos (QPUs) conectados por canales cuánticos. Las operaciones locales ocurren dentro de los módulos, mientras que las operaciones remotas dependen de pares EPR.
• Primitivas Remotas: El marco admite tele-puertas (CNOT no local) y tele-qubits (teletransportación de estado), que consumen pares EPR. La generación de entrelazamiento se modela como un proceso determinista con una latencia fija $t_{gen}$, aproximando el tiempo de espera medio de un protocolo de repetir-hasta-éxito.

2. Marco de Aprendizaje por Refuerzo

El problema se formula como un Proceso de Decisión de Markov (MDP) utilizando Redes Doble Deep Q (DDQN).

• Espacio de Estados ($S$): Idéntico a la línea base, codificando el mapeo actual de qubits (físico a virtual) y la estructura del DAG (dependencias de puertas y capas).
• Estructura de Recompensas:
  • Recompensas positivas por completar puertas ($R_{score}$) y finalizar el circuito ($R_{success}$).
  • Penalizaciones por no completar el circuito dentro de un límite de tiempo ($R_{fail}$) y por utilizar la acción STOP.
  • Modificación: Los autores modifican la recompensa de movimiento ($R_{move}$). A diferencia de la línea base, que penaliza el aumento de la distancia, el nuevo agente recibe una recompensa cero si la métrica de distancia no disminuye, evitando retroalimentación negativa para movimientos que no progresan pero que no están estrictamente prohibidos. La recompensa STOP se escala por el número de pasos de tiempo omitidos ($\Delta t_{skip}$).

3. Innovaciones Clave: Ingeniería del Espacio de Acciones

La contribución central radica en redefinir el espacio de acciones del agente ($\tilde{A}$) y cómo se enmascara y aproxima.

• Espacio de Acciones Expandido: En lugar de asociar acciones con aristas individuales (SWAPs en enlaces únicos), el nuevo agente asocia acciones con pares de qubits físicos $(i, j)$. Una acción ROUT(i, j) ejecuta una cadena de operaciones SWAP y tele-qubit a lo largo de la ruta más corta precalculada entre $i$ y $j$. Esto permite al agente tomar decisiones de enrutamiento de múltiples pasos en un solo paso.
• Enmascaramiento de Acciones Restrictivo: Para evitar que el espacio de acciones ampliado abrume al agente, se emplea una estrategia de enmascaramiento estricta. Una acción de enrutamiento ROUT(i, j) solo es admisible si:
  1. Mueve un "qubit de frontera" (involucrado en la siguiente puerta) hacia su pareja.
  2. Mueve un qubit no inicializado hacia un enlace de comunicación para preparar la generación de EPR.
  3. Mueve un qubit EPR y un qubit de frontera el uno hacia el otro.
• Aproximación Estructurada del Valor Q: Para abordar la escalabilidad cuadrática del espacio de acciones ($O(|V|^2)$), los autores introducen una aproximación estructurada. La red neuronal genera un valor escalar $Q_i$ para cada qubit físico $i$ (más valores para las acciones STOP y generate). El valor para una acción de enrutamiento específica de $i$ a $j$ se induce mediante una combinación lineal:
  $$Q_{ij} = (1 - \alpha)Q_i + \alpha Q_j$$
  donde $0 < \alpha < 0.5$. Esto reduce el número de salidas entrenables de $O(|V|^2)$ a $O(|V|)$, disminuyendo significativamente el costo computacional mientras se preserva la direccionalidad.

Resultados Clave

El agente propuesto se evaluó frente al agente DDQN de línea base (Promponas et al., 2024) en dos topologías de hardware: una cuadrícula de 4x4 y un par conectado de arquitecturas IBM Q Guadalupe (32 qubits en total). Los experimentos utilizaron circuitos generados aleatoriamente con 30, 40 y 50 puertas CNOT.

1. Rendimiento de Inferencia

• Reducción del Tiempo de Ejecución: En la topología Guadalupe con circuitos de 30 puertas, el agente propuesto logró una reducción relativa en el tiempo de ejecución modelado de ~35% en comparación con la línea base.
  • Promedio de la línea base: ~1,227 pasos de tiempo.
  • Promedio del agente propuesto: ~799 pasos de tiempo.
• Escalabilidad: En la topología Guadalupe más restringida, el agente de línea base tuvo dificultades para aprender políticas efectivas para circuitos de 40 y 50 puertas (los tiempos de ejecución se mantuvieron cerca de los niveles de selección aleatoria). En contraste, el agente propuesto mostró mejoras significativas en el tiempo de ejecución para estos circuitos más grandes, indicando una mejor escalabilidad.
• Topología de Cuadrícula: En la cuadrícula 4x4 altamente conectada, el agente propuesto entrenó inicialmente más lento debido a la complejidad de seleccionar rutas óptimas entre muchas alternativas. Sin embargo, finalmente alcanzó un rendimiento final competitivo, superando ligeramente a la línea base.

2. Eficiencia del Entrenamiento

• Tiempo de Reloj Pared: El modelo propuesto requirió significativamente menos tiempo de entrenamiento. Para circuitos de 30 puertas, el tiempo de entrenamiento se redujo en un 64% (de ~66 horas a ~23.5 horas).
• Convergencia: El agente propuesto demostró una menor varianza en la recompensa acumulada y el tiempo de ejecución durante las etapas finales del entrenamiento, sugiriendo una política más estable y consistente.

3. Análisis de Mirada hacia Adelante (Look-Ahead)

Los autores investigaron si el entrenamiento en circuitos más pequeños (mirada hacia adelante limitada) se generaliza a circuitos más grandes. El entrenamiento en circuitos más grandes (C50) produjo consistentemente un mejor rendimiento de inferencia en conjuntos de prueba de 50 puertas que el entrenamiento en circuitos más pequeños (C30 o C40), lo que sugiere que el contexto completo del circuito es necesario para decisiones de enrutamiento óptimas en esta configuración.

Significado y Afirmaciones

El artículo afirma que la Ingeniería del Espacio de Acciones es una palanca crítica para mejorar la compilación de circuitos cuánticos basada en RL. Al reestructurar el espacio de acciones para permitir acciones de enrutamiento compuestas y emplear una aproximación estructurada del valor Q, los autores lograron:

1. Rendimiento Mejorado: Una reducción significativa en el tiempo de ejecución del circuito (hasta un 35-38%) en topologías de hardware restringidas.
2. Eficiencia Computacional: Una reducción drástica en el tiempo de entrenamiento (64%) y una parametrización más escalable de la red Q.
3. Generalización: La capacidad de aprender políticas efectivas para circuitos más grandes donde los enfoques basados en heurísticas o a nivel de arista de la línea base fallaron.

Los autores notan modestamente que la escalabilidad sigue estando limitada por el crecimiento polinómico del espacio de estados con el número de puertas (actualmente evaluado hasta 50 puertas y 18 qubits). Identifican la compensación entre la estrategia de enmascaramiento restrictiva (que ayuda a la velocidad de aprendizaje) y la posible pérdida de estrategias de enrutamiento globalmente óptimas como una limitación. Se propone trabajo futuro centrado en representaciones de estado más compactas para mejorar aún más la generalización.