Reinforcement Learning for Adaptive Composition of Quantum Circuit Optimisation Passes

Resumen Técnico: Aprendizaje por Refuerzo para la Composición Adaptativa de Pasadas de Optimización de Circuitos Cuánticos

Declaración del Problema
Los kits de desarrollo de software cuántico (QSDK) proporcionan conjuntos de pasadas de circuitos altamente optimizados (por ejemplo, optimización de subcircuitos de Clifford, reescritura de cálculo-ZX, optimización de gadgets de Pauli). Sin embargo, el orden en el que se aplican estas pasadas suele quedar a discreción del usuario o se define mediante secuencias por defecto de propósito general. Esto presenta dos desafíos principales:

1. Barrera de Pericia: Reconocer cuándo es beneficiosa una pasada específica requiere una pericia excepcional en la construcción y optimización de circuitos.
2. Problema del Orden de Fase: La calidad del circuito resultante es altamente sensible al orden de aplicación. Las secuencias por defecto de propósito general suelen perder oportunidades de optimización específicas de cada circuito, mientras que diseñar secuencias personalizadas manualmente es lento y propenso a errores.

Los enfoques de aprendizaje automático existentes suelen depender de espacios de observación de tamaño fijo (limitando la entrada a características específicas) o utilizan simulación clásica en representaciones de circuitos simplificadas, lo que puede reducir la precisión de la predicción. Además, los enfoques basados en la búsqueda para generar secuencias personalizadas suelen sufrir de una escalabilidad deficiente a medida que el espacio de acción y el tamaño del circuito aumentan.

Metodología
Los autores proponen un marco de Aprendizaje por Refuerzo (RL) utilizando la Optimización de Política Próxima (PPO) para entrenar a un agente que selecciona y aplica iterativamente una secuencia de pasadas de optimización adaptadas a un circuito cuántico específico.

• Representación de Grafo: El circuito cuántico se codifica como un grafo donde los nodos representan puertas, entradas y salidas, y las aristas representan cables de cúbits. Esta representación soporta conectividad arbitraria y tamaños de circuito arbitrarios, a diferencia de las representaciones tensoriales 3D. Las características de los nodos incluyen tipos de puertas (ZZPhase, Rz, PhasedX), parámetros, banderas de Clifford e índice de la pasada aplicada más recientemente para evitar la repetición idempotente.
• Espacio de Acción: El agente selecciona de un conjunto de pasadas de optimización global disponibles en PyTKET (versión 2.9.3), incluyendo:
  • KAKDecomposition (resíntesis de subcircuitos de dos cúbits)
  • CliffordResynthesis y CliffordSimp
  • ZXGraphlikeOptimisation
  • GreedyPauliSimp
  • ThreeQubitSquash
  • DoNothing (termina la secuencia)
    Después de cada pasada, el circuito se reubica (rebase) al conjunto de puertas nativas de Quantinuum.
• Arquitectura: El agente emplea una Red Neuronal de Grafos (GNN) con capas de Convolución de Grafos (utilizando operadores GINConv modificados) para procesar el grafo del circuito. La red genera logits de acción (vía un actor) y valores de estado (vía un crítico). El modelo utiliza el agrupamiento medio (mean pooling) para manejar tamaños de circuito variables.
• Función de Recompensa: La recompensa para una sola acción se define como la fracción de puertas de dos cúbits eliminadas en relación con el conteo inicial ($r_t = (n_{t-1} - n_t) / n_0$). Se aplica una pequeña penalización a las acciones que no sean DoNothing para fomentar la eficiencia.
• Entrenamiento: El modelo se entrena con un conjunto de datos sintéticos de más de 400,000 circuitos (incluyendo clases Random-SU4/SU8, IQP, QAOA y mezclas de Clifford) con conteos de cúbits que van de 3 a 7. El entrenamiento utiliza PPO con hiperparámetros optimizados mediante el Estimador de Partición Estructurada en Árbol (TPE).

Resultos Clave
El agente entrenado fue evaluado en un conjunto de prueba diverso de 40,412 circuitos (dentro de la distribución) y se comparó contra varias secuencias por defecto de PyTKET (FullPeepholeOptimise, QuantinuumDefaultTwo, QuantinuumDefaultThree) e pasadas individuales de alto rendimiento.

• Desempeño: El agente de RL logró una recompensa acumulada media (fracción de puertas de dos cúbits eliminadas) del 57.7% y una mediana de 56.7%. Esto superó a la siguiente mejor secuencia por defecto (QuantinuumDefaultTwo), que logró una media de 41.8% y una mediana de 50.0%.
• Adaptabilidad: El agente generó con éxito secuencias personalizadas para diferentes clases de circuitos. Por ejemplo, en circuitos Ordered-Clifford-SU4, el agente identificó correctamente una secuencia que involucra CliffordSimp seguido de KAKDecomposition en el 99.2% de los casos, demostrando la capacidad de retrasar recompensas inmediatas para permitir optimizaciones posteriores mejores.
• Generalización: El modelo se generalizó a circuitos "fuera de la distribución" más grandes que los vistos en el entrenamiento (hasta 12 cúbits y 450 puertas de dos cúbits), manteniendo un desempeño comparable a los resultados dentro de la distribución. También demostró eficacia en circuitos muy grandes (100 cúbits).
• Eficiencia vs. Búsqueda: Al compararse con optimizadores basados en búsqueda de haz (beam-search) (que generan secuencias personalizadas mediante búsqueda exhaustiva o voraz), el modelo de RL produjo un número de puertas de dos cúbits reducido comparable o superior, pero con un tiempo de ejecución significativamente menor. Mientras que los métodos de búsqueda escalan pobremente con el tamaño del espacio de acción y la profundidad de búsqueda, el tiempo de inferencia del modelo de RL escala solo con la profundidad de la secuencia, lo que lo hace más escalable.

Significado y Reivindicaciones
El artículo afirma que este enfoque resuelve la dificultad de orquestar manualmente las pasadas de optimización mediante la automatización de la selección de secuencias personalizadas. La importancia del trabajo radica en:

1. Superioridad sobre los Valores por Defecto: Demostrar que una política aprendida y específica del circuito supera significativamente a las secuencias de propósito general en la reducción de las puertas de dos cúbits (un indicador de ruido).
2. Escalabilidad: Mostrar que la selección basada en RL es computacionalmente más eficiente que los métodos de búsqueda para generar secuencias de pasadas personalizadas, particularmente a medida que aumenta la complejidad del circuito.
3. Reducción de la Necesidad de Pericia: Disminuir la barrera de entrada para una optimización de circuitos efectiva, ya que el agente no requiere expertos humanos para determinar el orden óptimo de las pasadas.
4. Extensibilidad: La metodología no se limita a las pasadas específicas utilizadas; el espacio de acción puede expandirse para incluir pasadas de otras librerías sin alterar el enfoque central.

Los autores señalan que, si bien el enfoque mejora las reescrituras globales, sigue estando sujeto al Problema del Orden de Fase inherente a las transformaciones globales. Sugieren que el trabajo futuro podría involucrar agentes que seleccionen regiones específicas del circuito para la reescritura (combinando optimización global y local) y expandir los conjuntos de entrenamiento para incluir circuitos reales de usuarios.