Graph Reinforcement Learning for Calibration-Aware Quantum Circuit Routing

Este artículo presenta un enfoque de aprendizaje por refuerzo de grafos consciente de la calibración para el enrutamiento de circuitos cuánticos que, al aprovechar los datos de calibración del hardware en tiempo real y la optimización de política próxima, logra una fidelidad simulada significativamente mayor que los métodos estándar basados en SABRE en circuitos pequeños y medianos, a pesar de incurrir en un mayor número de puertas de dos cúbits.

Lo esencial

Imagina que estás tratando de guiar a un equipo de repartidores (los datos cuánticos) a través de una ciudad masiva y caótica (la computadora cuántica) para entregar paquetes (realizar cálculos).

En el pasado, las aplicaciones de navegación para estas ciudades cuánticas solo se preocupaban por una cosa: la distancia. Le decían a los repartidores: "Toma la ruta más corta, incluso si eso significa conducir sobre un puente lleno de baches o a través de una zona de construcción". La lógica era simple: menos millas recorridas equivale a menos desgaste.

Sin embargo, este artículo argumenta que en el mundo real de las computadoras cuánticas, la distancia no lo es todo. A veces, una ruta ligeramente más larga que evita un puente roto es mucho mejor porque hace que el paquete llegue a su destino en mejores condiciones.

Aquí hay un desgido de lo que hicieron los investigadores, utilizando analogías simples:

El Problema: La ruta "perfecta" frente a la ruta "real"

Las computadoras cuánticas son como ciudades donde la calidad de las carreteras (las conexiones entre las partes de la computadora) cambia constantemente. Algunas carreteras son suaves y rápidas; otras son accidentadas y propensas a romperse. Esta calidad se llama "calibración".

Los viejos sistemas de navegación (como el algoritmo estándar SABRE mencionado en el artículo) son como aplicaciones de GPS que solo miran un mapa. Dicán: "Ve por aquí porque son 5 millas". No saben que la carretera de 5 millas está actualmente inundada, mientras que la de 6 millas está seca.

La Solución: Un GPS "consciente de la calibración"

Los autores crearon un nuevo sistema de navegación más inteligente utilizando Aprendizaje por Refuerzo de Grafos (Graph Reinforcement Learning). Piensa en esto como un GPS que no solo mira el mapa, sino que también revisa el reporte de tráfico en vivo y el pronóstico del clima para cada una de las carreteras antes de tomar una decisión.

• El "Cerebro": Entrenaron una IA (usando un método llamado Optimización de Política Próxima o Proximal Policy Optimization) para actuar como el navegante.
• La Entrada: Antes de decirle a los repartidores a dónde ir, la IA observa:
  1. La lista de entregas restante (el circuito).
  2. Dónde están estacionados los repartidores actualmente (el posicionamiento o placement).
  3. El reporte de salud en vivo de cada carretera (los datos de calibración del chip IBM Heron r2).
• La Estrategia: La IA está dispuesta a tomar una ruta ligeramente más larga (añadiendo más operaciones "SWAP", que son como desvíos) si eso significa evitar una carretera que se sabe que está rota o tiene mucho ruido.

El Experimento: Una carrera contra la vieja forma

Los investigadores probaron su nuevo navegador de IA contra dos sistemas de GPS de la "vieja escuela" ya establecidos:

1. SABRE-best20: El navegador estándar, enfocado en la distancia.
2. SABRE consciente del objetivo (Target-aware SABRE): Una versión un poco más inteligente que conoce el mapa pero no utiliza los datos de tráfico en vivo de manera tan efectiva.

Realizaron la prueba en nueve diferentes "rutas de entrega" (circuitos cuánticos) de distintos tamaños (5, 8 y 10 paradas) utilizando datos en tiempo real del hardware cuántico de IBM.

Los Resultados: Calidad sobre Cantidad

Los resultados fueron una clara victoria para la nueva IA, pero con un giro:

• La Gran Victoria: En rutas de tamaño pequeño y mediano (5 y 8 paradas), las rutas de la IA fueron mucho más exitosas. Los "paquetes" llegaron en condiciones mucho mejores.
  • La Puntuación: La IA logró una "fidelidad" (tasa de éxito) de 0.727, mientras que los métodos antiguos puntuaron alrededor de 0.440 y 0.481. Es un salto enorme en calidad.
• La Compensación: Para obtener esta alta calidad, la IA tomó más pasos. Añadió unos 8 desvíos extra (puertas de dos cúbits) y hizo la ruta ligeramente más profunda.
  • La Lección: Tomar unos pocos pasos extra para evitar un puente roto vale la pena si eso salva la carga.
• La Limitación: En las rutas más grandes (10 paradas), la IA no lo hizo tan bien. ¿Por qué? Porque el "mapa de la ciudad" que se le dio tenía una forma de árbol rígida con muy pocos caminos alternativos. Cuando no hay desvíos buenos disponibles, la IA no pudo ser más inteligente que el viejo GPS enfocado en la distancia.

La Conclusión

Este artículo demuestra que para las computadoras cuánticas, saber el estado actual del hardware es más importante que simplemente contar el número de pasos.

Al enseñar a una IA a mirar el "tráfico en vivo" (datos de calibración) y elegir rutas que eviten "puentes rotos" (acopladores con ruido), incluso si esas rutas son ligeramente más largas, podemos obtener mejores resultados. Es un cambio de preguntar "¿Cuál es el camino más corto?" a preguntar "¿Cuál es el camino más seguro?".

Resumen técnico

Resumen Técnico: Aprendizaje por Refuerzo de Grafos para el Enrutamiento de Circuitos Cuánticos Consciente de la Calibración

Planteamiento del Problema
El enrutamiento de circuitos cuánticos es una etapa de compilación crítica para los dispositivos de Escala Intermedia con Ruido (NISQ), donde los circuitos lógicos deben mapearse a un hardware físico con conectividad dispersa. Las estrategias de enrutamiento tradicionales suelen optimizar métricas de sobrecarga estándar, como la minimización del número de operaciones SWAP o la profundidad del circuito. Sin embargo, los autores argumentan que, en hardware calibrado, estas métricas son insuficientes. Dos rutas con sobrecargas similares pueden atravesar acopladores físicos con tasas de error notablemente distintas, lo que conduce a diferencias significativas en la fidelidad del estado final. Una ruta con más puertas puede, de hecho, preservar mejor el estado ideal si evita los acopladores mal calibrados. El desafío central es desarrollar una política de enrutamiento que utilice datos de calibración del mismo día para maximizar la fidelidad del estado simulada de forma exacta, incluso si esto requiere la inserción de puertas adicionales de dos qubits.

Metodología
Los autores proponen un enrutador de aprendizaje por refuerzo (RL) de grafos consciente de la calibración, entrenado mediante la Optimización de Política Próxima (PPO). El enfoque modela el enrutamiento como un proceso de toma de decisiones secuenciales en un grafo de backend calibrado $G_B = (P, E, \kappa)$, donde $P$ representa los qubits físicos, $E$ los acopladores ejecutables y $\kappa$ los datos de instantánea de calibración (incluyendo errores de lectura, de uno y dos qubits, y tiempos de coherencia).

• Representación del Estado: El estado de observación $s_t$ incluye el circuito lógico restante, la ubicación actual no identidad de los qubits lógicos y la instantánea de calibración. Esto se codifica como un grafo donde las características de los nodos capturan el error de lectura, la coherencia, el error de dos qubits incidente y la distancia de demanda de lookahead. Los atributos de las aristas incluyen las probabilidades de error de dos qubits calibradas y una máscara de acciones legales.
• Arquitectura de la Política: La política utiliza una Red Neuronal de Grafos (GNN) con dos capas de paso de mensajes para generar incrustaciones (embeddings) de nodos. Un Perceptrón Multicapa (MLP) califica las aristas SWAP legales basándose en estas incrustaciones y en los atributos de las aristas, produciendo una distribución de probabilidad sobre los SWAP válidos mediante una función softmax enmascarada.
• Protocolo de Entrenamiento: El agente se entrena utilizando instantáneas de calibración de IBM Heron r2 (Fez, Kingston, Marrakesh) empleando nueve familias de circuitos de MQT Bench (5q, 8q y 10q).
  • Función de Recompensa: Para evitar el alto costo de la simulación exacta de la matriz de densidad durante el entrenamiento, los autores emplean una recompensa de bajo costo basada en la Probabilidad de Éxito Estimada (ESP). La función de recompensa incluye términos para reducir la distancia del camino más corto, el progreso del enrutamiento, el conteo de puertas y penalizaciones por acciones inválidas o tiempos de espera agotados (timeouts). Una recompensa terminal compara la fidelidad aproximada del agente contra un modelo base (SABRE-best20) y penaliza el exceso de costo.
  • Evaluación: La evaluación final utiliza la simulación exacta de la matriz de densidad con un modelo ruidoso (incluyendo errores de depolarización y relajación térmica) para calcular la fidelidad real del estado $F = \langle \psi | \rho | \psi \rangle$.
• Líneas Base (Baselines): El método propuesto se compara con dos líneas base reproducibles:
  1. SABRE-best20: Una heurística estándar que minimiza una función de costo de conteo de dos qubits y profundidad.
  2. SABRE Consciente del Objetivo (Target-aware): Una heurística consciente de la calibración que utiliza la información de objetivo de Qiskit y la ESP para la selección.

Resultados Clave
La evaluación se llevó a cabo a través de tres instantáneas de calibración y nueve familias de circuitos, totalizando 1,500 episodios emparejados.

• Ganancias de Fidelidad: La política aprendida logró una media agrupada de fidelidad exacta de 0.727, superando significativamente a SABRE-best20 (0.440) y a SABRE consciente del objetivo (0.481). La mejora fue estadísticamente significativa ($p < 1.5 \times 10^{-6}$).
• Compromiso de Sobrecarga (Overhead Trade-off): Las ganancias de fidelidad se produjeron a costa de una mayor sobrecarga. Las rutas aprendidas añadieron un promedio de +8.63 puertas de dos qubits y +4.61 de profundidad en comparación con SABRE-best20.
• Dependencia del Tamaño del Circuito: El rendimiento de las ganancias dependió altamente del tamaño del circuito y de la flexibilidad del grafo de acciones:
  • Familias 5q y 8q: El enrutador utilizó con éxito puertas adicionales para desviar el circuito de los acopladores no fiables, lo que resultó en mejoras sustanciales de la fidelidad.
  • Familias 10q: En el grafo de acción de árbol fijo utilizado en el estudio, las familias 10q no mostraron ganancia de fidelidad; de hecho, SABRE-best20 funcionó mejor. Los autores atribuyen esto a que la topología de árbol fijo ofrece muy pocos caminos alternativos para que el agente de RL explote eficazmente los datos de calibración.

Significancia y Reivindicaciones
El artículo afirma que el enrutamiento aprendido consciente de la calibración puede mejorar la fidelidad exacta del estado más allá de lo que es posible con la compilación impulsada por el conteo de puertas, siempre que el grafo de hardware ofrezca suficientes caminos alternativos. El estudio demuestra que:

1. Los Datos de Calibración son Críticos: Los datos de calibración del mismo día permiten que una política aprendida tome decisiones de enrutamiento que priorizan la fidelidad sobre los conteos mínimos de puertas.
2. Las Restricciones del Espacio de Acción Importan: La utilidad del enrutamiento consciente de la calibración depende de que el grafo de acción proporcione alternativas útiles. En topologías restringidas (como el árbol fijo usado para los circuitos 10q), la capacidad de elegir mejores acopladores es limitada, y las heurísticas tradicionales pueden seguir siendo superiores.
3. Limitaciones de las Métricas: El conteo de puertas y la profundidad son indicadores incompletos de la fidelidad en hardware calibrado; las rutas con mayor sobrecarga pueden producir una mayor fidelidad.

Los autores concluyen que, si bien su implementación específica es prometedora, el trabajo futuro requiere evaluar subgrafos cíclicos, circuitos no vistos (held-out) y líneas base de enrutadores aprendidos emparejados para validar completamente el enfoque. Enfatizan que las comparaciones de enrutamiento deben reportar la fidelidad y el contexto de calibración junto con las métricas de sobrecarga tradicionales.