Post-Error Correction for Quantum Annealing Processor using Reinforcement Learning

Resumen Técnico: Corrección de Errores Post-Procesamiento para Procesadores de Recocido Cuántico mediante Aprendizaje por Refuerzo

Planteamiento del Problema
Encontrar el estado fundamental del vidrio de espín de Ising es un problema fundamental NP-duro en la física de la materia condensada con amplias aplicaciones en optimización combinatoria, incluyendo el problema del viajero de comercio y el plegamiento de proteínas. Si bien el recocido cuántico (QA) es un paradigma bien adaptado para resolver problemas de Optimización Binaria Cuadrática No Restringida (QUBO), los dispositivos comercialmente disponibles (específicamente el D-Wave 2000Q) sufren errores inherentes. Estos incluyen ruido térmico que causa decoherencia y errores de control de programación en los coeficientes de acoplamiento ($J_{i,j}$) y sesgos ($h_i$). En consecuencia, el QA a menudo falla en encontrar los verdaderos estados de baja energía, lo que requiere un esquema de corrección de errores de post-procesamiento para reducir la energía de los estados emitidos por el recocedor.

Metodología
Los autores proponen un marco de post-procesamiento llamado Simulated Annealing with Reinforcement (SAwR). Este enfoque combina el aprendizaje por refuerzo profundo (RL) con el recocido simulado clásico (SA) para corregir los errores en las salidas de QA sin requerir la sobrecarga de múltiples cúbits físicos por cada cúbit lógico (a diferencia de la corrección de errores cuánticos tradicional).

1. Formulación del Aprendizaje por Refuerzo (RL):

   • Estado ($s$): Representa la instancia de Ising, incluyendo la configuración de espín $\sigma$, las fuerzas de acoplamiento $\{J_{i,j}\}$ y los campos magnéticos externos $\{h_i\}$.
   • Acción ($a$): Voltear un solo espín $i$ (cambiar $\sigma_i$ de $+1$ a $-1$ o viceversa). Cada espín puede ser volteado como máximo una vez por episodio.
   • Recompensa ($r$): El cambio en la energía ($\Delta E$) resultante del volteo del espín.
   • Objetivo: El agente aprende una política para maximizar el retorno esperado, aprendiendo efectivamente una estrategia para voltear espines secuencialmente para alcanzar un estado de menor energía.

2. Arquitectura del Modelo (inspirada en DIRAC):
   El sistema utiliza una Red Neuronal de Grafos (GNN) basada en la arquitectura DIRAC para codificar la instancia de Ising.

   • Codificación: La instancia de Ising se trata como un grafo donde los acoplamientos son pesos de aristas y los espines/sesgos son pesos de nodos. Una Red Neuronal de Vidrio de Espín (SGNN) modificada realiza el paso de mensajes mediante actualizaciones centradas en aristas y en nodos para generar incrustaciones (embeddings) de vectores de baja dimensión para cada nodo (espín) y el estado global.
   • Decodificación: Una red neuronal de alimentación hacia adelante (feed-forward) toma la concatenación de la incrustación del estado y una incrustación de acción específica (nodo) para producir un valor Q, estimando la recompensa futura esperada por voltear ese espín específico.

3. El Procedimiento SAwR:
   El algoritmo comienza con el Recocido Simulado estándar. A medida que la temperatura baja, el criterio de Metropolis-Hastings (que acepta probabilísticamente movimientos que aumentan la energía) es reemplazado por una única pasada del agente de RL entrenado. El agente selecciona los espines para voltear basándose en los valores Q más altos, registrando el estado de energía después de cada paso. La solución final se define como el estado de menor energía encontrado durante este procedimiento.

Contribuciones Clave

• Esquema de Post-Procesamiento Novedoso: Introducción de SAwR, que integra el aprendizaje por refuerzo profundo con el recocido simulado para corregir los errores de QA.
• Escalabilidad: El método demuestra una excelente escalabilidad. El modelo es entrenado en instancias pequeñas de Chimera (específicamente $C_3$, 72 espines) y se despliega con éxito en instancias significativamente más grandes ($C_{16}$, 2048 espines) sin necesidad de reentrenamiento, aprovechando las capacidades de codificación a nivel de grafo de la GNN.
• Adaptación de la Arquitectura: Adaptación de la arquitectura DIRAC a las restricciones específicas y la topología del grafo Chimera del D-Wave 2000Q.

Resultados Experimentales
Los autores evaluaron SAwR contra el Recocido Simulado estándar y un procedimiento de un solo paso de volteo de espín (el modelo de RL actuando solo) en 500 instancias de Ising aleatorias a través de cuatro tamaños de Chimera ($C_4$ a $C_{16}$).

• Probabilidad de Éxito: SAwR mostró una probabilidad ligeramente menor de encontrar un estado de menor energía en comparación con el Recocido Simulado estándar. Esta diferencia fue consistente en todos los tamaños de sistema, lo que sugiere una varianza sistémica en lugar de una aleatoria.
• Magnitud de la Mejora: En promedio, SAwR fue capaz de encontrar un estado de baja energía mejor que el SA estándar, aunque la diferencia no fue estadísticamente significativa.
• Rendimiento de un Solo Paso: El agente de RL independiente (una sola pasada de volteo de espín) tuvo un desempeño deficiente, logrando solo una tasa de éxito de aproximadamente el 1%, lo que resalta la necesidad de combinar el RL con las capacidades de búsqueda más amplias del Recocido Simulado.

Significancia y Reivindicaciones
El artículo posiciona a SAwR como una "prueba de concepto" que demuestra que el aprendizaje por refuerzo puede aplicarse para corregir los errores de los salidas de recocedores cuánticos. Los autores reconocen explícitamente que el rendimiento de SAwR en el grafo Chimera es actualmente inferior a algoritmos típicos como el Recocido Simulado estándar.

La significancia no reside en un superamiento inmediato, sino en la demostración de la escalabilidad y la viabilidad de usar RL para la corrección de errores post-procesamiento. Los autores señalan que la complejidad del grafo Chimera del mundo real (comparado con las redes regulares utilizadas en estudios previos de DIRAC) probablemente contribuye a la brecha de rendimiento. Concluyen que, si bien los resultados actuales son modestos, el uso de aprendizaje por refuerzo para la corrección de errores post-procesamiento sigue siendo una "vía de investigación abierta y prometedora", particularmente a medida que los sistemas de D-Wave evolucionan hacia topologías más complejas como Pegasus y Zephyr. Se sugiere como trabajo futuro explorar cambios arquitectónicos (por ejemplo, separar el entrenamiento del codificador y el decodificador) y algoritmos de RL alternativos (por ejemplo, métodos asíncronos o Búsqueda de Árbol de Monte Carlo).