Investigation of Automated Design of Quantum Circuits for Imaginary Time Evolution Methods Using Deep Reinforcement Learning

Resumen Técnico

1. Planteamiento del Problema

La búsqueda eficiente del estado fundamental es crucial para problemas de optimización combinatoria y química cuántica. Sin embargo, la implementación de algoritmos como la Evolución en Tiempo Imaginario Variacional (VITE) en dispositivos cuánticos de escala intermedia ruidosa (NISQ) enfrenta limitaciones severas debido al ruido y la decoherencia.

• Desafío Principal: Los ansatz (estructuras de circuitos) diseñados manualmente suelen tener un número excesivo de puertas y una profundidad de circuito elevada, lo que los hace imprácticos para hardware actual.
• Limitaciones de Métodos Previos: Los enfoques basados en Aprendizaje por Refuerzo (RL) anteriores se han centrado principalmente en VQE y QAOA. A menudo carecen de incentivos explícitos en su función de recompensa para reducir el tamaño del circuito, lo que lleva a arquitecturas redundantes y excesivamente profundas. Además, el método VITE ha sido poco explorado en el contexto del diseño automatizado de ansatz.

2. Metodología

Los autores proponen un marco automatizado que utiliza Redes de Doble Q-Profundo (DDQN) para diseñar circuitos cuánticos para VITE, tratando la construcción del circuito como un problema de optimización multiobjetivo.

• Enfoque de Aprendizaje por Refuerzo (RL):

  • Agente: Un agente autónomo que construye el circuito paso a paso.
  • Espacio de Acciones: Añadir una puerta cuántica de un conjunto definido $\{R_x, R_y, R_z, I, \text{CNOT}\}$.
  • Estado ($S_t$): La configuración actual del circuito.
  • Recompensa ($R_t$): Diseñada para minimizar simultáneamente el valor esperado de la energía y la complejidad del circuito (número de puertas).
  • Estrategia de Exploración: Se utiliza una política $\epsilon$-greedy con una función de decaimiento modificada que mantiene una tasa de exploración constante por episodio para evitar convergencias prematuras.

• Mecanismos Clave de Optimización:

  1. Umbral Adaptativo (Adaptive Thresholding): Para guiar al agente hacia estados de energía más bajos sin quedar atrapado en mínimos locales, el umbral de energía exitoso ($E_{threshold}$) se actualiza dinámicamente. Se basa en la mejor energía encontrada hasta el momento ($E_{best}$) más un margen pequeño, permitiendo al agente explorar configuraciones que podrían tener una energía temporalmente mayor pero que conducen a estructuras de circuito más eficientes.
  2. Función de Recompensa Refinada: Se introduce una normalización basada en un límite teórico inferior de energía ($E_{bound}$) derivado de los coeficientes de Pauli del Hamiltoniano, eliminando la necesidad de conocer el estado fundamental exacto de antemano. Esto equilibra la recompensa por reducción de energía con la recompensa por compacidad del circuito.

• Restricciones Estructurales:

  • Las puertas de un solo qubit idénticas no pueden colocarse consecutivamente.
  • Las puertas CNOT están restringidas a qubits vecinos (control en $q_i$, objetivo en $q_{i+1}$) para evitar sobrecostos de intercambio (SWAP).

3. Contribuciones Clave

• Primera aplicación de DDQN a VITE: Presentan un marco automatizado específico para el diseño de circuitos VITE, un área previamente subexplorada.
• Optimización Multiobjetivo Efectiva: Demuestran que es posible minimizar simultáneamente la energía y la complejidad del circuito mediante una función de recompensa bien diseñada y umbrales adaptativos.
• Descubrimiento de Estructuras No Intuitivas: El agente descubre circuitos que superan a los ansatz estándar de eficiencia de hardware (Hardware-Efficient Ansatz), eliminando redundancias que los diseñadores humanos podrían pasar por alto.
• Extracción de "Esqueletos" Funcionales: Analizan los circuitos generados para identificar patrones comunes y extraer una estructura mínima esencial ("esqueleto") que mantiene la precisión química.

4. Resultados

El marco se evaluó en dos problemas: el problema Max-Cut (optimización combinatoria) y la simulación del estado fundamental del hidrógeno molecular ($H_2$).

• Problema Max-Cut (4 qubits):

  • El agente descubrió circuitos con aproximadamente un 37% menos de puertas y un 43% menos de profundidad en comparación con el ansatz estándar de eficiencia de hardware.
  • Se encontró un circuito óptimo con solo 4 puertas y profundidad 1, logrando una reducción del 79% en puertas y 86% en profundidad respecto a la línea base.

• Molécula de Hidrógeno ($H_2$):

  • Desafío Inicial: Con un entrenamiento limitado y umbrales laxos, el agente convergía a la aproximación de Hartree-Fock en lugar del valor exacto Full-CI, priorizando la reducción de puertas sobre la precisión energética.
  • Solución con Umbrales Adaptativos: Tras refinar la función de recompensa y el mecanismo de umbral adaptativo, la tasa de éxito para encontrar circuitos que alcanzan el límite Full-CI (precisión química) aumentó drásticamente, pasando de 0.38% a **8.91%**.
  • Eficiencia: Los circuitos que alcanzaron la precisión química mostraron una reducción del 31% en el número de puertas y del 37% en la profundidad en comparación con el ansatz de referencia ($p=2$).
  • Análisis de Esqueleto: Al analizar múltiples circuitos exitosos, los autores identificaron una estructura común mínima (7 puertas, profundidad 4) que también alcanza el valor Full-CI, representando una reducción del 77% en puertas respecto a la línea base.

5. Significado y Conclusión

Este trabajo demuestra que el Aprendizaje por Refuerzo Profundo (DRL) es una herramienta poderosa para el diseño de algoritmos cuánticos no unitarios como VITE.

• Impacto en Hardware NISQ: Al reducir significativamente la profundidad y el número de puertas, los circuitos generados son más robustos frente al ruido, lo que es vital para la ejecución en hardware real.
• Guía para Diseño Futuro: Más allá de ser un solucionador en tiempo real, el marco sirve como un generador de datos de alta calidad para modelos de aprendizaje supervisado y como una herramienta heurística para establecer guías de diseño universales para ansatz compactos.
• Escalabilidad: Aunque el entrenamiento actual es computacionalmente costoso (semanas para 10 ejecuciones), los autores proponen que los patrones extraídos ("esqueletos") pueden generalizarse para diseñar circuitos eficientes para sistemas más grandes y problemas diversos en química cuántica y optimización.

En resumen, la investigación establece un camino viable hacia el diseño automatizado, consciente del hardware y optimizado, de algoritmos cuánticos, superando las limitaciones de los diseños manuales tradicionales.