Resumen Técnico: Aprendizaje por Refuerzo de Acción Híbrida para la Búsqueda de Arquitecturas Cuánticas (HyRLQAS)

1. Planteamiento del Problema

En la era de la Computación Cuántica de Escala Intermedia con Ruido (NISQ), los algoritmos cuánticos variacionales (VQAs), como el Eigensolver Cuántico Variacional (VQE), dependen fuertemente del diseño de Circuitos Cuánticos Parametrizados (PQCs). Si bien el Aprendizaje por Refuerzo (RL) ha emergido como un marco prometedor para la Búsqueda de Arquitecturas Cuánticas (QAS) para automatizar el diseño de PQCs, los métodos existentes sufren tres limitaciones principales:

1. Desacoplamiento de Espacios Discretos y Continuos: Los enfoques actuales suelen separar la colocación de puertas discretas (topología) de la optimización de parámetros continuos. A menudo tratan la inicialización de parámetros como un paso externo y separado, ignorando la interacción entre la estructura del circuito y la inicialización de parámetros.
2. Ciclos de Optimización Ineficientes: En la QAS basada en RL estándar, se invoca un optimizador clásico externo de forma independiente en cada episodio para refinar los parámetros. Esto impide la reutilización de la experiencia relacionada con los parámetros a través de los episodios y conduce a una optimización ineficiente con un número excesivo de iteraciones.
3. Sensibilidad del Optimizador: El rendimiento suele estar limitado por la sensibilidad de los optimizadores externos a los problemas de inicialización y entrenabilidad (por ejemplo, mesetas barrenas o barren plateaus) en profundidades de circuito mayores.

2. Metodología: HyRLQAS

Los autores proponen HyRLQAS (Aprendizaje por Refuerzo de Acción Híbrida para la Búsqueda de Arquitecturas Cuánticas), un marco unificado que aborda estos problemas mediante el aprendizaje conjunto de la colocación de puertas y la inicialización de parámetros dentro de un espacio de acción híbrido discreto-continuo.

2.1. Visión General del Marco

HyRLQAS formula la QAS como un Proceso de Decisión de Markov (MDP) donde un agente construye secuencialmente un circuito cuántico.

• Estado ($s_t$): Representa el circuito parcialmente construido, codificado mediante una representación basada en tensores que captura los tipos de puertas, las ubicaciones y los valores de los parámetros actuales.
• Acción ($a_t$): Una acción híbrida que consiste en:
  • Componente Discreto ($z_t$): Selecciona el tipo (por ejemplo, $R_X, R_Y, R_Z$, CNOT) y la ubicación de la puerta a insertar.
  • Componente Continuo ($x_t$): Define el ángulo de rotación inicial para la nueva puerta parametrizada insertada.
• Mecanismo de Refinamiento: Crucialmente, cuando se añade una nueva puerta, el agente también predice un incremento continuo ($\Delta x_t$) para actualizar los parámetros de las puertas colocadas previamente. Esto permite el refinamiento dinámico de la parametrización de todo el circuito a medida que este crece, manteniendo la consistencia con la topología en evolución.

2.2. Recompensa y Entrenamiento

• Señal de Recompensa: El agente se entrena en un entorno VQE. Después de cada extensión del circuito, un optimizador clásico externo (COBYLA) refina todos los parámetros para minimizar la energía del estado fundamental molecular. La energía resultante $E_t$ se transforma en una señal de recompensa.
  • Se asignan recompensas terminales basadas en si la energía cae por debajo de un umbral dinámico $\xi$.
  • Las recompensas por paso proporcionan retroalimentación proporcional a la mejora relativa de la energía.
• Optimización de la Política: El marco utiliza una política híbrida $\pi(z, x | s) = \pi_d(z|s)\pi_a(x|s)$, optimizada mediante el algoritmo REINFORCE. La red de la política incluye una cabeza discreta para la selección de puertas y cabezas continuas para la inicialización de parámetros y los incrementos de refinamiento.
• Aprendizaje por Currículo: El umbral $\xi$ se ajusta dinámicamente según el progreso del agente, permitiendo que la dificultad de la tarea aumente gradualmente.

2.3. Análisis Teórico

Los autores analizan la dinámica de optimización utilizando el Kernel de Tangente Neuronal Cuántica (QNTK) y su variante dinámica (dQNTK). Hipotetizan que la inicialización guiada por la política mejora el condicionamiento del paisaje de optimización, facilitando una mejor propagación de gradientes y convergencia en comparación con la inicialización aleatoria o de cero.

3. Contribuciones Clave

1. Marco Unificado de Acción Híbrida: HyRLQAS es el primer marco de QAS que busca conjuntamente estructuras de circuitos (acciones discretas) e inicializaciones de parámetros (acciones continuas) bajo una única política, capturando la interacción entre topología y parámetros.
2. Inicialización y Refinamiento Guiados por la Política: El método introduce un mecanismo para proporcionar inicializaciones de parámetros informadas para los optimizadores externos e incluye una "cabeza de refinamiento" para ajustar retroactivamente los parámetros de las puertas existentes. Esto reduce la dependencia de los optimizadores externos y disminuye el número de iteraciones requeridas.
3. Análisis Basado en QNTK: El artículo proporciona una explicación fundamentada de las mejoras de rendimiento observadas, demostrando que la inicialización guiada por la política mejora el condicionamiento del kernel y la propagación de gradientes, lo que conduce a una optimización más estable.
4. Evaluación Exhaustiva: Experimentos extensos en bancos de pruebas moleculares VQE estándar (LIH, BeH$_2$, H$_2$O) demuestran que HyRLQAS supera a las líneas base de vanguardia (incluyendo CRLQAS, TensorRL y enfoques diferenciables) en términos de error de energía, profundidad de circuito y conteo de puertas.

4. Resultados Experimentales

Los experimentos se realizaron en sistemas moleculares con 4, 6 y 8 qubits (LIH, BeH$_2$, H$_2$O) en la base STO-3G.

• Rendimiento: HyRLQAS logró una convergencia de nivel de precisión química (error de energía hasta $10^{-8}$) en LIH-4, superando significativamente a los métodos existentes que típicamente se estancan en el rango de $10^{-5}$ a $10^{-4}$.
• Eficiencia: El método logró errores de energía más bajos utilizando menos puertas y circuitos más superficiales en comparación con las líneas base.
• Reducción del Optimizador: La inicialización guiada por la política redujo el número de iteraciones de COBYLA necesarias para la convergencia en un 33% (LIH-4) y un 46% (LIH-6).
• Estudios de Ablación:
  • Eliminar el espacio de acción híbrida (solo discreto) degradó significativamente el rendimiento, confirmando la importancia del aprendizaje conjunto.
  • Desactivar la cabeza de refinamiento provocó una mayor caída en la precisión, resaltando la necesidad de actualizar los parámetros existentes a medida que el circuito crece.
  • Eliminar el optimizador externo causó una degradación marcada, indicando que HyRLQAS identifica principalmente regiones iniciales de alta calidad, mientras que el optimizador externo realiza el ajuste fino local necesario.
• Hallazgos de QNTK: El análisis mostró que la inicialización guiada por la política con refinamiento resulta en una distribución más aguda y concentrada del segundo orden del QNTK ($K_2$), lo que indica un paisaje de optimización más suave y mejor condicionado en comparación con la inicialización de cero o aleatoria.

5. Significado y Reivindicaciones

El artículo afirma que HyRLQAS proporciona un mecanismo fundamentado y efectivo para acoplar el diseño de la topología del circuito con la parametrización consciente de la optimización. Al tratar la búsqueda de arquitectura como un problema de acción híbrida, el método supera las limitaciones de los enfoques desacoplados.

Los autores enfatizan que las ganancias de rendimiento no se deben simplemente a encontrar circuitos más profundos o expresivos, sino que emanan de la sinergia entre la búsqueda estructural y la parametrización informada. La inicialización guiada por la política "precalienta" eficazmente el proceso de optimización, reduciendo la carga sobre los optimizadores clásicos y mitigando los problemas de entrenabilidad.

El trabajo concluye que el aprendizaje por refuerzo de acción híbrida es una vía viable hacia la automatización del diseño de circuitos cuánticos variacionales robustos y eficientes para dispositivos NISQ, con trabajos futuros que podrían explorar enfoques totalmente de extremo a extremo que podrían eliminar por completo la necesidad de optimizadores externos.