Uncovering Latent Structures in Robust Pulse Sequences: A Model-Based Reinforcement Learning Approach for Adaptable Quantum Control

Resumen Técnico: Descubrimiento de Estructuras Latentes en Secuencias de Pulsos Robustas mediante Aprendizaje por Refuerzo Basado en Modelos

Planteamiento del Problema
El control adaptativo en tiempo real de sistemas cuánticos requiere la generación rápida de pulsos de control robustos y de alta fidelidad a través de rangos continuos de condiciones operativas. Los algoritmos de optimización estándar, como el Ingeniería de Pulsos por Ascenso de Gradiente (GRAPE), resuelven cada instancia de control de forma independiente. Este enfoque "sin memoria" descarta información entre ejecuciones, lo que requiere una reinicialización y reoptimización costosas cada vez que los parámetros del sistema (por ejemplo, la desintonía de frecuencia, las inhomogeneidades de amplitud) cambian. Además, aunque el aprendizaje supervisado ofrece velocidad, está limitado por la calidad de los datos de entrenamiento precomputados y no puede superar las soluciones para las cuales fue entrenado. El Aprendizaje por Refuerzo (RL) libre de modelo evita las dependencias de datos, pero sufre de ineficiencia de muestreo y una falta de robustez física debido a su ignorancia del Hamiltoniano del sistema.

Metodología
Los autores proponen un marco de Aprendizaje por Refuerzo (RL) Basado en Modelos que integra directamente el Hamiltoniano del sistema físico en el proceso de entrenamiento. Este enfoque utiliza una única red neuronal para generar compuertas cuánticas robustas a través de toda una familia de configuraciones.

• Arquitectura y Entradas: Una red neuronal totalmente conectada toma cuatro entradas que definen una configuración de compuerta: ángulo de rotación ($\beta$), duración del pulso ($T_P$), rango de desintonía objetivo ($\Delta\delta$) y rango de inhomogeneidad de amplitud objetivo ($\Delta s$). La red genera un perfil de fase dependiente del tiempo $\phi(t)$ para una amplitud nominal constante.
• Bucle de Entrenamiento: La red genera un pulso de control, el cual se aplica al Hamiltoniano del sistema dentro de una simulación de física diferenciable. La simulación computa el propagador $U(T, \xi_m)$ para un conjunto de parámetros del sistema $\xi_m$ muestreados desde una rejilla de robustez. La infidelidad $J$ se calcula contra una unidad objetivo $U_T$ y se propaga hacia atrás a través de todo el grafo computacional (desde la infidelidad hasta los pesos de la red) utilizando diferenciación automática (AD).
• Robustez y Suavizado: Para asegurar la viabilidad experimental, la función de pérdida promedia la infidelidad sobre una rejilla de variaciones de desintonía y amplitud. Se aplica un filtro de media móvil exponencial (EMA) bidireccional a la secuencia de fase de salida para suprimir oscilaciones de alta frecuencia preservando la estructura temporal y la diferenciabilidad.
• Programación de la Pérdida: Para mejorar la convergencia hacia soluciones de alta fidelidad, la función de pérdida se repondera en la etapa de ajuste fino utilizando $J^\alpha$ (con $\alpha < 1$), aumentando el peso del gradiente para las configuraciones que ya han alcanzado una alta fidelidad.
• Modelo del Sistema: El método se demuestra en un sistema de espín único (de dos niveles) impulsado por un campo externo, gobernado por un Hamiltoniano que incluye deriva, campos de control, errores de desintonía de frecuencia y escalado de amplitud.

Contribuciones Clave

1. Política de Control Generalizable: El marco entrena una única red para mapear una familia continua de configuraciones de compuertas a pulsos optimizados. Una vez entrenada, la red genera pulsos de alta fidelidad para cualquier combinación de parámetros dentro de los límites de entrenamiento en milisegundos, eliminando la necesidad de reoptimización.
2. Descubrimiento de Estructuras Latentes: Los autores demuestran que la red neuronal descubre consistentemente perfiles de fase estructurados a través del espacio de parámetros. Estas estructuras corresponden a familias de soluciones específicas en el paisaje de control que a menudo quedan ocultas en las optimizaciones GRAPE estándar debido a la inicialización estocástica y las ejecuciones de optimización independientes.
3. Simetría y Continuidad: La red revela que los pulsos óptimos exhiben variaciones estructurales suaves y continuas (por ejemplo, simetría o antisimetría respecto al punto medio del pulso) a través de las duraciones de pulso y los ángulos de rotación. Esta continuidad permite una interpolación suave entre parámetros, una propiedad que GRAPE carece por diseño.
4. Eficiencia: La red entrenada cubre todo el espacio de parámetros (ángulo de rotación, duración, desintonía, inhomogeneidad) en una sola pasada hacia adelante. Se describe que generar una cobertura equivalente con GRAPE de múltiples semillas es computacionalmente intratable a la escala evaluada.

Resultados

• Comparación de Rendimiento: Evaluado contra GRAPE de múltiples semillas (usando 1 y 20 semillas) a través de 100,000 configuraciones de compuerta, la red neuronal logra fidelidades comparables a GRAPE. Mientras que GRAPE de múltiples semillas ocasionalmente supera a la red en el régimen de menor infidelidad ($J < 10^{-4}$) al explorar más mínimos locales, la red supera consistentemente a la GRAPE de una sola semilla y se mantiene dentro de un orden de magnitud de los mejores resultados de múltiples semillas.
• Consistencia Estructural: Cuando se inicializa GRAPE utilizando la salida de la red neuronal, esta refina la solución dentro de la misma familia estructurada, confirmando que la red converge a mínimos genuinos en el paisaje de control. Las huellas de robustez (infidelidad vs. desintonía) de los pulsos generados por la red, los pulsos de GRAPE y los pulsos de GRAPE inicializados desde la red son casi idénticas, a pesar de las diferencias visibles en los perfiles de fase crudos.
• Generalización: La red interpola con éxito combinaciones de parámetros no vistos (por ejemplo, duraciones de pulso y ángulos de rotación continuos) con paisajes de fidelidad suaves, validando su capacidad de generalización más allá de la rejilla discreta de entrenamiento.
• Velocidad: La red genera pulsos en milisegundos, mientras que GRAPE de múltiples semillas requiere horas de computación para una cobertura equivalente.

Significado y Reivindicaciones
El artículo afirma que este enfoque de RL basado en modelos ofrece un paradigma fundamentalmente diferente para la optimización del control cuántico. Al integrar la física directamente en el proceso de aprendizaje, el método logra:

• Adaptabilidad: Cualquier parámetro que entre en el Hamiltoniano puede servir como entrada de la red, lo que hace que el marco sea directamente transferible a diferentes sistemas y configuraciones de control sin cambiar el procedimiento de entrenamiento.
• Perspicacia sobre los Paisajes de Control: El enfoque descubre "estructuras latentes" en el paisaje de control, específicamente familias de fases estructuradas que son consistentes a través de los parámetros. Esto sugiere que el paisaje de control contiene familias de soluciones distintas y robustas que los métodos de gradiente local (como GRAPE estándar) pueden omitir o en las que pueden saltar estocásticamente.
• Utilidad Práctica: El método permite la generación sobre la marcha de pulsos adaptados individualmente para variaciones específicas de hardware, un requisito crítico para protocolos experimentales avanzados como la transmisión paralela en RM y las calibraciones continuas de compuertas.

Los autores mantienen una postura modesta, señalando que, si bien la red es altamente eficiente y generalizable, no supera consistentemente a la GRAPE de múltiples semillas en términos de infidelidad mínima absoluta. Sin embargo, proporciona una alternativa de alta fidelidad y de utilidad práctica que equilibra el costo computacional con el rendimiento y ofrece perspectivas únicas sobre la topología del paisaje de control cuántico.