Reinforcement Learning to Disentangle Multiqubit Quantum States from Partial Observations

Resumen Técnico: Aprendizaje por Refuerzo para el Desentrelazamiento de Estados Cuánticos Multiqubit a partir de Observaciones Parciales

Planteamiento del Problema
El artículo aborda el desafío de desentrelazar estados cuánticos multiqubit arbitrarios en estados producto utilizando un número mínimo de puertas de dos qubits. Este es el problema inverso de la preparación de estados cuánticos y es crucial para la compresión, inicialización y el análisis de complejidad de los estados cuánticos. Una dificultad primordial es el tamaño exponencial del espacio de Hilbert, lo que hace que los algoritmos de búsqueda exhaustiva sean inviables para sistemas con más de unos pocos qubits. Además, las restricciones prácticas en los dispositivos de Escala Intermedia con Ruido (NISQ) limitan el acceso a la información global del estado; típicamente, solo son factibles las mediciones locales. Los autores investigan si el conocimiento parcial de un estado cuántico —específicamente, el acceso únicamente a matrices de densidad reducida (RDM) de dos qubits— es suficiente para construir protocolos de desentrelazamiento óptimos.

Metodología
Los autores proponen un marco de Aprendizaje por Refuerzo Profundo (RL) utilizando un algoritmo de Actor-Crítico (AC), específicamente una variante de la Optimización de Política Próxima (PPO) con regularización de entropía.

• Espacio de Observación: Para cumplir con las restricciones de NISQ, el agente no observa el estado cuántico completo. En su lugar, en cada paso de tiempo $t$, el agente recibe una observación $o_t$ que consiste en todas las matrices de densidad reducida de dos qubits simetrizadas del estado actual. Esto reduce el requisito de información de exponencial a cuadrático respecto al número de qubits ($L$).
• Espacio de Acción: El agente selecciona un par de qubits $(i, j)$ sobre los cuales aplicar una puerta unitaria de dos qubits.
• Construcción de la Puerta: Una vez seleccionado el par de qubits, la puerta unitaria específica $U^{(i,j)}$ se determina analíticamente mediante la diagonalización de la RDM de dos qubits correspondiente. Esto asegura que la puerta sea localmente óptima para desentrelazar ese par específico dada la información parcial actual.
• Arquitectura de la Red: La red de política emplea una arquitectura Transformer de permutación-equivariante. Este diseño permite que el agente aprenda políticas que son invariantes a la etiqueta de los qubits, permitiéndole reconocer estructuras de entrelazamiento independientemente de cómo se permuten los qubits en el estado de entrada.
• Función de Recompensa: La señal de recompensa está diseñada para maximizar la reducción en la entropía de von Neumann promedio de un solo qubit ($S_{avg}$) mientras se penaliza el número de puertas tomadas. El objetivo es llevar $S_{avg}$ a cero (indicando un estado producto) con el menor número de pasos.
• Régimen de Entrenamiento: Para sistemas más grandes de 12 y 16 qubits, los autores emplean un proceso de entrenamiento de dos etapas. Primero, el agente es entrenado en estados producto de subsistemas pequeños para aprender el desentrelazamiento básico. Segundo, es ajustado (fine-tuning) en subsistemas débilmente entrelazados de estados de Haar-random.

Resultos Clave

• Eficiencia en Sistemas Pequeños: El agente entrenado desentrelaza con éxito estados de Haar-random de 4, 5 y 6 qubits. Para estados de Haar-random arbitrarios de 4 qubits, el agente identifica un protocolo utilizando como máximo cinco puertas de dos qubits (equivalente a 10 puertas CNOT). Para estados de Haar-random de 5 y 6 qubits, el agente requiere un promedio de 20 y 56 puertas de dos qubits, respectivamente.
• Comparación con Baselines: El agente de RL supera significativamente tanto a un agente "aleatorio" (que selecciona pares de qubits uniformemente) como a un agente "codicioso" (que selecciona el par que minimiza $S_{avg}$ localmente en cada paso). Para estados de 6 qubits, el agente de RL reduce el conteo de puertas en casi un factor de tres comparado con el agente aleatorio y aproximadamente un 22% comparado con el agente codicioso.
• Transpilación de Circuitos: Al compararse con el algoritmo determinista de Shende et al. (implementado en Qiskit), el agente de RL, actuando como una rutina de pre-transpilación, reduce drásticamente el número de puertas CNOT requeridas. Por ejemplo, para un estado de Haar-random de 4 qubits, el conteo de CNOT se redujo de 22 a 12.
• Reconocimiento de Patrones: El análisis de los protocolos aprendidos revela fuertes correlaciones temporales y espaciales. El agente a menudo identifica un qubit específico y aplica una secuencia de puertas que involucran a este antes de cambiar a otro, aprendiendo efectivamente a explotar la estructura de entrelazamiento específica del estado de entrada en lugar de aplicar una secuencia genérica.
• Escalabilidad y Resiliencia al Ruido:
  • Escalabilidad: Mientras que la simulación cuántica subyacente escala exponencialmente, el costo computacional del agente de RL escala cuadráticamente con el número de qubits.
  • Ruido: El agente demuestra robustez ante el ruido de disparo (errores estadísticos de muestreo finito en la tomografía de estado) y el ruido de despolarización. Incluso cuando es entrenado en un entorno libre de ruido, el agente desentrelaza con éxito estados en simuladores ruidosos y hardware real, siempre que el estado no esté completamente mezclado.
• Validación Experimental: El enfoque fue validado experimentalmente en una computadora cuántica de iones atrapados. El agente desentrelazó con éxito estados Bell-Bell, GHZ, W y estados de circuito poco profundos. Aunque la entropía residual permaneció debido a la decoherencia del hardware, la formación de entrelazamiento entre los qubits del sistema se redujo exitosamente a casi cero.

Significancia y Reivindicaciones
El artículo sostiene que el uso de información parcial (RDMs de dos qubits) mediante un agente de RL consciente del estado ofrece una ventaja práctica sobre los algoritmos deterministas e independientes del estado para desentrelazar estados cuánticos. Los autores enfatizan que:

1. Dependencia del Estado: A diferencia de las máquinas de desentrelazamiento universales (que no existen), el agente de RL construye protocolos dependientes del estado que se adaptan a la distribución de entrelazamiento específica, minimizando así el uso de recursos.
2. Aplicabilidad a NISQ: La dependencia de mediciones locales hace que el método sea directamente aplicable al hardware cuántico actual sin requerir la tomografía completa del estado.
3. Generalización: El agente exhibe capacidades de generalización, manejando con éxito sistemas de 12 y 16 qubits con subsistemas débilmente entrelazados, y transfiriendo las políticas aprendidas a entornos ruidosos sin necesidad de reentrenamiento.
4. Protocolo Óptimo de 4 Qubits: El análisis de las secuencias óptimas de 4 qubits conduce a un circuito general capaz de preparar cualquier estado arbitrario de 4 qubits a partir de un estado producto usando como máximo cinco unitarias de dos qubits (10 CNOTs).

Los autores concluyen que, si bien el escalamiento exponencial de los recursos es una característica inherente de la mecánica cuántica, el RL proporciona un mecanismo para optimizar el prefactor constante y descubrir protocolos eficientes para clases de estados físicamente relevantes, tales como aquellos con entrelazamiento de ley de área o entrelazamiento débil entre subsistemas.