Scalable Quantum Reinforcement Learning on NISQ Devices with Dynamic-Circuit Qubit Reuse and Grover Optimization

Resumen Técnico: Aprendizaje por Refuerzo Cuántico Escalable en Dispositivos NISQ con Reutilización de Qubits de Circuitos Dinámicos y Optimización de Grover

1. El Problema

El Aprendizaje por Refuerzo Cuántico (QRL) tiene el potencial de superar las limitaciones computacionales del aprendizaje clásico, especialmente en la exploración de espacios de estados complejos. Sin embargo, los enfoques anteriores de QRL totalmente cuántico (donde el agente, el entorno y el aprendizaje ocurren nativamente en el dominio cuántico) enfrentan una barrera de escalabilidad crítica: la dependencia lineal del número de qubits físicos con respecto a la profundidad del horizonte de interacción ($T$).

En las arquitecturas estáticas anteriores (como la propuesta en referencia [7]), cada paso de interacción agente-entorno requería un conjunto independiente de registros cuánticos. Para un proceso de decisión de Markov cuántico (QMDP) con $T$ pasos, esto requería $7 \times T$ qubits (7 qubits por paso). En el régimen de computación cuántica de escala intermedia ruidosa (NISQ), donde el número de qubits funcionales es limitado y el ruido es alto, esta escalabilidad lineal hace que los problemas de planificación a largo plazo sean inviables, ya que los recursos necesarios exceden rápidamente la capacidad del hardware disponible.

2. Metodología

Los autores proponen un marco unificado que integra tres componentes principales para eliminar la escalabilidad lineal:

• Modelo de Ejecución Dinámica (Circuitos Dinámicos): En lugar de "desenrollar" estáticamente todo el horizonte temporal en un solo circuito gigante, el marco utiliza circuitos dinámicos. Esto permite realizar mediciones y reinicios a mitad del circuito (mid-circuit measurement and reset).

  • En cada paso de tiempo $t$, el agente y el entorno interactúan coherente dentro de un registro fijo de qubits.
  • Tras la interacción, los qubits de estado, acción, siguiente estado y recompensa se miden.
  • Los resultados se almacenan en memoria clásica para reconstruir la trayectoria, y los qubits físicos se reinician y reutilizan para el siguiente paso $t+1$.
  • Solo el registro de retorno acumulado ($qReturn$) se mantiene coherente a lo largo de todo el horizonte para la optimización final.

• Codificación del QMDP:

  • Los estados y acciones se codifican en superposición cuántica.
  • Las transiciones de estado se modelan mediante rotaciones controladas ($R_y(\theta)$) que mapean las probabilidades de transición clásicas a amplitudes cuánticas.
  • Las recompensas se codifican mediante puertas CNOT condicionadas al siguiente estado.

• Optimización de Trayectorias con Grover:

  • Una vez generadas las trayectorias y acumuladas las recompensas en el registro $qReturn$, se utiliza el algoritmo de Grover (amplificación de amplitud).
  • Se construye un oráculo que marca las trayectorias que alcanzan el retorno óptimo (valor máximo).
  • La amplificación de amplitud aumenta la probabilidad de medir estas trayectorias óptimas, permitiendo identificar la política óptima sin necesidad de post-procesamiento clásico exhaustivo.

3. Contribuciones Clave

1. Cambio de Paradigma en la Escalabilidad de Recursos: Demuestran que la escalabilidad lineal de los qubits no es una propiedad intrínseca de los MDP cuánticos, sino una consecuencia de la construcción de circuitos estáticos. Transforman la complejidad de qubits de $O(T)$ a $O(1)$ (constante), independientemente de la longitud del horizonte de interacción.
2. Modelo de Ejecución Dinámica Correcto: Introducen un modelo de QMDP basado en circuitos dinámicos que preserva la fidelidad de la trayectoria. Validan que la reutilización de qubits mediante medición y reinicio reproduce exactamente la distribución de trayectorias y la estructura de la política óptima de la formulación estática, sin aproximaciones heurísticas.
3. Integración Nativa Cuántica: Unifican la evaluación de trayectorias y la identificación de políticas en un solo proceso cuántico nativo, eliminando la conversión de datos cuántico-clásica intermedia y manteniendo la paralelización cuántica.
4. Validación en Hardware Real: Implementan y ejecutan el marco en un procesador cuántico real de la clase IBM Heron (ibm_toronto), demostrando la viabilidad práctica en hardware NISQ.

4. Resultados

• Reducción de Recursos: En una simulación de un entorno con 3 pasos de interacción ($T=3$), la implementación dinámica requiere solo 7 qubits físicos, mientras que la implementación estática requeriría 21 qubits. Esto representa una reducción del 66% en el uso de qubits.
• Fidelidad de la Trayectoria: Las simulaciones ideales confirman que la distribución de trayectorias generada por el circuito dinámico coincide exactamente con la del circuito estático, incluyendo las probabilidades de transición, las acciones seleccionadas y las recompensas.
• Ejecución en Hardware: La ejecución en el procesador IBM Heron demostró que el marco es funcional en hardware ruidoso. Aunque el ruido afecta la distribución de conteos, las trayectorias óptimas (T-151 y T-143, con retorno máximo '1000') fueron detectadas y amplificadas exitosamente, validando la corrección del algoritmo de Grover dentro de la arquitectura dinámica.
• Identificación de Política: El algoritmo identificó correctamente la política óptima: acción $a_0$ en estado $s_0$, y acción $a_1$ en estados $s_2$ y $s_3$, coincidiendo con los resultados de la base de referencia estática.

5. Significado e Impacto

Este trabajo es fundamental para el avance del Aprendizaje por Refuerzo Cuántico en la era NISQ. Al desacoplar la profundidad de la interacción (horizonte de planificación) del ancho del hardware (número de qubits), el marco permite abordar problemas de decisión secuencial a largo plazo que antes eran imposibles de ejecutar en dispositivos cuánticos actuales debido a la escasez de qubits.

La demostración de que la reutilización de qubits es una transformación arquitectónica que preserva la corrección (y no una aproximación) abre la puerta a la implementación de agentes cuánticos nativos en problemas complejos del mundo real. Además, la integración exitosa de la búsqueda de Grover dentro de un circuito dinámico sugiere que la optimización cuántica puede realizarse eficientemente en hardware ruidoso, estableciendo una base sólida para sistemas de toma de decisiones cuánticos escalables en el futuro cercano.