Towards Real-time Control of a CartPole System on a Quantum Computer

Resumen Técnico: Hacia el Control en Tiempo Real de un Sistema CartPole en una Computadora Cuántica

Enunciado del Problema
La aplicación del Aprendizaje por Refuerzo Cuántico (QRL) a sistemas de control en tiempo real enfrenta obstáculos significativos en cuanto a latencia de hardware, susceptibilidad al ruido y convergencia del aprendizaje. Si bien la investigación teórica sobre Aprendizaje Automático Cuántico (QML) sugiere ventajas potenciales en la eficiencia de muestras y la representación de alta dimensión, el despliegue práctico en dispositivos Cuánticos de Escala Intermedia Ruidosos (NISQ) sigue siendo limitado. Los estudios existentes a menudo se basan en simulaciones idealizadas o no abordan los cuellos de botella críticos de latencia de la ejecución cuántica basada en la nube estándar, lo que los hace inadecuados para tareas de control en bucle cerrado sensibles a la latencia. El desafío específico abordado en este trabajo es la brecha entre las evaluaciones solo de simulación y la ejecución de un agente híbrido cuántico-clásico en una Unidad de Procesamiento Cuántico (QPU) superconductora física bajo restricciones de tiempo real.

Metodología
Los autores presentan una investigación integral de extremo a extremo de un agente híbrido cuántico-clásico mínimo aplicado a la referencia CartPole.

• Entorno y Codificación del Estado: La tarea consiste en estabilizar un péndulo invertido sobre un carrito. El agente utiliza un vector de características reducido de tres dimensiones (velocidad del carrito, ángulo del péndulo, velocidad angular del péndulo) en lugar del estado completo de cuatro dimensiones, motivado por las restricciones de una arquitectura de un solo qubit.
• Arquitectura del Agente:
  • Modelo Híbrido: El agente emplea un circuito cuántico variacional (VQC) de un solo qubit conectado a capas clásicas totalmente conectadas. El VQC utiliza una puerta Hadamard seguida de una secuencia de tres rotaciones ($R_z-R_y-R_z$) para codificar el estado en la esfera de Bloch, y una rotación $R_x$ entrenable. El valor esperado de una medición de Pauli-Z se introduce en redes clásicas de actor y crítico (cada una con 32 neuronas ocultas).
  • Línea Base Clásica: Una red actor-crítico totalmente clásica con estructuras de capas ocultas idénticas (128 y 256 unidades) sirve como línea base.
  • Entrenamiento: Ambos modelos utilizan el método Actor-Crítico con Gradientes de Política. El agente híbrido se entrena utilizando la regla de desplazamiento de parámetros para la estimación de gradientes en backends basados en disparos, así como gradientes analíticos para comparación.
• Categorías Experimentales:
  1. Referencia Sin Ruido: Comparación de las tasas de convergencia entre agentes clásicos e híbridos utilizando Qiskit BasicSimulator.
  2. Compatibilidad Entrenamiento-Inferencia: Un estudio sistemático que mapea la compensación entre la tasa del bucle de control (frecuencia de inferencia) y el presupuesto de disparos de medición. Los agentes entrenados a diversas frecuencias (20–100 Hz) se evaluaron en diferentes frecuencias de inferencia y conteos de disparos (128–1024) en un backend que emula ruido (FakeAdonis).
  3. Ejecución de Hardware de Baja Latencia: Despliegue de una política entrenada en el VTT Q5 (una QPU superconductora de 5 qubits). Crucialmente, los autores eludieron la pila de software estándar de alto nivel Qiskit/IQM. En su lugar, programaron directamente la electrónica de lectura de Zurich Instruments (HDAWG y UHFQA) mediante tablas de comandos (CT), eliminando la sobrecarga de la recompilación de código y la carga de formas de onda para cada cambio de parámetro.

Contribuciones Clave

1. Eficiencia de Muestras de Agentes Híbridos Mínimos: El estudio demuestra que un agente híbrido de un solo qubit puede resolver el entorno CartPole en sustancialmente menos episodios (aprox. 162 episodios) que una red actor-crítico clásica comparable (aprox. 429 episodios), incluso cuando se entrena utilizando la regla de desplazamiento de parámetros con evaluaciones de disparos finitos.
2. Análisis de Compensación en Tiempo de Inferencia: Los autores proporcionan matrices de rendimiento que cuantifican la relación entre la frecuencia de control de inferencia y el conteo de disparos. Los resultados indican que frecuencias de inferencia más altas mejoran consistentemente la estabilidad del equilibrio. Además, aumentar el presupuesto de disparos reduce la frecuencia de inferencia mínima requerida para lograr un equilibrio casi máximo, destacando la necesidad de encontrar un punto medio óptimo entre estas dos restricciones.
3. Reducción de Latencia mediante Control de Bajo Nivel: Al eludir la pila de software estándar y utilizar la programación directa de tablas de comandos en la electrónica de control, los autores lograron una mejora de un orden de magnitud en la velocidad de ejecución. En el procesador VTT Q5, la tasa de iteración aumentó de ~0.14 Hz (pila estándar) a más de 6.2 Hz (ruta de bajo nivel) para 128 disparos, representando una aceleración de más de 40x.

Resultados

• Dinámica de Aprendizaje: En simulaciones sin ruido, el agente híbrido convergió significativamente más rápido que la línea base clásica. El uso de gradientes de desplazamiento de parámetros resultó en una convergencia ligeramente más lenta que los gradientes analíticos, pero mantuvo una ventaja clara sobre el modelo clásico.
• Restricciones de Despliegue: El estudio de compatibilidad reveló que las restricciones en tiempo de inferencia (frecuencia y conteo de disparos) son los determinantes principales de la estabilidad, en lugar de la frecuencia de entrenamiento. Una discrepancia entre las frecuencias de entrenamiento e inferencia tuvo un efecto secundario en comparación con el conteo de disparos y la frecuencia de inferencia.
• Rendimiento del Hardware: En el VTT Q5, la ruta de ejecución de bajo nivel permitió tasas de iteración de 6.23 Hz (128 disparos) hasta 2.71 Hz (1024 disparos). Si bien las puntuaciones absolutas de episodios en hardware fueron conservadoras debido a la falta de mitigación de errores de lectura y condiciones de inferencia no ideales, el sistema demostró con éxito el control en bucle cerrado. Los resultados mostraron que con un presupuesto de disparos suficiente (por ejemplo, 1024 disparos), el sistema podía lograr puntuaciones de equilibrio casi perfectas (500) a pesar del ruido del hardware.

Significado y Afirmaciones
El artículo afirma proporcionar un paso fundamental hacia la consecución de retroalimentación de control en bucle cerrado en tiempo real en hardware cuántico. No afirma una aceleración cuántica teórica en el sentido de la teoría de la complejidad, dada la naturaleza de baja dimensión de CartPole. En cambio, el significado radica en:

• Cuantificación de Límites: El trabajo cuantifica los límites actuales del control asistido por cuántica, específicamente las compensaciones entre el conteo de disparos, la frecuencia de control y la latencia.
• Hoja de Ruta Práctica: Delinea un camino práctico para demostraciones en tiempo real al demostrar que es necesario eludir las pilas de software estándar para alcanzar el rendimiento de decenas de hercios requerido para la retroalimentación en tiempo real.
• Viabilidad de Modelos Mínimos: Valida que los modelos mínimos de un solo qubit pueden actuar como agentes de aprendizaje efectivos en bucles de RL cuando se combinan con una codificación apropiada y un posprocesamiento clásico ligero, incluso bajo restricciones de ruido realista y disparos finitos.

Los autores concluyen que, si bien las tasas actuales de iteración de hardware NISQ (varios hercios) aún no han alcanzado completamente el régimen de decenas de hercios requerido para un control en tiempo real robusto, la tubería de baja latencia demostrada proporciona un inicio viable para lograr dicho rendimiento en iteraciones futuras.