Quantum Hierarchical Reinforcement Learning via Variational Quantum Circuits

Resumen Técnico: Aprendizaje por Refuerzo Jerárquico Cuántico mediante Circuitos Cuánticos Variacionales

Planteamiento del Problema
El aprendizaje por refuerzo (RL) enfrenta desafíos significativos en tareas de horizonte largo y entornos con recompensas escasas. El Aprendizaje por Refuerzo Jerárquico (HRL), específicamente la arquitectura crítico-de-opciones, aborda estos problemas mediante la abstracción temporal, permitiendo que los agentes aprendan cursos de acción ("opciones") que abarcan múltiples escalas de tiempo. Si bien los Circuitos Cuánticos Variacionales (VQC) han demostrado promesa en el RL no jerárquico al ofrecer eficiencia paramétrica y rendimiento competitivo, sigue siendo una pregunta abierta si estas ventajas cuánticas se traducen a la toma de decisiones estructurada y multinivel requerida por el HRL. Este trabajo investiga la viabilidad y eficacia de integrar VQCs en un marco híbrido cuántico-clásico de crítico-de-opciones.

Metodología
Los autores proponen un agente híbrido basado en la arquitectura de crítico-de-opciones, donde los componentes de redes neuronales clásicas se sustituyen selectivamente por VQCs. El marco consta de cuatro componentes aprendibles principales:

1. Extractor de Características: Procesa las observaciones crudas del entorno.
2. Función de Valor de Opción ($Q_\Omega$): Estima el retorno esperado de ejecutar una opción específica.
3. Función de Terminación ($\beta_\omega$): Determina cuándo debe terminar una opción.
4. Políticas Intra-Opción ($\pi_\omega$): Selecciona acciones dentro de una opción activa.

Los autores definen ocho variantes híbridas sustituyendo estos componentes por VQCs individualmente o en combinación (por ejemplo, el Híbrido F reemplaza solo el extractor de características; el Híbrido FOTP reemplaza todos). La arquitectura VQC emplea una estructura de recarga de datos, utilizando puertas de codificación $Rx$ con parámetros de escala entrenables ($\lambda$), puertas $CNOT$ para el entrelazamiento y bloques de rotación parametrizados $Ry$/$Rz$. Las entradas se normalizan a $[-\pi, \pi]$ para servir como ángulos de rotación. El algoritmo de entrenamiento sigue un enfoque de crítico-de-opciones estilo DQN (Algoritmo 1), utilizando un búfer de repetición, redes objetivo y una función de pérdida unificada que combina las pérdidas de política, terminación y crítico.

Los experimentos se realizaron en dos entornos estándar de estado continuo y acción discreta de Gymnasium: CartPole y Acrobot. Los modelos híbridos se compararon con líneas base clásicas (estilo Red Neuronal de Q Profunda) y una línea base aleatoria.

Contribuciones Clave

1. Eficacia del Extractor de Características Cuántico: El estudio demuestra que un agente híbrido que utiliza un VQC exclusivamente para el extractor de características (Híbrido F) supera a las líneas base clásicas mientras reduce significativamente el número de parámetros entrenables.
2. Identificación de un Cuello de Botella Crítico: Los autores identifican que sustituir la función de valor de opción por un VQC (Híbrido O) causa una degradación severa del rendimiento, provocando efectivamente un fallo en el aprendizaje.
3. Ablación Arquitectónica: El artículo proporciona evidencia empírica sobre cómo las decisiones específicas de diseño del VQC —profundidad del circuito, escala de entrada entrenable y entrelazamiento— impactan la eficacia de los agentes jerárquicos híbridos.

Resultados Experimentales

• Mejoras de Rendimiento: En el entorno CartPole, el modelo Híbrido F logró una recompensa episódica media 2.95 veces superior a la línea base clásica. En Acrobot, redujo la penalización en un 46% en comparación con la línea base clásica.
• Eficiencia Paramétrica: El modelo Híbrido F logró estos resultados con un 66% menos de parámetros entrenables en CartPole y un 52% menos en Acrobot en comparación con una línea base clásica con 24 neuronas ocultas. Solo requirió un modelo clásico con 32 neuronas ocultas (capacidad significativamente mayor) para superar su rendimiento.
• El Cuello de Botella del Valor de Opción: Los modelos donde la función de valor de opción fue reemplazada por un VQC (Híbrido O, y consecuentemente el Híbrido FOTP totalmente cuántico) fallaron en aprender, desempeñándose no mejor que un agente aleatorio. El análisis reveló que el crítico cuántico produjo curvas de pérdida planas y entropía de política cercana al máximo teórico, indicando un fallo en proporcionar señales de aprendizaje útiles. Los autores señalan que los platillos áridos son poco probables como causa dada la profundidad de circuito poco profunda utilizada.
• Hallazgos de Ablación:
  • Profundidad: Aumentar la profundidad del circuito más allá de cierto punto no mejoró consistentemente el rendimiento, pero reducirlo degradó los resultados.
  • Escala: Entrenar los parámetros de escala de entrada ($\lambda$) fue crucial; fijarlos en 1 perjudicó significativamente el rendimiento.
  • Entrelazamiento: Eliminar las puertas $CNOT$ de entrelazamiento degradó el rendimiento en ambos entornos, confirmando la utilidad del entrelazamiento de múltiples qubits.

Significado y Afirmaciones
El artículo establece principios de diseño para agentes jerárquicos híbridos eficientes en parámetros. El significado principal radica en identificar la colocación específica de circuitos cuánticos dentro de la jerarquía HRL: los circuitos cuánticos son beneficiosos como extractores de características pero perjudiciales cuando se utilizan para la estimación del valor de opción en la arquitectura actual. Los autores afirman que su trabajo acerca la "ventaja cuántica práctica en RL a la realización en dispositivos cuánticos de corto plazo" al demostrar que los componentes cuánticos pueden mejorar la dinámica de aprendizaje con menos parámetros, siempre que se coloquen en la posición arquitectónica correcta.

Los autores permanecen modestos respecto al alcance, reconociendo que sus hallazgos se limitan a entornos de referencia específicos y que la causa raíz precisa del cuello de botella del valor de opción sigue siendo una pregunta abierta. También señalan que las simulaciones actuales no tienen en cuenta el ruido del hardware, lo cual es un factor para futuras investigaciones.