Adaptive directional gradients for parameterised quantum circuits

Este artículo introduce un marco de gradiente hacia adelante para circuitos cuánticos parametrizados que unifica los métodos existentes de estimación de gradiente y permite que el optimizador adaptativo QUIVER logre un entrenamiento significativamente más eficiente con costos de medición reducidos en comparación con la regla de desplazamiento de parámetros y otros optimizadores de vanguardia.

Lo esencial

Imagina que estás intentando enseñarle a un robot muy complejo (un Circuito Cuántico Parametrizado) a resolver un problema, como reconocer la imagen de un gato o encontrar la mejor ruta para un camión de reparto. Para enseñarle, necesitas mostrarle la "dirección" en la que debe moverse para mejorar. En términos matemáticos, esto se llama calcular un gradiente.

El problema es que, en los ordenadores cuánticos actuales, calcular esa dirección es increíblemente costoso. Es como intentar mapear una ciudad enorme caminando por cada una de sus calles, una por una. Si el robot tiene 1.000 perillas para girar (parámetros), el método antiguo requiere que recorras 1.000 caminos distintos solo para saber hacia dónde ir. Esto consume mucho tiempo y energía (llamada "disparos de medición" o measurement shots), lo que hace que entrenar al robot sea imposible a medida que este crece.

Este artículo presenta una forma nueva y más inteligente de encontrar esa dirección, llamada Gradientes de Adelante (Forward Gradients), y un entrenador inteligente para gestionar el proceso llamado QUIVER.

La forma antigua: El problema de "mapear cada calle"

El método estándar (llamado Regla de Desplazamiento de Parámetros o Parameter-Shift Rule) es como un topógrafo meticuloso. Para saber la pendiente del terreno en un punto específico, debe caminar hacia la izquierda, medir, caminar hacia la derecha, medir, y repetir esto por cada una de las 1.000 perillas del robot.

• El costo: Si tienes 1.000 perillas, tienes que realizar 2.000 viajes distintos. A medida que el robot crece, el costo crece linealmente. Es demasiado lento.

La nueva forma: La estrategia de la "brújula" (Gradientes de Adelante)

Los autores proponen un enfoque diferente. En lugar de comprobar cada calle, imagina que estás en medio de la ciudad y lanzas un dardo en una dirección aleatoria. Caminas unos pocos pasos en esa dirección, compruebas la pendiente y luego lanzas otro dardo en una dirección aleatoria distinta.

Si haces esto unas pocas veces (por ejemplo, 10 o 20 veces) y promedias los resultados, obtienes una estimación sorprendentemente buena de la dirección general que debes tomar, sin tener que recorrer nunca todas las calles.

• La magia: Puedes elegir cuántas direcciones aleatorias comprobar.
  • Si compruebas 1 dirección, es como el antiguo método "SPSA" (rápido pero algo ruidoso).
  • Si compruebas las 1.000 direcciones, es el antiguo método de "Desplazamiento de Parámetros" (perfecto pero lento).
  • El nuevo método te permite elegir un número "punto medio" (como 20 direcciones). Es mucho más rápido que comprobar las 1.000 direcciones, pero mucho más preciso que comprobar solo 1.

El entrenador inteligente: QUIVER

Lanzar dardos al azar no es suficiente; necesitas saber cuántos dardos lanzar y con qué cuidado mirar cada uno. Aquí es donde entra en juego QUIVER.

Imagina a QUIVER como un entrenador inteligente que observa el entrenamiento del robot:

1. Al principio del entrenamiento: El robot está lejos de la solución y el camino es caótico. El entrenador dice: "Vamos a observar muchas direcciones diferentes rápidamente para obtener una idea general de hacia dónde ir" (Gran número de direcciones, bajo esfuerzo por dirección).
2. Más adelante en el entrenamiento: El robot está cerca de la solución. El entrenador dice: "Ya no necesitamos mirar tantas direcciones, pero necesitamos ser muy precisos con las que sí miremos" (Menos direcciones, alto esfuerzo por dirección).

QUIVER ajusta automáticamente este equilibrio en tiempo real basándose en el ruido que observa, asegurando que el robot aprenda de la manera más eficiente posible sin desperdiciar energía.

Lo que el artículo descubrió

Los autores probaron esta idea en cuatro tipos diferentes de problemas:

1. Clasificación de ritmos cardíacos (datos de ECG).
2. Reconocimiento de números escritos a mano (imágenes MNIST).
3. Encontrar el estado de mínima energía de un sistema cuántico (VQE).
4. Resolver acertijos de optimización (MaxCut).

Los resultados:

• Velocidad: Utilizando su nuevo método, pudieron entrenar robots de hasta 60 qubits y 1.770 parámetros.
• Eficiencia: Alcanzaron el mismo nivel de precisión que el método antiguo "lento", pero utilizando una fracción de la energía (disparos de medición). En algunos casos, fueron órdenes de magnitud más eficientes.
• Comparación: Su método superó a otros métodos "rápidos" populares (como SPSA y RCD) e incluso a los métodos "adaptativos" inteligentes (iCANS/gCANS) que intentan ahorrar energía siendo astutos sobre dónde mirar.

La conclusión

Este artículo no pretende haber resuelto todos los problemas de la computación cuántica. En su lugar, ofrece un conjunto de herramientas nuevo y flexible. Reemplaza una regla rígida y costosa por una estrategia ajustable que se puede subir o bajar dependiendo de la situación. Demuestra que no es necesario comprobar cada camino para encontrar la dirección correcta; a veces, comprobar unos pocos caminos aleatorios inteligentes es suficiente para lograr el trabajo mucho más rápido.

En resumen: Han encontrado una forma de enseñar a los ordenadores cuánticos a aprender más rápido mediante "atajos" que están matemáticamente probados que funcionan, ahorrando una cantidad masiva de tiempo y recursos.

Resumen técnico

Resumen Técnico: Gradientes Direccionales Adaptativos para Circuitos Cuánticos Parametrizados

Planteamiento del Problema
El entrenamiento de circuitos cuánticos parametrizados (PQC) en hardware cuántico de escala intermedia con ruido (near-term) está actualmente limitado por el coste de medición de la estimación de gradientes. Bajo la regla estándar de desplazamiento de parámetros (parameter-shift rule), estimar el gradiente completo requiere $O(N)$ evaluaciones de circuito por paso, donde $N$ es el número de parámetros entrenables. A medida que los modelos cuánticos escalan y se benefician de la sobreparametrización, este escalamiento lineal domina el presupuesto total de disparos (shots), haciendo que el entrenamiento basado en gradientes sea ineficiente. Aunque los estimadores aproximados como la Aproximación Estocástica de Perturbación Simultánea (SPSA) y el Descenso de Coordenadas Aleatorias (RCD) reducen los costes por paso, introducen penalizaciones de $O(N)$ en la varianza del estimador o en las tasas de convergencia, respectivamente. Además, los métodos existentes de asignación adaptativa de disparos (por ejemplo, iCANS, gCANS) dependen de la regla de desplazamiento de parámetros y asumen que las varianzas de medición difieren significamente entre parámetros, una suposición que puede no cumplirse para los estimadores de dirección aleatoria.

Metodología
Los autores proponen un marco unificado basado en gradientes directos (forward gradients), derivados del modo directo de la diferenciación automática. Este marco reconstruye el gradiente completo promediando $V$ derivadas direccionales aleatorias, donde $V$ es un parámetro ajustable independiente de $N$.

1. Estimador de Gradiente Directo:
   El gradiente se estima como:
   $$\hat{\nabla}^F f(\theta) = \frac{1}{V} \sum_{\ell=1}^V (\nabla_{v_\ell} f) v_\ell$$
   donde $v_\ell$ son direcciones aleatorias (típicamente vectores de Rademacher). Las derivadas direccionales $\nabla_{v_\ell} f$ se computan utilizando una aproximación de diferencia finita central con un tamaño de paso $\epsilon$, lo que requiere solo dos evaluaciones de circuito por dirección.

   • Unificación: Este marco recupera SPSA ($V=1$, Rademacher), RCD ($V=1$, vectores de base) y la regla de desplazamiento de parámetros ($V=N$, vectores de base) como casos límite.
   • Coste: El coste por paso escala como $O(V)$ en lugar de $O(N)$, con un coste de medición total de $2VM$ disparos por paso.

2. Análisis de Convergencia:
   El artículo establece un límite de convergencia para el descenso de gradiente estocástico utilizando este estimador. Demuestra un resultado de "no hay almuerzo gratis" (no-free-lunch): para pérdidas convexas, la reducción $V$-fold en el coste por paso se compensa exactamente con un aumento $V$-fold en el número de pasos necesarios para alcanzar una precisión objetivo. El presupuesto total de disparos permanece independiente de $V$. Sin embargo, el análisis identifica el tamaño de paso de la diferencia finita $\epsilon$ como el hiperparámetro dominante, que gobierna un compromiso entre sesgo y varianza donde el ruido de disparo es amplificado por $1/\epsilon^2$.

3. El Optimizador QUIVER:
   Para abordar las limitaciones de las estrategias de $V$ fijo y los métodos adaptativos existentes, los autores derivan QUIVER (Quantum Iterative V-adaptive Estimator Rule).

   • Concentración de Ruido: Los autores demuestran que, para los estimadores de dirección aleatoria, el ruido de medición se concentra uniformemente en todas las direcciones (a diferencia de la regla de desplazamiento de parámetros, donde el ruido varía por parámetro). Esto hace que la asignación de disparos por dirección (el mecanismo detrás de iCANS) sea ineficaz.
   • Adaptación Conjunta: En consecuencia, QUIVER adapta el número de direcciones $V$ y los disparos por dirección $M$ de forma conjunta. Minimiza el coste de medición total sujeto a una varianza del estimador objetivo y un recuento mínimo de disparos por dirección.
   • Optimalidad: La regla de actualización derivada utiliza direcciones de Rademacher, las cuales se demuestra que minimizan de forma única el segundo momento del estimador entre las distribuciones isotrópicas. El presupuesto de disparos resultante coincide con la cota inferior de Cramér–Rao para la recuperación de gradientes sin sesgo de un oráculo de ruido de disparo, salvo por una constante que desaparece cuando $N \to \infty$.

Resultados Clave
El artículo valida el enfoque numéricamente a través de cuatro dominios de problemas:

• Clasificación: Entrenamiento de redes neuronales cuánticas ortogonales en los conjuntos de datos ECG5000 (series temporales) y MNIST (imágenes) con hasta 60 cúbits y 1.770 parámetros.
• Optimización y Simulación: El Algoritmo de Eigensolver Cuántico Variacional (VQE) para el Modelo de Ising de Campo Transverso (TFIM) y el Algoritmo de Optimización Aproximada Cuántica (QAOA) para MaxCut.

Hallazgos:

1. Eficiencia: Los estimadores de gradiente directo con un $V \ll N$ fijo logran una precisión comparable a la regla de desplazamiento de parámetros utilizando una fracción del presupuesto total de disparos. Los ahorros crecen con el número de parámetros $N$.
2. Comparación con Baselines: Los gradientes directos superan significativamente a SPSA y RCD para valores grandes de $N$, donde los métodos de una sola dirección se degradan.
3. Programación Adaptativa: Experimentos heurísticos muestran que decrecer $V$ durante el entrenamiento (comenzando alto para una exploración amplia y terminando bajo para precisión) supera a los puntos finales de $V$ fijo.
4. Rendimiento de QUIVER: El optimizador QUIVER supera a iCANS, gCANS y el desplazamiento de parámetros estándar con optimización Adam en los benchmarks de VQE y QAOA. Notablemente, en regímenes donde iCANS/gCANS colapsan al desplazamiento de parámetros de disparo fijo (debido a bajas relaciones señal-ruido), QUIVER mantiene un margen de rendimiento al ajustar dinámicamente $V$ y $M$.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco teórico unificado que trata a SPSA, RCD y la regla de desplazamiento de parámetros como casos especiales de un único estimador de dirección aleatoria. Al introducir el parámetro ajustable $V$, ofrece una palanca explícita para interpolar entre las estrategias de gradiente más baratas (mayor varianza) y las más costosas (exactas).

La contribución principal es el optimizador QUIVER, que es el primer método adaptativo diseñado específicamente para gradientes directos. Supera las limitaciones estructurales de los optimizadores de disparos adaptativos previos (que fallan cuando el ruido se concentra uniformemente) al adaptar el número de direcciones en lugar de solo el recuento de disparos por dirección. Los autores afirman que QUIVER logra una eficiencia de disparos casi óptima, saturando la cota inferior de Cramér–Rao para la recuperación de gradientes, y permite el entrenamiento de circuitos cuánticos a gran escala (hasta 60 cúbits) con costes de medición órdenes de magnitud menores que la regla de desplazamiento de parámetros.

El trabajo enfatiza que estas ganancias se logran sin cúbits ancilla, compuertas controladas o mediciones de mitad de circuito, lo que hace que el marco sea inmediatamente aplicable al hardware actual de Escala Intermedia con Ruido (NISQ).