Modeling quantum neural network gradient with reinforcement learning

En el campo emergente de la computación cuántica, los científicos están intentando construir máquinas que puedan resolver problemas que van mucho más allá del alcance de las supercomputadoras actuales. Una herramienta central en este esfuerzo es la red neuronal cuántica, un sistema híbrido que combina la extraña física de las partículas subatómicas con las capacidades de aprendizaje de la inteligencia artificial. Estas redes están diseñadas para encontrar patrones en los datos, de forma muy similar al software que reconoce rostros en fotos o traduce idiomas. Sin embargo, el entrenamiento de estos sistemas cuánticos se ha topado con un muro obstinado. A medida que los investigadores añaden más bits cuánticos, o qubits, a sus circuitos para manejar problemas más difíciles, las señales utilizadas para enseñar a la máquina a menudo se desvanecen en la nada. Este fenómeno, conocido como meseta estéril (barren plateau), deja a la red ciega ante la forma de mejorar, mientras que el puro poder computacional requerido para calcular las actualizaciones necesarias crece tanto que se vuelve imposible de ejecutar en el hardware actual.

Para romper esta barrera, un equipo de investigadores ha desarrollado un nuevo enfoque que elude la forma tradicional de enseñar a estas máquinas. En lugar de intentar calcular la pendiente matemática exacta del camino de aprendizaje a través del circuito cuántico —un proceso que se vuelve exponencialmente más difícil y demandante de memoria a medida que el sistema crece—, entrenaron un programa de computadora clásica independiente para adivinar el siguiente paso. Este programa, construido mediante una técnica llamada aprendizaje por refuerzo, actúa como un entrenador experimentado. Observa el rendimiento de la red cuántica, notando sus errores actuales y sus movimientos pasados, y luego propone una actualización directa a los ajustes de la red. Los investigadores descubrieron que este método no solo evita el problema de la señal evanescente, sino que también funciona miles de veces más rápido y utiliza una fracción de la memoria requerida por las técnicas estándar.

El equipo, liderado por investigadores de Vietnam y Japón, probó su nuevo optimizador, al que llamaron RLQ-Grad, en una variedad de circuitos cuánticos simulados que iban desde solo dos qubits hasta veinte. En el mundo de la computación cuántica, veinte qubits es una escala significativa, que representa un sistema lo suficientemente grande como para ser relevante para aplicaciones del mundo real, pero lo suficientemente pequeño como para ser simulado en computadoras clásicas potentes. Los resultados fueron sorprendentes. Cuando los investigadores compararon su método con las tres formas estándar de calcular actualizaciones —retropropagación (backpropagation), desplazamiento de parámetros (parameter-shift) y diferenciación adjunta (adjoint differentiation)—, el RLQ-Grad mantuvo una señal de aprendizaje constante y fuerte independientemente del tamaño del circuito. En contraste, los métodos tradicionales vieron sus señales de aprendizaje caer por órdenes de magnitud a medida que aumentaba el número de qubits, causando efectivamente que el entrenamiento se estancara.

Las ganancias de eficiencia fueron igualmente dramáticas. En un procesador de computadora estándar, el nuevo método completó cada paso de entrenamiento en menos de una décima de segundo, incluso para los circuitos de veinte qubits más grandes. El método de retropropagación tradicional, en comparación, tomó casi doscientos segundos para la misma tarea. En términos de uso de memoria, la diferencia fue aún más profunda. Mientras que el enfoque de retropropagación estándar requería más de seis mil megabytes de memoria para manejar un circuito de veinte qubits, el nuevo método necesitaba menos de dos megabytes. Esta reducción en la demanda de recursos significa que los investigadores podrían potencialmente entrenar estos modelos complejos en hardware mucho más modesto, democratizando el acceso a la investigación de aprendizaje automático cuántico.

Los investigadores también examinaron qué tan bien aprendió realmente el sistema a clasificar datos. Probaron el método en cuatro conjuntos de datos diferentes, incluyendo imágenes de dígitos escritos a mano y datos médicos relacionados con el cáncer de mama. En cada caso, el optimizador RLQ-Grad superó a los métodos tradicionales basados en gradientes. En los conjuntos de datos más simples, mejoró la precisión de la red cuántica hasta en un diez por ciento. En el conjunto de datos de imágenes más complejo, donde los métodos tradicionales comenzaron a tener dificultades a medida que el circuito crecía, el nuevo método continuó mejorando, igualando el rendimiento de técnicas especializadas diseñadas específicamente para solucionar el problema de la meseta estéril. Crucialmente, logró esto sin la enorme carga computacional que esas técnicas especializadas suelen requerir.

Uno de los aspectos más importantes de este trabajo es lo que descarta. Los investigadores probaron explícitamente si otros tipos de optimización, como los algoritmos evolutivos que imitan la selección natural o los métodos libres de gradiente que funcionan mediante ensayo y error, podrían resolver el problema. Encontraron que estos enfoques alternativos colapsaron hacia el azar cuando se enfrentaron a los mismos circuitos de veinte qubits, fallando en aprender cualquier cosa útil. Esto sugiere que la solución no es simplemente evitar el cálculo de gradientes, sino utilizar una política inteligente y aprendida para guiar las actualizaciones. El estudio también aclara que, si bien este método resuelve el problema de las señales evanescentes y los altos costos de memoria, no soluciona mágicamente todos los problemas en el aprendizaje cuántico. Si el circuito cuántico es demasiado pequeño o el problema es demasiado simple, la red aún puede quedarse atrapada en soluciones deficientes, y el método aún no funciona en hardware cuántico físico real, el cual está sujeto a ruido y errores.

El equipo demostró matemáticamente que su enfoque funciona porque el programa "entrenador" opera enteramente en computadoras clásicas, separado del circuito cuántico mismo. Debido a que este entrenador no necesita diferenciarse a través de las complejas ecuaciones cuánticas, no está sujeto a la misma decadencia exponencial que plaga a los métodos tradicionales. Los investigadores verificaron esto al mostrar que la varianza de la señal de aprendizaje se mantuvo plana y estable a medida que añadían más qubits, mientras que la señal para otros métodos decayó rápidamente. Esta ventaja estructural permite que el método escale eficientemente, creciendo solo linealmente con el número de parámetros en lugar de exponencialmente con el tamaño del sistema cuántico.

Aunque el estudio se realizó enteramente en simulaciones, las implicaciones para el futuro de la computación cuántica son significativas. Al reducir el costo computacional del entrenamiento por factores de miles, este método podría permitir a los científicos explorar redes neuronales cuánticas mucho más grandes y complejas de lo que se pensaba posible anteriormente. Ofrece un nuevo camino hacia adelante para un campo que ha estado luchando con las limitaciones prácticas de entrenar estos sistemas. Los investigadores señalan que el siguiente paso será probar este enfoque en hardware cuántico real y ver si las políticas aprendidas pueden transferirse a través de diferentes tipos de problemas, creando potencialmente una herramienta universal para entrenar las máquinas cuánticas del mañana. Por ahora, el trabajo se erige como una demostración de que, al cambiar la forma en que enseñamos a estas máquinas, podemos superar los acantilados escarpados que han bloqueado su progreso.