Reinforcement learning for Quantum Tiq-Taq-Toe

Imagina un mundo donde las reglas de la lógica son ligeramente diferentes, donde un solo objeto puede existir en múltiples lugares a la vez hasta que alguien lo observa. Este es el reino de la mecánica cuántica, una rama de la física que gobierna el comportamiento de las partículas más pequeñas del universo. Aunque estos principios suelen reservarse para teorías complejas sobre el tejido de la realidad, ahora se están probando en el entorno más familiar: la simple cuadrícula de un tablero de tres en raya. En esta versión cuántica, el juego no se juega con marcas estáticas de X y O, sino con probabilidades y conexiones que vinculan las piezas entre sí de formas que desafían la experiencia ordinaria. El desafío para las computadoras es aprender a jugar este juego, no siguiendo un conjunto fijo de instrucciones, sino aprendiendo de la experiencia, de forma muy similar a como lo hace un humano. Este es el dominio del aprendizaje por refuerzo, un método donde una inteligencia artificial mejora su estrategia probando movimientos, viendo los resultados y ajustando su enfoque con el tiempo. Los investigadores están interesados en esta intersección porque si una computadora puede aprender a navegar por el paisaje confuso y cambiante de un juego cuántico, eventualmente podría ayudarnos a resolver problemas mucho más difíciles en la computación cuántica, como la corrección de errores en delicadas máquinas cuánticas.

En un estudio reciente, investigadores de la Universidad de Leiden en los Países Bajos decidieron ver si estas máquinas de aprendizaje podían dominar una adaptación cuántica específica del tres en raya. Eligieron una versión del juego que utiliza unidades cuánticas de tres estados, lo que permite una variedad más rica de movimientos que los sistemas estándar de dos estados utilizados a menudo en la teoría. El juego en sí es complicado porque el tablero nunca está completamente claro para el jugador. En lugar de ver una X o una O definida en un cuadro, un jugador ve un mapa de probabilidades, que muestra dónde podría haber una marca, y un registro de cómo están vinculados los diferentes cuadros entre sí. Cada vez que un jugador realiza un movimiento, estos vínculos pueden colapsar, revelando repentinamente un estado definido donde antes solo había incertidumbre. Para probar sus teorías, el equipo configuró una arena digital donde agentes de inteligencia artificial jugaban contra sí mismos. Crearon dos versiones diferentes de las reglas del juego. La primera versión era algo restrictiva, requiriendo que cualquier movimiento cuántico complejo involucrara al menos un espacio vacío en el tablero. La segunda versión era más abierta, permitiendo una gama más amplia de interacciones y entrelazamientos más complejos entre los cuadros.

Los investigadores entrenaron a sus agentes utilizando un método en el que jugaban miles de partidas entre sí, aprendiendo de cada victoria, derrota o empate. Querían ver qué tipo de información necesitaban los agentes para jugar bien. Probaron tres tipos de jugadores: uno que podía ver solo el mapa de probabilidades, uno que podía ver solo el historial de cómo estaban vinculadas las piezas, y un tercero que tenía acceso a ambos. En la versión más restrictiva del juego, las simulaciones mostraron un patrón claro: el jugador que movía primero poseía una ventaja distintiva. Aunque el juego implica un grado de aleatoriedad que impide cualquier victoria garantizada, el primer jugador fue capaz de encontrar un camino hacia la victoria con más frecuencia que el segundo. Esto sugiere que, incluso en un juego con reglas cambiantes, existen estrategias discernibles que una máquina de aprendizaje puede descubrir. Los resultados fueron visualizados enfrentando a los mejores agentes entrenados entre sí, mostrando que el primer jugador aseguraba consistentemente más victorias.

Cuando los investigadores pasaron a la versión más compleja del juego, donde las reglas permitían estados e interacciones cuánticas más diversas, la dinámica cambió. En este escenario, tener solo un tipo de información no era suficiente. Los agentes desempeñaban mejor solo cuando podían ver tanto el mapa de probabilidades actual como el historial de cómo estaban entrelazadas las piezas. Esta combinación permitía a la inteligencia artificial comprender el estado en tiempo real del tablero y, al mismo tiempo, recordar las complejas relaciones formadas en los turnos anteriores. El resultado fue un juego más equilibrado, donde los resultados se volvieron más equitativos entre los jugadores. Este hallazgo destaca que, en entornos donde la información está oculta o es parcialmente visible, tener una imagen completa tanto del presente como del pasado es crucial para tomar buenas decisiones.

El estudio concluye que esta versión cuántica del tres en raya sirve como un campo de prueba útil para desarrollar una mejor inteligencia artificial para sistemas cuánticos. Los investigadores señalan que la dificultad inherente del juego, causada por la visibilidad parcial del tablero, refleja los desafíos que enfrenta la computación cuántica real, donde controlar y comprender estos estados ocultos es esencial. Si bien el trabajo actual se centró en entrenar agentes para jugar, los autores sugieren que esfuerzos futuros podrían explorar otras formas de ayudar a las máquinas a manejar esta incertidumbre, como el uso de sistemas de memoria que recuerden secuencias pasadas o modelos de procesamiento más avanzados. Por ahora, el trabajo demuestra que el aprendizaje por refuerzo puede navegar con éxito la extraña lógica de los juegos cuánticos, ofreciendo un camino claro hacia la integración del aprendizaje automático con la tecnología cuántica del futuro.