En el mundo de la inteligencia artificial, algunos de los desafíos más difíciles provienen de juegos donde los jugadores no pueden ver el tablero completo. Piense en una mesa de póker: usted conoce sus propias cartas y las cartas sobre la mesa, pero no tiene idea de qué tiene su oponente. Esta falta de información completa crea un paisaje de incertidumbre donde cada decisión debe sopesarse frente a posibilidades ocultas. Durante décadas, los investigadores han utilizado un método llamado minimización de el arrepentimiento contrafáctico para enseñar a las computadoras a jugar estos juegos. La lógica es sencilla: después de que un juego termina, la computadora analiza cada elección que realizó y se pregunta: "¿Qué habría pasado si hubiera hecho algo distinto?". Si cambiar esa elección hubiera conducido a un mejor resultado, la computadora siente una sensación de "arrepentimiento". A lo largo de millones de juegos, aprende a minimizar este arrepentimiento, estableciéndose eventualmente en una estrategia tan sólida que ningún oponente puede vencerla consistentemente. Este enfoque ha producido algunas de las IA de póker más formidables de la historia.

Sin embargo, surge un problema mayor cuando el juego se vuelve demasiado complejo. En variantes simples de póker, la computadora puede mapear cada posible camino que el juego pueda tomar. Pero en versiones más intrincadas con secuencias de juego más largas, el número de posibles caminos explota hacia los billones. El método tradicional, que requiere revisar cada uno de los caminos para calcular el arrepentimiento, se vuelve imposible porque la computadora necesitaría procesar más datos de los que existen en el universo. Para resolver esto, los investigadores han recurrido al aprendizaje profundo (deep learning), utilizando redes neuronales para adivinar los movimientos correctos sin tener que revisar todas las posibilidades. Aun así, incluso estos sistemas avanzados tienen dificultades cuando el juego se extiende a lo largo de un horizonte largo, perdiéndose a menudo en el enorme volumen de ruido aleatorio generado al muestrear solo unos pocos caminos. Carecen de una forma de organizar su pensamiento en bloques manejables, de forma muy similar a un humano que intenta recordar mil pasos individuales en lugar de reconocer unas pocas rutinas familiares.

Un equipo de investigadores de la Universidad de Hong Kong, la Universidad de Pekín y la Universidad de Purdue ha introducido un nuevo enfoque llamado Minimización de el Arrepentimiento Contrafáctico Profundo Jerárquico, o HDCFR, diseñado para superar estas limitaciones. Su trabajo, publicado en un artículo de investigación, propone que, en lugar de obligar a la IA a aprender cada movimiento minúsculo desde cero, deben enseñarle a aprender "habilidades" primero. En este sistema, la IA aprende componentes de bajo nivel que actúan como habilidades específicas para resolver partes pequeñas del juego, como un patrón de apuestas particular o una maniobra defensiva. Un componente de nivel superior actúa entonces como un gerente, decidiendo qué habilidad usar en cada momento y cuándo cambiar entre ellas. Esta estructura imita cómo juegan los humanos: no pensamos en cada movimiento muscular individual al conducir un automóvil; pensamos en términos de "girar a la izquierda", "cambiar de carril" o "detenerse", y cambiamos entre estos objetivos de alto nivel según cambie la situación.

Los investigadores construyeron su algoritmo para que funcione en entornos donde el árbol de juego completo es demasiado grande para ser visto, un escenario conocido como libre de modelo (model-free). En estos escenarios, la IA no puede mirar hacia adelante para ver cada futuro posible; solo puede muestrear unos pocos caminos y aprender de los resultados. Para lograr que esto funcione sin que el proceso de aprendizaje se vuelva inestable debido a las fluctuaciones aleatorias, el equipo introdujo una técnica de reducción de la varianza. Esto actúa como un estabilizador, ayudando a la IA a distinguir entre una estrategia genuinamente buena y un golpe de suerte. Demostraron matemáticamente que este método jerárquico converge hacia una estrategia óptima, lo que significa que la IA eventualmente aprenderá a jugar perfectamente, al igual que los métodos más antiguos, pero con la capacidad añadida de manejar juegos que son mucho más profundos y complejos.

Cuando se probó contra los algoritmos más fuertes existentes en el campo, el HDCFR mostró una clara ventaja, particularmente a medida que los juegos se volvían más difíciles. Los investigadores evaluaron su sistema en varias versiones de póker, que iban desde una variante simple con pocas cartas hasta una versión compleja con un árbol de juego que contenía más de treinta billones de nodos. En los juegos más simples, el nuevo método funcionó al nivel de las mejores herramientas existentes. Sin embargo, a medida que los juegos se volvían más largos y los horizontes de decisión se extendían, los otros métodos comenzaron a flaquear, y su rendimiento se volvió errático o dejó de mejorar. El HDCFR, por el contrario, continuó aprendiendo de manera efectiva, alcanzando un nivel de juego superior. El equipo encontró que la estructura jerárquica permitió a la IA mantener la estabilidad incluso cuando el juego se prolongaba, una hazaña que los métodos previos de aprendizaje profundo no pudieron lograr sin verse abrumados por el ruido de los datos.

Un hallazgo clave del estudio fue la capacidad del sistema para transferir conocimiento de una tarea a otra. Los investigadores entrenaron a la IA en una versión más simple del juego y luego le pidieron que aplicara lo aprendido a una versión más compleja. Descubrieron que las habilidades de bajo nivel que la IA había dominado —como estrategias de apuestas específicas— podían reutilizarse en el nuevo juego, más difícil. Esta transferencia de habilidades aceleró significativamente el proceso de aprendizaje. En algunos casos, la IA pudo enfocarse enteramente en aprender la gestión de alto nivel de estas habilidades, saltándose la necesidad de reaprender los conceptos básicos. Esto sugiere que el sistema no solo está memorizando un juego específico, sino que realmente está aprendiendo un conjunto flexible de herramientas que pueden adaptarse a nuevos desafíos. Los investigadores también observaron que la IA aprendió a utilizar estas habilidades durante periodos prolongados, manteniéndose a veces con una sola estrategia durante diez o más movimientos antes de cambiar, lo que refleja la forma en que los expertos humanos piensan en términos de fases en lugar de acciones aisladas.

El estudio también incluyó un análisis detallado de lo que sucede cuando se eliminan ciertas partes del sistema. Cuando los investigadores quitaron el mecanismo que permite a la IA extender las habilidades a lo largo del tiempo, el sistema tuvo dificultades para converger, de forma muy similar a los métodos antiguos. Del mismo modo, cuando eliminaron el estabilizador de reducción de la varianza, el rendimiento del aprendizaje cayó significativamente, especialmente en los juegos más largos. Estas pruebas confirmaron que tanto la estructura jerárquica como las técnicas de reducción de ruido son esenciales para que el sistema funcione en entornos profundos y complejos. Los investigadores señalaron que, si bien el sistema requiere una potencia de cómputo sustancial para entrenarse, tomando alrededor de una semana en un servidor estándar para los juegos más grandes, los resultados demuestran un camino viable para la inteligencia artificial en juegos con espacios de estados masivos.

En última instancia, este trabajo representa un cambio en cómo las máquinas abordan la toma de decisiones complejas bajo incertidumbre. Al organizar el aprendizaje en una jerarquía de habilidades y gerentes, los investigadores han creado un sistema que puede navegar los vastos y ocultos paisajes de los juegos de información imperfecta de manera más efectiva que nunca. Los hallazgos sugieren que, para que la IA domine los desafíos estratégicos más complejos, es posible que deba dejar de intentar calcular cada posibilidad y comenzar a aprender a pensar en términos de habilidades estructuradas y reutilizables. Este enfoque no solo mejora el rendimiento en los juegos, sino que ofrece un plano de cómo los agentes inteligentes podrían aprender a operar en el mundo real, donde la información suele estar incompleta y el futuro es demasiado vasto para mapearlo en su totalidad.