En los paisajes digitales de los videojuegos, el mundo es a menudo un escenario dispuesto para la trayectoria de un solo jugador. Sin embargo, los momentos más memorables surgen frecuentemente no de las propias acciones del jugador, sino de las reacciones de los personajes que encuentra en su camino. Estos personajes no jugables, o NPCs, son los habitantes del mundo del juego, encargados de hacer que el entorno se sienta vivo. Durante décadas, los diseñadores de juegos han dependido de guiones rígidos para hacer que estos personajes se muevan y actúen, creando comportamientos que son predecibles y a menudo repetitivos. Recientemente, la inteligencia artificial ha comenzado a ofrecer un nuevo camino a seguir, utilizando modelos que pueden generar secuencias completas de video de la jugabilidad. Sin embargo, persiste un obstáculo significativo: en estos nuevos sistemas de IA, el comportamiento de los personajes es a menudo un subproducto del video que se está creando, o se ve forzado a seguir instrucciones externas al sistema. Esto significa que los personajes no pueden realmente "ver" la situación cambiante a su alrededor y decidir cómo reaccionar en el momento. Carecen de una mente que conecte lo que está sucediendo en la pantalla con lo que deben hacer a continuación.

Un equipo de investigadores de Tencent y la Universidad Nacional de Singapur ha abordado esta brecha introduciendo un nuevo marco llamado WorldMind. Su trabajo representa un cambio en la forma en que se modelan los mundos de los juegos, alejándose de sistemas donde el comportamiento del personaje está oculto dentro del proceso de generación de video. En su lugar, han construido un sistema que separa explícitamente el acto de comprender el estado del juego del acto de generar el video. Imagine un juego donde la computadora primero hace una pausa para evaluar la distancia entre un jugador y un monstruo, comprueba qué habilidades tiene disponibles el monstruo y luego decide conscientemente un movimiento específico antes de dibujar el siguiente fotograma del video. Este es el núcleo de WorldMind. Los investigadores demostraron que, al descomponer el proceso en pasos distintos —comprender la escena, razonar sobre una respuesta y luego generar el resultado visual—, pudieron crear personajes no jugables que reaccionan al estado evolutivo del juego con un nivel de conciencia táctica nunca antes visto en los modelos generativos.

La base de este nuevo enfoque reside en una estructura de cuatro capas que imita un ciclo de percepción y acción. La primera capa actúa como los ojos del sistema, tomando los fotogramas de video generados hasta el momento y reconstruyendo un resumen digital compacto de la situación actual. Este resumen incluye detalles específicos como la distancia entre el jugador y el jefe, el ángulo en el que se enfrentan y un historial de qué habilidades ha utilizado el jefe recientemente. Este es un paso crucial porque, en modelos anteriores, la IA tenía que adivinar estos detalles mientras intentaba simultáneamente dibujar el video, lo que a menudo conducía a un comportamiento confundido o poco receptivo. Al crear este resumen claro y separado del estado, el sistema asegura que el proceso de toma de decisiones tenga una base sólida de hechos con los que trabajar.

Una vez establecido este estado compacto, se pasa a la segunda capa, que sirve como el cerebro de la operación. Aquí, un modelo de lenguaje de gran tamaño —un tipo de inteligencia artificial entrenada para comprender y generar lenguaje humano— lee el resumen del estado del juego junto con una lista de las habilidades disponibles del jefe y sus descripciones. El modelo entonces razona la situación para planificar el siguiente movimiento. Se pregunta a sí mismo cuestiones como: "El jugador está muy cerca, por lo que es necesario un ataque de cierre de distancia", o "El jugador está lejos, por lo que debo usar una habilidad de largo alcance". Esta capa no simplemente adivina; formula un plan táctico basado en las mecánicas del juego y la realidad actual de la escena. Los investigadores fueron cuidadosos en asegurar que este razonamiento estuviera fundamentado en las reglas reales del juego, en lugar de simplemente imitar patrones de los datos de entrenamiento. Descubrieron que cuando alteraban las descripciones de las habilidades o el estado del juego, el modelo cambiaba sus decisiones en consecuencia, demostrando que realmente estaba comprendiendo las mecánicas en lugar de solo memorizar resultados.

La tercera capa actúa como un traductor, convirtiendo el plan de alto nivel del cerebro en un conjunto de instrucciones que el generador de video pueda entender. Toma la acción elegida y los movimientos del jugador y los convierte en una secuencia cronometrada de prompts de lenguaje natural. Por ejemplo, podría generar una frase como "el jugador está realizando un ataque mientras el jefe está realizando un golpe de salto". Esto asegura que la capa de generación visual, el cuarto y último componente, reciba instrucciones precisas y alineadas temporalmente. El generador de video crea entonces el siguiente segmento del video de la jugabilidad basándose en estos prompts. Crucialmente, los fotogramas que produce no son el final del camino; se retroalimentan a la primera capa para iniciar el ciclo de nuevo. Esto crea un bucle cerrado donde el mundo es constantemente observado, analizado y actualizado, permitiendo que el personaje no jugable reaccione a las consecuencias de sus propias acciones previas en tiempo real.

Para entrenar y probar este sistema, los investigadores enfrentaron un desafío de datos significativo. Las grabaciones de videojuegos estándar suelen capturar solo lo que hace el jugador y lo que muestra la pantalla, careciendo de los datos internos sobre el estado del juego que la IA necesita para aprender cómo tomar decisiones. Para resolver esto, construyeron un pipeline automatizado para recolectar un nuevo y masivo conjunto de datos llamado BOSS-140K. Este conjunto de datos contiene más de 140,000 clips de jugabilidad, sumando más de 200 horas, que presentan batallas contra 14 jefes diferentes a través de tres juegos distintos. A diferencia de los conjuntos de datos anteriores, este empareja el metraje de video con anotaciones detalladas, fotograma a fotograma, del estado interno del juego, incluyendo distancias exactas, tiempos de reutilización de habilidades y entradas del jugador. Utilizaron un agente especializado para jugar los juegos automáticamente, asegurando que se registrara una amplia variedad de interacciones sin la necesidad de que operadores humanos controlaran cada movimiento manualmente. Estos datos ricos y estructurados fueron esenciales para enseñar al sistema cómo vincular el mundo visual con las reglas subyacentes del juego.

Cuando los investigadores probaron WorldMind, los resultados mostraron una mejora notable en cómo se comportaban los personajes no jugables. En comparaciones directas contra métodos existentes, donde los personajes actuaban implícitamente dentro del video o seguían comandos externos, el nuevo sistema fue preferido por los evaluadores en aproximadamente el 70% de los casos. Los personajes generados por WorldMind no solo eran más tácticamente apropiados, sino también más coherentes, manteniendo una estrategia constante durante la pelea. Podían adaptarse a los movimientos de un jugador, cerrando la distancia cuando era necesario o retrocediendo para usar ataques de largo alcance, todo ello mientras la generación de video mantenía el ritmo a aproximadamente 20 fotogramas por segundo. Esta velocidad es suficiente para la interacción en tiempo real, lo que significa que el sistema puede ejecutarse sin problemas mientras un humano juega. El estudio también confirmó que el sistema podía generalizar su comprensión a juegos que no había visto durante el entrenamiento, siempre que se le proporcionara la información interna del estado correcta, lo que sugiere que el enfoque es lo suficientemente robusto como para aplicarse más allá de los juegos específicos utilizados en el estudio.

El trabajo presentado en este artículo sugiere un nuevo camino para el entretenimiento interactivo, donde la inteligencia artificial que gobierna un mundo de juego no es solo un generador de visuales, sino un participante en la lógica del juego. Al desacoplar la comprensión del estado de la generación del video, los investigadores han creado un marco donde los personajes no jugables pueden poseer una forma de conciencia situacional. Ya no están ligados a guiones preestablecidos o a las limitaciones de un único proceso generativo. En su lugar, pueden observar el mundo, razonar sobre sus opciones y actuar con intención. Aunque el sistema se centra actualmente en batallas contra jefes y géneros de juego específicos, el principio subyacente de separar la comprensión del estado de la generación de la acción ofrece una dirección prometedora para la creación de mundos digitales más dinámicos y receptivos en el futuro. Los investigadores han demostrado que cuando se le da a una IA una visión clara del estado del juego y una forma de pensar sobre él, los personajes que crea pueden realmente cobrar vida.