Nas paisagens digitais dos videogames, o mundo é frequentemente um palco montado para a jornada de um único jogador. No entanto, os momentos mais memoráveis surgem frequentemente não das próprias ações do jogador, mas das reações dos personagens que ele encontra pelo caminho. Esses personagens não jogáveis, ou NPCs, são os habitantes do mundo do jogo, encarregados de fazer com que o ambiente pareça vivo. Durante décadas, os designers de jogos confiaram em roteiros rígidos para fazer esses personagens se moverem e agirem, criando comportamentos que são previsíveis e muitas vezes repetitivos. Mais recentemente, a inteligência artificial começou a oferecer um novo caminho a seguir, utilizando modelos que podem gerar sequências inteiras de vídeo de jogabilidade. Contudo, um obstáculo significativo permanece: nesses novos sistemas de IA, o comportamento dos personagens é frequentemente apenas um subproduto do vídeo que está sendo criado, ou é forçado a seguir instruções externas ao sistema. Isso significa que os personagens não conseguem verdadeiramente "ver" a situação em mudança ao seu redor e decidir como reagir no momento. Eles carecem de uma mente que conecte o que está acontecendo na tela ao que eles devem fazer a seguir.

Uma equipe de pesquisadores da Tencent e da Universidade Nacional de Singapura abordou essa lacuna ao introduzir um novo framework chamado WorldMind. O trabalho deles representa uma mudança na forma como os mundos de jogos são modelados, afastando-se de sistemas onde o comportamento do personagem está escondido dentro do processo de geração de vídeo. Em vez disso, eles construíram um sistema que separa explicitamente o ato de compreender o estado do jogo do ato de gerar o vídeo. Imagine um jogo onde o computador primeiro pausa para avaliar a distância entre um jogador e um monstro, verifica quais habilidades o monstro tem disponíveis e, então, decide conscientemente por um movimento específico antes de desenhar o próximo quadro do vídeo. Este é o núcleo do WorldMind. Os pesquisadores demonstraram que, ao decompor o processo em etapas distintas — compreender a cena, raciocinar sobre uma resposta e, então, gerar o resultado visual — eles puderam criar personagens não jogáveis que reagem ao estado evolutivo do jogo com um nível de consciência tática anteriormente não visto em modelos generativos.

A base desta nova abordagem reside em uma estrutura de quatro camadas que imita um ciclo de percepção e ação. A primeira camada atua como os olhos do sistema, pegando os quadros de vídeo gerados até agora e reconstruindo um resumo digital compacto da situação atual. Este resumo inclui detalhes específicos, como a distância entre o jogador e o chefe, o ângulo em que estão se enfrentando e um histórico do que o chefe utilizou de habilidades recentemente. Este é um passo crucial porque, em modelos anteriores, a IA tinha que adivinhar esses detalhes enquanto simultaneamente tentava desenhar o vídeo, o que frequentemente levava a comportamentos confusos ou sem resposta. Ao criar este resumo claro e separado do estado, o sistema garante que o processo de tomada de decisão tenha uma base sólida de fatos para trabalhar.

Uma vez estabelecido este estado compacto, ele é passado para a segunda camada, que serve como o cérebro da operação. Aqui, um grande modelo de linguagem — um tipo de inteligência artificial treinada para entender e gerar linguagem humana — lê o resumo do estado do jogo junto com uma lista das habilidades disponíveis do chefe e suas descrições. O modelo então raciocina sobre a situação para planejar o próximo movimento. Ele se pergunta questões como: "O jogador está muito perto, então um ataque de aproximação é necessário" ou "O jogador está longe, então devo usar uma habilidade de longo alcance". Esta camada não simplesmente adivinha; ela formula um plano tático baseado nas mecânicas do jogo e na realidade atual da cena. Os pesquisadores foram cuidadosos para garantir que esse raciocínio fosse fundamentado nas regras reais do jogo, em vez de apenas imitar padrões de dados de treinamento. Eles descobriram que, quando alteravam as descrições das habilidades ou o estado do jogo, o modelo mudava suas decisões de acordo, provando que estava verdadeiramente compreendendo as mecânicas em vez de apenas memorizar resultados.

A terceira camada atua como um tradutor, convertendo o plano de alto nível do cérebro em um conjunto de instruções que o gerador de vídeo possa entender. Ela pega a ação escolhida e os movimentos do jogador e os transforma em uma sequência temporal de prompts de linguagem natural. Por exemplo, pode gerar uma frase como "o jogador está realizando um ataque enquanto o chefe está realizando um golpe de salto". Isso garante que a camada de geração visual, o quarto e último componente, receba instruções precisas e temporalmente alinhadas. O gerador de vídeo então cria o próximo segmento do vídeo de jogabilidade com base nesses prompts. Crucialmente, os quadros que ele produz não são o fim da linha; eles são alimentados de volta na primeira camada para iniciar o ciclo novamente. Isso cria um loop fechado onde o mundo é constantemente observado, analisado e atualizado, permitindo que o personagem não jogável reaja às consequências de suas próprias ações anteriores em tempo real.

Para treinar e testar este sistema, os pesquisadores enfrentaram um desafio de dados significativo. Gravações de videogames padrão geralmente capturam apenas o que o jogador faz e o que a tela mostra, carecendo dos dados internos sobre o estado do jogo que a IA precisa para aprender como tomar decisões. Para resolver isso, eles construíram um pipeline automatizado para coletar um novo e massivo conjunto de dados chamado BOSS-140K. Este conjunto de dados contém mais de 140.000 clipes de jogabilidade, totalizando mais de 200 horas, apresentando batalhas contra 14 chefes diferentes em três jogos distintos. Diferente de conjuntos de dados anteriores, este emparelha as filmagens de vídeo com anotações detalhadas, quadro a quadro, do estado interno do jogo, incluindo distâncias exatas, tempos de recarga de habilidades e entradas do jogador. Eles utilizaram um agente especializado para jogar os jogos automaticamente, garantindo uma ampla variedade de interações registradas sem a necessidade de operadores humanos para controlar cada movimento manualmente. Estes dados ricos e estruturados foram essenciais para ensinar o sistema a vincular o mundo visual às regras subjacentes do jogo.

Quando os pesquisadores testaram o WorldMind, os resultados mostraram uma melhoria marcante no comportamento dos personagens não jogáveis. Em comparações diretas contra métodos existentes, onde os personagens agiam implicitamente dentro do vídeo ou seguiam comandos externos, o novo sistema foi preferido por avaliadores em aproximadamente 70% dos casos. Os personagens gerados pelo WorldMind foram não apenas mais taticamente apropriados, mas também mais coerentes, mantendo uma estratégia consistente durante a luta. Eles conseguiram se adaptar aos movimentos de um jogador, aproximando a distância quando necessário ou recuando para usar ataques de longo alcance, tudo isso enquanto a geração de vídeo acompanhava o ritmo de aproximadamente 20 quadros por segundo. Esta velocidade é suficiente para interação em tempo real, o que significa que o sistema pode rodar suavemente enquanto um humano está jogando. O estudo também confirmou que o sistema pode generalizar seu entendimento para jogos que não viu durante o treinamento, desde que lhe seja fornecida a informação interna de estado correta, sugerindo que a abordagem é robusta o suficiente para ser aplicada além dos jogos específicos usados no estudo.

O trabalho apresentado neste artigo sugere um novo caminho para o entretenimento interativo, onde a inteligência artificial que governa um mundo de jogo não é apenas um gerador de visuais, mas um participante na lógica do jogo. Ao desacoplar a compreensão do estado da geração do vídeo, os pesquisadores criaram um framework onde os personagens não jogáveis podem possuir uma forma de consciência situacional. Eles não estão mais presos a roteiros pré-programados ou às limitações de um único processo generativo. Em vez disso, eles podem observar o mundo, raciocinar sobre suas opções e agir com intenção. Embora o sistema esteja atualmente focado em lutas de chefes e gêneros de jogos específicos, o princípio subjacente de separar a compreensão do estado da geração da ação oferece uma direção promissora para a criação de mundos digitais mais dinâmicos e responsivos no futuro. Os pesquisadores mostraram que, quando você dá a uma IA uma visão clara do estado do jogo e uma maneira de pensar sobre ele, os personagens que ela cria podem verdadeiramente ganhar vida.