No mundo da inteligência artificial, alguns dos desafios mais difíceis vêm de jogos onde os jogadores não conseguem ver o tabuleiro inteiro. Pense em uma mesa de pôquer: você conhece suas próprias cartas e as cartas na mesa, mas não tem ideia do que seu oponente está segurando. Essa falta de informação completa cria um cenário de incerteza onde cada decisão deve ser pesada contra possibilidades ocultas. Por décadas, pesquisadores têm usado um método chamado minimização de arrependimento contrafactual para ensinar computadores a jogar esses jogos. A lógica é direta: após um jogo terminar, o computador olha para trás para cada escolha que fez e pergunta: "E se eu tivesse feito algo diferente?". Se mudar essa escolha tivesse levado a um resultado melhor, o computador sente uma sensação de "arrependimento". Ao longo de milhões de jogos, ele aprende a minimizar esse arrependimento, estabelecendo-se eventualmente em uma estratégia tão forte que nenhum oponente pode vencê-la consistentemente. Essa abordagem produziu algumas das IAs de pôquer mais formidáveis da história.

No entanto, um grande problema surge quando o jogo se torna complexo demais. Em variantes simples de pôquer, o computador pode mapear cada caminho possível que o jogo pode tomar. Mas em versões mais intrincadas, com sequências de jogo mais longas, o número de caminhos possíveis explode para os trilhões. O método tradicional, que exige verificar cada caminho individual para calcular o arrependimento, torna-se impossível porque o computador precisaria processar mais dados do que existe no universo. Para resolver isso, pesquisadores recorreram ao aprendizado profundo (deep learning), usando redes neurais para adivinhar as jogadas certas sem verificar todas as possibilidades. No entanto, mesmo esses sistemas avançados enfrentam dificuldades quando o jogo se estende por um horizonte longo, muitas vezes perdendo-se no volume puro de ruído aleatório gerado pela amostragem de apenas alguns caminhos. Eles carecem de uma maneira de organizar seu pensamento em blocos gerenciáveis, tal como um humano que tenta lembrar de mil passos individuais em vez de reconhecer algumas rotinas familiares.

Uma equipe de pesquisadores da Universidade de Hong Kong, da Universidade de Pequim e da Universidade de Purdue introduziu uma nova abordagem chamada Minimização de Arrependimento Contrafactual Profundo Hierárquico, ou HDCFR, projetada para superar essas limitações. O trabalho deles, publicado em um artigo de pesquisa, propõe que, em vez de forçar a IA a aprender cada movimento minúsculo do zero, eles devem ensiná-la a aprender "habilidades" primeiro. Neste sistema, a IA aprende componentes de baixo nível que atuam como habilidades específicas para resolver pequenas partes do jogo, como um padrão de apostas particular ou uma manobra defensiva. Um componente de nível superior atua então como um gerente, decidindo qual habilidade usar em qualquer momento dado e quando alternar entre elas. Essa estrutura imita como os humanos jogam: não pensamos em cada movimento muscular ao dirigir um carro; pensamos em termos de "virar à esquerda", "mudar de faixa" ou "parar", e alternamos entre esses objetivos de alto nível conforme a situação muda.

Os pesquisadores construíram seu algoritmo para funcionar em ambientes onde a árvore completa do jogo é grande demais para ser vista, um cenário conhecido como model-free. Nesses cenários, a IA não pode olhar adiante para ver todos os futuros possíveis; ela pode apenas amostrar alguns caminhos e aprender com os resultados. Para fazer isso funcionar sem que o processo de aprendizado se torne instável devido a flutuações aleatórias, a equipe introduziu uma técnica de redução de variância. Isso atua como um estabilizador, ajudando a IA a distinguir entre uma estratégia genuinamente boa e um golpe de sorte. Eles provaram matematicamente que este método hierárquico converge para uma estratégia ótima, o que significa que a IA acabará aprendendo a jogar perfeitamente, assim como os métodos antigos, mas com a capacidade adicional de lidar com jogos muito mais profundos e complexos.

Quando testado contra os algoritmos mais fortes existentes no campo, o HDCFR mostrou uma vantagem clara, particularmente à medida que os jogos se tornavam mais difíceis. Os pesquisadores avaliaram seu sistema em várias versões de pôquer, variando de uma variante simples com poucas cartas a uma versão complexa com uma árvore de jogo contendo mais de trinta trilhões de nós. Nos jogos mais simples, o novo método teve um desempenho equivalente às melhores ferramentas existentes. No entanto, conforme os jogos cresciam em extensão e os horizontes de decisão se expandiam, os outros métodos começavam a falhar, seu desempenho tornando-se errático ou falhando em melhorar. O HDCFR, por outro contraste, continuou a aprender efetivamente, alcançando um nível de jogo superior. A equipe descobriu que a estrutura hierárquica permitiu que a IA mantivesse a estabilidade mesmo quando o jogo se estendia, um feito que métodos anteriores de aprendizado profundo não conseguiam alcançar sem serem sobrecarregados pelo ruído dos dados.

Uma descoberta fundamental do estudo foi a capacidade do sistema de transferir conhecimento de uma tarefa para outra. Os pesquisadores treinaram a IA em uma versão mais simples do jogo e depois pediram que ela aplicasse o que havia aprendido a uma versão mais complexa. Eles descobriram que as habilidades de baixo nível que a IA havia dominado — como estratégias de apostas específicas — podiam ser reutilizadas no novo jogo, mais difícil. Essa transferência de habilidades acelerou significativamente o processo de aprendizado. Em alguns casos, a IA pôde focar inteiramente no aprendizado do gerenciamento de alto nível dessas habilidades, pulando a necessidade de reaprender o básico. Isso sugere que o sistema não está apenas memorizando um jogo específico, mas está realmente aprendendo um conjunto flexível de ferramentas que podem ser adaptadas a novos desafios. Os pesquisadores também observaram que a IA aprendeu a usar essas habilidades por períodos prolongados, às vezes mantendo uma única estratégia por dez ou mais movimentos antes de trocar, o que espelha a forma como especialistas humanos pensam em termos de fases, em vez de ações isoladas.

O estudo também incluiu uma análise detalhada do que acontece quando certas partes do sistema são removidas. Quando os pesquisadores removeram o mecanismo que permite à IA estender habilidades ao longo do tempo, o sistema teve dificuldade em convergir, tal como os métodos antigos. Da mesma forma, quando removeram o estabilizador de redução de variância, o desempenho de aprendizado caiu significativamente, especialmente nos jogos mais longos. Esses testes confirmaram que tanto a estrutura hierárquica quanto as técnicas de redução de ruído são essenciais para o funcionamento do sistema em ambientes profundos e complexos. Os pesquisadores observaram que, embora o sistema exija um poder computacional substancial para treinamento, levando cerca de uma semana em um servidor padrão para os maiores jogos, os resultados demonstram um caminho viável para a inteligência artificial em jogos com espaços de estados massivos.

Em última análise, este trabalho representa uma mudança em como as máquinas abordam a tomada de decisão complexa sob incerteza. Ao organizar o aprendizado em uma hierarquia de habilidades e gerentes, os pesquisadores criaram um sistema que pode navegar pelos vastos e ocultos cenários de jogos de informação imperfeita de forma mais eficaz do que nunca. As descobertas sugerem que, para a IA dominar os desafios estratégicos mais complexos, ela pode precisar parar de tentar calcular todas as possibilidades e começar a aprender a pensar em termos de habilidades estruturadas e reutilizáveis. Essa abordagem não apenas melhora o desempenho em jogos, mas oferece um modelo de como agentes inteligentes podem aprender a operar no mundo real, onde a informação é frequentemente incompleta e o futuro é vasto demais para ser mapeado em detalhes completos.