📈 economics

The Learning Approach to Games

Este artigo propõe uma estrutura unificada que redefine os jogos por meio das estruturas internas de jogadores baseados em aprendizado, em vez de estratégias escalares, permitindo uma análise mais profunda de comportamentos dinâmicos e estabelecendo conexões mais fortes com o aprendizado por reforço, equilíbrio correlacionado e teoria de campo médio.

Autores originais: Melih İşeri, Erhan Bayraktar

Publicado 2026-02-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Melih İşeri, Erhan Bayraktar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Pare de Olhar para o Tabuleiro de Xadrez, Olhe para o Jogador

Imagine que você está assistindo a uma partida de xadrez. A teoria dos jogos tradicional (a forma antiga de estudar jogos) é como um árbitro parado no alto do tabuleiro. O árbitro só se importa com as peças, as regras e a pontuação final. Ele pergunta: "Se ambos os jogadores jogarem perfeitamente, onde o jogo terminará?". Eles assumem que os jogadores são apenas máquinas simples que sempre fazem o movimento matematicamente "melhor" para alcançar um estado estável.

Este artigo argumenta que essa visão está ignorando a parte mais importante: o cérebro do jogador.

Os autores, Melih İşeri e Erhan Bayraktar, dizem que os jogadores reais (sejam humanos ou IAs avançadas) não são apenas calculadoras simples. Eles são complexos, caóticos e estão constantemente aprendendo. Eles têm pensamentos internos, suposições sobre o que o oponente está pensando e mudam de ideia. Se você olhar apenas para as regras do jogo, perderá o drama dos jogadores tentando enganar, decepcionar e se adaptar uns aos outros.

O Novo Framework: Construindo o "Jogador" Primeiro

Em vez de começar pelo jogo, os autores começam construindo uma definição de um Jogador. Pense em um jogador não como um único botão que é pressionado, mas como uma fábrica complexa com três departamentos principais:

Os Sentidos (Observações): O jogador vê o mundo. Em um jogo, isso é ver o tabuleiro ou o último movimento do oponente.
O Cérebro (Estimativas): Esta é a parte legal. O jogador não apenas vê; ele supõe. Ele supõe o que o oponente fará a seguir. Ele supõe como será o futuro. Ele pode ter uma dúzia de diferentes "motores de suposição" rodando ao mesmo tempo, alguns dizendo "O oponente é agressivo", outros dizendo "O oponente está com medo".
As Mãos (Comportamento): Com base nessas suposições, o jogador decide o que fazer.

O artigo diz que, para entender um jogo, você tem que entender como essa fábrica funciona. Você tem que observar como o "Cérebro" atualiza suas suposições com base no que os "Sentidos" veem, e como isso altera as "Mãos".

Por que "Estável" Nem Sempre é o Objetivo

Na teoria dos jogos tradicional, todos querem alcançar um "Equilíbrio de Nash". Imagine uma dança onde todos param de se mover porque estão perfeitamente sincronizados. Ninguém quer mudar seu passo porque isso arruinaria a dança.

Os autores dizem: "Isso é chato, e não é como a competição real funciona."

Eles usam o exemplo de Pedra-Papel-Tesoura.

A Forma Antiga: A estratégia "perfeita" é escolher Pedra, Papel ou Tesoura aleatoriamente (1/3 de chance para cada). Se você fizer isso, ninguém pode te vencer. Você é "inexplorável".
A Nova Forma: Se você estiver em um torneio e apenas jogar aleatoriamente, você nunca vencerá. Você apenas empatará. Para realmente vencer, você tem que ser mais esperto. Você tem que adivinhar o que seu oponente está fazendo e então enganá-lo. Talvez você finja ser previsível para atraí-lo, e depois mude sua estratégia para pegá-lo desprevenido.

O artigo argumenta que, em uma competição real, os jogadores estão constantemente dançando, mudando passos e tentando enganar uns aos outros. Eles não estão procurando uma dança estável; eles estão procurando uma vantagem.

O "Equilíbrio de Incerteza"

Os autores introduzem um novo conceito chamado Equilíbrio de Incerteza (Uncertain Equilibrium).

Pense nisso como uma previsão do tempo em vez de um mapa fixo.

Visão Antiga: "Vai chover às 14h." (Fixo, certo).
Nova Visão: "Há 60% de chance de chuva, mas se o vento mudar, pode chegar a 90%." (Incerto, dinâmico).

Em seu modelo, um jogador não escolhe apenas uma estratégia. Ele tem uma coleção de diferentes cenários de "e se" em sua cabeça. Ele pode tentar uma estratégia, ver que ela falhou, atualizar seus cenários de "e se" e tentar outra coisa. Um "Equilíbrio de Incerteza" é um estado onde os jogadores estão constantemente alternando entre essas estratégias, nunca se estabelecendo completamente, mas encontrando um ritmo onde sempre retornam a certos movimentos repetidamente.

Um Exemplo de Jogo Simples: O Gato e o Rato

Para provar seu ponto, os autores criaram um jogo minúsculo e simples com dois jogadores:

Jogador 1 quer estar no Estado 1.
Jogador 2 quer estar no mesmo estado que o Jogador 1.

Se eles apenas jogassem a estratégia matemática "perfeita", ficariam presos em um loop onde nenhum vence. Mas quando os autores programaram os jogadores com seu novo modelo de "fábrica" (com aprendizado e suposição), os jogadores começaram a fazer algo selvagem:

O Jogador 2 fingiria ficar em um lugar para enganar o Jogador 1.
O Jogador 1 perceberia o truque e mudaria de tática.
Eles se perseguiam, mudando de ideia a cada poucos segundos.

O jogo não se estabilizou em um padrão calmo e entediante. Tornou-se uma dança dinâmica e mutável. Isso mostrou que o jogo é definido pela capacidade dos jogadores de aprender e mudar, não apenas pelas regras no tabuleiro.

A Ideia de "Campo Médio" (Mean-Field): A Multidão

O artigo também observa jogos com milhares de jogadores (como trânsito ou mercados de ações). Isso é chamado de "Campo Médio" (Mean-Field).

Forma Antiga: Você tenta calcular o que cada pessoa está fazendo. Impossível.
Nova Forma: Você imagina um "Jogador Representativo". Este jogador olha para a multidão e diz: "Todos os outros parecem estar fazendo X". O jogador então aprende como reagir a essa multidão.

Os autores mostram que, mesmo em uma multidão, se você der ao "Jogador Representativo" um cérebro que aprende e supõe, você obtém padrões interessantes que modelos matemáticos simples não captam.

A Conexão com a IA (Aprendizado por Reforço)

Finalmente, o artigo conecta isso à IA moderna (como a IA que joga videogames).

IA Antiga: "Aqui está uma recompensa por vencer. Vá encontrar o caminho para a recompensa." (Como um cachorro perseguindo um petisco).
Nova Visão (desta pesquisa): A IA está construindo um modelo interno complexo. Ela não está apenas perseguindo um petisco; ela está construindo um mapa do mundo, supondo o que os outros jogadores estão pensando e planejando vários passos à frente.

Os autores concluem que, para entender verdadeiramente como agentes inteligentes (humanos ou robôs) interagem, não podemos olhar apenas para as regras do jogo. Temos que olhar dentro da "fábrica" do jogador e ver como eles aprendem, supõem e se adaptam.

Resumo em Uma Frase

Em vez de tratar os jogadores como robôs simples que apenas seguem regras para encontrar uma solução estável, este artigo trata-os como seres complexos que aprendem, que constantemente supõem, enganam e se adaptam, criando um jogo dinâmico que é muito mais interessante e realista do que os modelos matemáticos tradicionais permitem.

Resumo Técnico: A Abordagem de Aprendizado para Jogos

Problema
A teoria dos jogos tradicional e a literatura de aprendizado multiagente tipicamente modelam os jogadores como entidades externas cujas estratégias recebem valores escalares, utilizando conceitos de equilíbrio (ex: Equilíbrio de Nash, Equilíbrio Correlacionado) para identificar escolhas compatíveis. Os autores argumentam que essa abordagem negligencia a estrutura interna dos jogadores, falhando em modelar com precisão comportamentos observados, particularmente em cenários competitivos complexos. Conceitos de equilíbrio padrão frequentemente assumem convergência e estabilidade, ao passo que a competição no mundo real frequentemente envolve estratégias dinâmicas, decepção e a evasão ativa do equilíbrio para obter vantagem. Além disso, os frameworks existentes têm dificuldade em unir o design de ambientes externos ao design dos próprios agentes de aprendizado complexos, especialmente quando múltiplos tomadores de decisão sofisticados interagem.

Metodologia
O artigo propõe um framework unificado que redefine os jogos em termos dos próprios jogadores, em vez de configurações externas. A metodologia central envolve:

Definição Abstrata de um Jogador: Um jogador é definido como uma tupla $(O, L_\phi, \Upsilon)$ consistindo em:
- Observações ( $O$ ): Uma sequência de observações do ambiente.
- Algoritmo de Aprendizado ( $L_\phi$ ): Um mecanismo que atualiza uma coleção de estimativas ( $\phi$ ) baseadas em observações e comportamento passado. Estas estimativas incluem objetos, relações, probabilidades de transição, custos, valores e comportamentos de oponentes.
- Comportamento ( $\Upsilon$ ): Um mapeamento de estimativas para ações.
  O framework modela explicitamente a complexidade interna dos jogadores, incluindo sua capacidade de formar estimativas hierárquicas (objetos, relações, previsões) e seu uso de aleatoriedade (ex: na estimativa de valor) para facilitar a exploração.
Equilíbrio Incerto: Os autores introduzem um novo conceito de equilíbrio, o "Equilíbrio Incerto", adaptado para jogadores com dinâmicas de aprendizado internas. Diferente dos equilíbrios padrão que focam em distribuições de estratégia estáticas, este conceito exige:
- Otimalidade: Os jogadores devem se aproximar de controles ótimos dadas suas estimativas atuais.
- Recorrência: Os comportamentos dos jogadores devem ocorrer recursivamente de forma infinita, reconhecendo que os jogadores podem ciclar através de estratégias em vez de convergir para um único ponto.
- Estados Psicológicos: O framework permite a incorporação de parâmetros "psicológicos", como a expectativa de um jogador sobre o melhor resultado alcançável, o que influencia a exploração e o desespero.
Extensões de Campo Discreto e de Campo Médio (Mean-Field):
- Jogos Discretos: O framework é aplicado a cenários discretos, demonstrando conexões com o Equilíbrio Correlacionado, mas destacando como algoritmos de aprendizado e modelagem de oponente criam comportamentos não estacionários e dinâmicos que os conceitos de equilíbrio padrão perdem.
- Jogos de Campo Médio (Mean-Field): Os autores adaptam o framework para cenários de campo médio onde um agente representativo estima a distribuição da população. Eles constroem algoritmos de aprendizado explícitos (ex: iterações de ponto fixo em distribuições populacionais) para demonstrar como jogos de campo médio "declarados" podem gerar comportamentos oscilatórios mesmo quando equilíbrios relaxados não existem.
Integração com Aprendizado por Reforço (Reinforcement Learning): O artigo revisa métodos centrais de Aprendizado por Reforço (Baseado em Valor, Baseado em Política, Actor-Critic, Baseado em Modelo) através deste novo prisma, enfatizando que o design do jogador envolve camadas complexas de estimativa e que a consistência temporal é uma propriedade do design, não um requisito fundamental.

Principais Resultados e Ilustrações

Jogo de Brinquedo de Dois Jogadores: Os autores apresentam um jogo simples de dois jogadores com um horizonte de um passo fixo. Eles demonstram que, embora exista um equilíbrio de Nash único, jogadores sofisticados empregando algoritmos de aprendizado não convergem para ele. Em vez disso, exibem dinâmicas não estacionárias, ajustando constantemente as estratégias para explorar ou evitar o oponente. A simulação mostra que variar parâmetros como incentivo ( $c$ ) e expectativa ( $B$ ) leva a padrões comportamentais complexos e repetitivos, em vez de convergência estática.
Exemplos de Campo Médio: Em dois exemplos específicos de campo médio, os autores mostram que equilíbrios relaxados padrão podem não existir (dev uma custos descontínuos ou falta de pontos fixos), mas o algoritmo de aprendizado proposto induz um "equilíbrio incerto" onde a distribuição populacional oscila entre estados específicos infinitamente muitas vezes.
Implementação CartPole: Um algoritmo de aprendizado baseado em valor para o ambiente CartPole é implementado sem as atualizações padrão de Bellman. Em vez disso, utiliza uma coleção de redes de valor e promove a consistência temporal pós-treinamento, demonstrando a flexibilidade do framework em configurações de agente único.

Significância e Alegações
O artigo afirma fornecer uma linguagem fundamental para analisar jogos ao mudar o foco das condições de compatibilidade externa para a estrutura interna e os processos de aprendizado dos jogadores.

Reenquadramento da Competição: Os autores argumentam que a competição é definida não pela convergência para um equilíbrio, mas pelo esforço contínuo para evitá-lo. O framework captura isso ao modelar jogadores como sistemas dinâmicos que estimam, enganam e se adaptam.
Unindo Teoria dos Jogos e RL: Ao abstrair construções de aprendizado por reforço em definições de teoria dos jogos, o trabalho oferece uma maneira de analisar interações multiagente complexas onde os agentes não estão apenas otimizando recompensas escalares, mas engajando-se em um aprendizado profundo e estruturado.
Limitações e Escopo: Os autores notam modestamente que não projetam novos algoritmos de aprendizado para tarefas específicas, mas sim reenquadram configurações de jogos existentes. Eles reconhecem que modelar o crescimento estrutural total da inteligência (ex: uma criança adquirindo novos tipos de estimativas) está além do escopo atual, mas representa uma direção necessária para pesquisas futuras. O trabalho serve como um ponto de partida formal para entender como o design interno dos agentes dita a dinâmica emergente dos jogos, sugerindo que os conceitos de equilíbrio devem ser reavaliados no contexto de agentes de aprendizado.