Evaluating Language Models' Evaluations of Games

1. Formulação do Problema

A avaliação tradicional de IA foca em capacidades de resolução de problemas (por exemplo, jogar xadrez, Go ou resolver problemas matemáticos). No entanto, o raciocínio humano envolve uma habilidade cognitiva de ordem superior: avaliação de problemas—a capacidade de avaliar se vale a pena se envolver com um problema, sistema ou jogo antes de tentar resolvê-lo.

Os autores identificam uma lacuna na pesquisa atual de IA: enquanto os modelos são testados sobre como jogam jogos, raramente são testados sobre como avaliam jogos. Especificamente, o artigo aborda duas dimensões da dificuldade de avaliação:

1. Dificuldade de Computação: Quão intensiva computacionalmente é a consulta? (por exemplo, calcular o ganho esperado exige simular estados do jogo).
2. Dificuldade de Quantificação: Quão ambíguo é o métrica? (por exemplo, definir "diversão" é subjetivo e carece de uma única verdade fundamental).

A questão central de pesquisa é: Em que medida os modelos de linguagem (MLs) modernos e modelos de raciocínio podem avaliar a justiça (ganho) e a "diversão" de jogos novos, e como essas avaliações se alinham com julgamentos humanos e ótimos da teoria dos jogos?

2. Metodologia

Conjunto de Dados e Estímulos

• Jogos Novos: O estudo utilizou um corpus de 121 jogos de tabuleiro estratégicos competitivos de dois jogadores (de Collins et al., 2025). Estes são variantes em grande parte novas de Jogo da Velha (por exemplo, diferentes tamanhos de tabuleiro, condições de vitória, handicaps) projetadas para serem improváveis de existir nos dados de treinamento, forçando os modelos a dependerem do raciocínio em vez da memorização.
• Base Humana: Aproximadamente 20 participantes humanos avaliaram cada jogo como "iniciantes" (antes de jogar) em duas consultas:
  1. Ganho Esperado (Justiça): A probabilidade do Jogador 1 vencer versus um empate.
  2. Diversão: Uma classificação subjetiva de quão agradável o jogo é.
• Dados Totais: Mais de 450 julgamentos humanos em todo o conjunto de dados.

Modelos Avaliados

Os autores testaram uma ampla gama de modelos, categorizados por suas capacidades de raciocínio:

• MLs Não-Raciocinantes: Modelos padrão (por exemplo, GPT-4, DeepSeek-v3, LLaMA 3.1) solicitados com ou sem Cadeia de Pensamento (CoT).
• Modelos de Raciocínio: Modelos avançados com traços de raciocínio explícitos (por exemplo, OpenAI o1, o3, GPT-5, DeepSeek-R1, Gemini 2.5 Pro/Flash).
• Bases Computacionais:
  • Ótimo da Teoria dos Jogos: Calculado onde possível (78 dos 121 jogos).
  • Agentes Simulados: "Jogador Intuitivo" (baseado em heurísticas), "Jogador Especialista" (busca em árvore de profundidade 5) e Busca em Árvore de Monte Carlo (MCTS).

Métricas de Avaliação

• Alinhamento: Correlação $R^2$ entre previsões do modelo e julgamentos humanos.
• Racionalidade: Precisão e desvio do ganho ótimo estimado da teoria dos jogos.
• Uso de Recursos: Análise de contagens de tokens de raciocínio para medir o custo computacional.
• Análise de Traços: Codificação de traços de raciocínio para identificar estratégias (por exemplo, simulação explícita, raciocínio analógico, computação matemática).

3. Principais Contribuições

1. Novo Paradigma de Avaliação: Propõe um quadro para avaliar a IA não apenas na resolução de problemas, mas na avaliação de se os problemas valem a pena ser resolvidos. Isso introduz uma camada de meta-raciocínio na avaliação de IA.
2. Formalismo para Dificuldade de Avaliação: Categoriza explicitamente consultas de avaliação por sua complexidade computacional (difícil de computar) e ambiguidade de quantificação (difícil de quantificar), fornecendo uma maneira estruturada de avaliar benchmarks de raciocínio de IA.
3. Estudo Empírico em Grande Escala: Fornece a primeira comparação em grande escala de MLs e modelos de raciocínio contra iniciantes humanos e ótimos da teoria dos jogos em avaliações de jogos novos.
4. Análise de Racionalidade de Recursos: Investiga a relação entre esforço de raciocínio (uso de tokens) e qualidade de avaliação, destacando a necessidade de meta-raciocínio racional de recursos em IA.

4. Principais Resultados

A. Ganho Esperado (Justiça)

• Raciocínio vs. Não-Raciocínio: Modelos não-raciocinantes (mesmo com CoT) mostraram baixo alinhamento com julgamentos humanos e ótimos da teoria dos jogos. Eles dependiam fortemente de vieses indutivos estatísticos dos dados de treinamento.
• Modelos de Raciocínio: Modelos com raciocínio explícito (por exemplo, o3, DeepSeek-R1) melhoraram significativamente o alinhamento tanto com julgamentos humanos quanto com ótimos da teoria dos jogos.
• Alinhamento Não-Monotônico: Uma descoberta crítica é uma relação não-monotônica entre sofisticação do modelo e alinhamento humano.
  • À medida que os modelos se tornavam mais sofisticados (GPT-4 $\to$ o1 $\to$ o3), alinhavam-se melhor com humanos.
  • No entanto, à medida que os modelos se aproximavam do ótimo da teoria dos jogos (por exemplo, GPT-5), seu alinhamento com julgamentos humanos degradava-se. O GPT-5 era altamente racional, mas "demasiado racional" para corresponder às intuições de iniciantes humanos.
• Evidência de Simulação: A análise de traços sugere que modelos de raciocínio de alto desempenho se envolvem em algum tipo de simulação explícita de jogo, embora a frequência varie.

B. Avaliação de Diversão

• Desafio de Quantificação: Avaliar "diversão" provou ser mais difícil do que avaliar ganho. Os resultados foram "irregulares" entre os modelos; modelos mais avançados não superaram consistentemente os menos avançados.
• Variabilidade Humana: Julgamentos humanos sobre diversão mostraram alta variância (por exemplo, distribuições bimodais), que a maioria dos modelos falhou em capturar.
• Fatores: Os modelos variaram nos fatores que consideraram (equilíbrio, desafio, duração, novidade). Embora a maioria considerasse "desafio" e "riqueza estratégica", eles diferiram significativamente em "equilíbrio" e "duração", levando a pontuações escalares inconsistentes.

C. Uso de Recursos

• Custos Imprevisíveis: Modelos de raciocínio exibiram uso de tokens altamente variável entre jogos e consultas.
• Falta de Correlação: Não houve forte correlação entre o número de tokens de raciocínio usados e a precisão da avaliação (nem contra humanos nem contra o ótimo da teoria dos jogos).
• Novidade vs. Computação: Contra-intuitivamente, jogos mais "novos" (aqueles mais distantes do Jogo da Velha padrão) não exigiram consistentemente mais tokens de computação, sugerindo que os modelos não adaptam dinamicamente os recursos com base na complexidade do problema.

5. Significado e Implicações

• Alinhamento de IA e Parceiros de Pensamento: Para que a IA sirva como "parceiros de pensamento" eficazes (por exemplo, em educação ou design de mecanismos), ela deve alinhar-se com valores e intuições humanas, não apenas com otimalidade matemática. A descoberta de que modelos "mais racionais" podem ser menos alinhados com humanos é crucial para o design de IA benéfica.
• Meta-Raciocínio: Os resultados destacam uma deficiência nos modelos atuais: eles carecem de meta-raciocínio racional de recursos. Eles não ajustam dinamicamente seu esforço computacional com base na dificuldade da consulta de avaliação.
• Direções Futuras: O artigo pede:
  • Desenvolvimento de agentes que possam simular diferentes níveis de racionalidade (por exemplo, simular um "iniciante" versus um "especialista").
  • Criação de benchmarks para capacidades de avaliação de problemas.
  • Investigação de como controlar a "precisão" das avaliações de IA para corresponder a contextos humanos específicos.

Em conclusão, este artigo desloca o foco de IA como solucionadora para IA como avaliadora, revelando que, embora os modelos de raciocínio sejam poderosos, sua capacidade de alinhar-se com julgamentos subjetivos humanos (especialmente em métricas ambíguas como diversão) é complexa e não linear, exigindo novas abordagens para meta-raciocínio e alocação de recursos.