🤖 AI

Discovering Multiagent Learning Algorithms with Large Language Models

Este artigo demonstra que os Modelos de Linguagem de Grande Escala podem automatizar a descoberta de algoritmos competitivos de Aprendizado por Reforço Multiagente para jogos de informação imperfeita, e mostra que destilar essas descobertas complexas e específicas do ambiente em núcleos algorítmicos mínimos produz generalização superior e redução da complexidade estrutural.

Autores originais: Zun Li, John Schultz, Daniel Hennes, Marc Lanctot

Publicado 2026-05-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zun Li, John Schultz, Daniel Hennes, Marc Lanctot

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um grupo de robôs a jogar pôquer, Go ou até mesmo um jogo de "Dados Mentirosos". Por décadas, os humanos foram os treinadores, ajustando manualmente os cérebros dos robôs, tentando diferentes fórmulas matemáticas e esperando que eles melhorassem. É um processo lento e tedioso de tentativa e erro.

Este artigo descreve uma nova maneira de treinar: em vez de um humano ajustar o código, os pesquisadores permitiram que um Modelo de Linguagem de Grande Escala (LLM) — uma IA superinteligente que entende código — atuasse como um biólogo evolutivo. Eles chamam esse sistema de AlphaEvolve.

Aqui está a história do que eles descobriram, dividida em conceitos simples.

1. O Laboratório Evolutivo

Os pesquisadores montaram um "laboratório" digital com dois tipos diferentes de algoritmos de jogo:

CFR (Minimização de Arrependimento Contrafactual): Pense nele como um aluno que aprende olhando para cada erro que cometeu e perguntando: "Se eu tivesse feito algo diferente, teria vencido?"
PSRO (Oráculos de Resposta no Espaço de Políticas): Este é como um treinador que monta uma equipe de jogadores diferentes, coloca-os uns contra os outros e adiciona constantemente novos jogadores mais inteligentes ao elenco para derrotar o melhor atual.

O LLM recebeu o código-fonte desses algoritmos e recebeu a instrução: "Melhore-os. Reduza os erros (explorabilidade) que os robôs cometem."

O LLM não apenas ajustou alguns números; ele reescreveu a lógica do código em si, mutando os algoritmos como DNA. Após muitas gerações de "sobrevivência do mais apto", o LLM produziu dois novos algoritmos altamente complexos:

VAD-CFR: Uma versão do aluno de "Arrependimento" que se adapta selvagemente a quão caótico o jogo parece.
SHOR-PSRO: Uma versão do "Treinador de Equipe" que mistura diferentes estratégias de uma maneira muito específica e complexa.

2. A Armadilha do "Superdimensionado"

Quando testaram esses novos algoritmos descobertos por IA, eles foram incríveis. Derrotaram todos os campeões projetados por humanos nos jogos específicos em que foram treinados.

No entanto, os pesquisadores notaram algo suspeito. O LLM construiu esses algoritmos como um chef de mestre criando um prato especificamente para um comensal muito exigente. O código estava cheio de mecanismos complexos e emaranhados que funcionavam perfeitamente para os jogos de treinamento, mas provavelmente estavam apenas "sobreajustando" — memorizando os dados de treinamento em vez de aprender as regras gerais do jogo.

Era como se o LLM tivesse construído um carro com um turbo, um sistema de nitro e uma suspensão especial ajustada apenas para uma pista de corrida específica. Ele venceria naquela pista, mas se você o levasse para uma estrada de terra irregular, ele poderia se desmontar.

3. A Cirurgia de "Ablação" (O Trabalho de Detetive)

Para descobrir o que realmente tornava esses algoritmos inteligentes, os pesquisadores realizaram "cirurgias". Eles removeram sistematicamente partes do código para ver o que acontecia. Isso é chamado de ablação.

Eles descobriram que as partes sofisticadas e complexas (como rastrear volatilidade ou misturar estratégias de maneiras específicas) eram em grande parte recheio. Elas ajudavam o algoritmo a vencer na pista de treinamento, mas não ajudavam a generalizar para novos jogos.

Quando retiraram a "roupa de gala", encontraram o esqueleto que realmente fazia o motor funcionar.

4. Os Vencedores Destilados

Ao manter apenas os princípios mais essenciais e fundamentais e descartar o código excessivamente complicado, eles criaram dois novos algoritmos mais simples:

WOP-CFR (CFR Preditivo Otimista com Inicialização Quente):
- A Analogia: Imagine um aluno que se recusa a tomar notas nos primeiros 500 dias de aula (uma "inicialização quente") para evitar anotar maus hábitos. Depois, ele começa a tomar notas, mas é "otimista" — ele assume que o próximo movimento será ligeiramente melhor do que realmente é, o que ajuda a aprender mais rápido.
- O Resultado: Esta versão simples foi na verdade melhor em generalizar para novos jogos do que o original complexo. Era menos propensa a ficar confusa com novas situações.
PM-PSRO (PSRO de Correspondência de Projeção):
- A Analogia: Imagine um treinador que ignora o "ruído" da multidão. Em vez de olhar para cada pontuação individual, ele olha para o desempenho de um jogador em relação à média de toda a equipe. Se um jogador está abaixo da média, ele é instantaneamente esquecido. Se está acima da média, ele ganha o holofote.
- O Resultado: Esta versão simplificada também foi superior ao original complexo, provando que a lógica complexa de mistura do LLM não era necessária.

5. A Grande Conclusão

O artigo conclui que os LLMs são ótimos em propor ideias, mas os humanos são necessários para destilá-las.

O LLM agiu como um inventor criativo que constrói uma máquina com 500 peças móveis. Os pesquisadores agiram como engenheiros que perceberam: "Ei, precisamos apenas de 3 dessas peças para fazê-la funcionar, e remover as outras 497 a torna mais rápida e confiável."

Resumo da Alegação:
Os pesquisadores usaram com sucesso uma IA para descobrir novos algoritmos de jogo que derrotaram especialistas humanos. No entanto, as descobertas brutas da IA eram muito complexas e especializadas. Ao remover cirurgicamente a complexidade desnecessária, eles criaram algoritmos mais simples e limpos que eram ainda melhores em lidar com novos jogos não vistos. Isso prova que a IA pode ser uma ferramenta poderosa para a descoberta científica, desde que os humanos estejam lá para simplificar e interpretar os resultados.

Resumo Técnico: Descobrindo Algoritmos de Aprendizado Multiagente com Modelos de Linguagem de Grande Escala

Declaração do Problema

Historicamente, os avanços no Aprendizado por Reforço Multiagente (MARL) para jogos de informação imperfeita têm dependido do refinamento manual e iterativo de baselines algorítmicas. Os pesquisadores navegam por vastos espaços combinatórios de regras de atualização e escolhas estruturais (por exemplo, desconto de arrependimento, derivação de equilíbrio) principalmente por meio de intuição e tentativa e erro, frequentemente recorrendo a heurísticas matematicamente tratáveis que podem não ser ótimas. Este artigo aborda a limitação do design manual propondo a automação do próprio processo de descoberta de algoritmos utilizando Modelos de Linguagem de Grande Escala (LLMs).

Metodologia

Os autores implantam o AlphaEvolve, um agente codificador evolutivo distribuído alimentado por LLMs (especificamente o Gemini 2.5 Pro), para automatizar o design de algoritmos MARL. O framework trata o código-fonte de um algoritmo como um genoma, utilizando o LLM como um operador genético inteligente para realizar mutações semânticas, reescrever lógica e injetar operações simbólicas inovadoras.

O estudo foca em dois paradigmas distintos da teoria dos jogos:

Minimização de Arrependimento Contrafactual (CFR): O espaço de busca é definido por três classes Python evolutivas: RegretAccumulator (como os arrependimentos são processados/descontados), PolicyFromRegretAccumulator (como as políticas são derivadas dos arrependimentos) e PolicyAccumulator (como as políticas são ponderadas para a média final).
Oráculos de Resposta no Espaço de Políticas (PSRO): O espaço de busca envolve duas classes separadas e evolutivas: TrainMetaStrategySolver (para gerar meta-estratégias durante o treinamento do oráculo) e EvalMetaStrategySolver (para calcular perfis de estratégia para avaliação). Essa separação permite que o LLM descubra agendamentos dinâmicos e assimétricos entre treinamento e avaliação.

Protocolo Experimental:

Conjunto de Treinamento: Os algoritmos são evoluídos em um conjunto de quatro jogos (Poker de Kuhn com 3 jogadores, Poker de Leduc com 2 jogadores, Goofspiel de 4 cartas, Dados de Mentiroso de 5 lados) para maximizar a aptidão (explorabilidade negativa).
Avaliação: Os algoritmos evoluídos e fixos são testados em uma suíte mais ampla de 18 jogos, incluindo variantes maiores e diferentes famílias de jogos (Poker, Goofspiel, Dados de Mentiroso, Blotto, Battleship).
Diluição via Ablação: Reconhecendo que os LLMs podem sofrer de sobreajuste ao sobrepor mecanismos complexos e sinérgicos sobre princípios centrais, os autores empregam uma metodologia rigorosa de ablação com divisão treino-teste. Eles utilizam a Média Interquartil (IQM) das pontuações de melhoria logarítmica para isolar quais componentes impulsionam a generalização versus aqueles que apenas maximizam a aptidão de treinamento.

Principais Contribuições

1. Descoberta de Algoritmos de Alto Desempenho

A busca evolutiva descobriu com sucesso dois novos algoritmos que são competitivos com as baselines de última geração projetadas por humanos:

VAD-CFR (CFR Descontado Adaptativo à Volatilidade): Uma variante do CFR que apresenta desconto adaptativo baseado no rastreamento de volatilidade, impulso instantâneo de arrependimento e previsão otimista.
SHOR-PSRO (PSRO de Arrependimento Híbrido Otimista Suavizado): Um meta-solver que mistura Correspondência de Arrependimento Otimista+ (ORM+) com melhores estratégias puras suavizadas, utilizando solvers assimétricos para treinamento e avaliação.

2. Identificação de Superespecialização

Através de estudos de ablação sistemáticos, o artigo demonstra que, embora as descobertas brutas do LLM sejam altamente eficazes nas distribuições de treinamento, elas frequentemente contêm componentes "superengenhariados" (por exemplo, rastreamento específico de volatilidade, agendamentos complexos de mistura) que estão fortemente acoplados ao conjunto de treinamento, mas não contribuem para a generalização. Em alguns casos, esses mecanismos complexos atuam como penalidades de generalização.

3. Diluição de Solvers Mínimos

Ao remover as heurísticas superespecializadas e reter apenas as mudanças estruturais fundamentais identificadas nos estudos de ablação, os autores produzem dois solvers mínimos e matematicamente puros:

WOP-CFR (CFR Preditivo Otimista com Inicialização Quente): Esta versão diluída retém três mecanismos centrais do VAD-CFR:
1. Inicialização Quente Rígida: Uma suspensão estrita de 500 iterações da média de políticas para evitar que ruídos de alta variância no início poluam a estratégia cumulativa.
2. Desconto Extremamente Assimétrico: O uso de um expoente negativo ( $\beta = -0.1$ ) para arrependimentos negativos para atuar como um "portão de esquecimento" instantâneo, decaindo-os mais rapidamente do que as baselines ajustadas manualmente.
3. Previsão Otimista: Derivação de políticas por meio de uma projeção não linear (expoente 1,5) com um fator de otimismo decrescente.
  Resultado: O WOP-CFR alcança uma generalização superior (maior IQM de Teste) do que o VAD-CFR bruto, reduzindo significativamente a complexidade estrutural.
PM-PSRO (PSRO de Correspondência por Projeção): Esta versão diluída substitui os agendamentos complexos de mistura híbrida e recozimento do SHOR-PSRO por um único mecanismo central:
1. Utilidade Projetada por Tangente: Substituição do sinal de arrependimento na Correspondência de Arrependimento pela projeção tangente do vetor de utilidade esperada (centralizando as utilidades pela média da população).
2. Orçamento Dinâmico: Escalonamento das iterações do solver interno linearmente com o tamanho do jogo empírico.
3. Solver Unificado: Uso de um solver com média temporal tanto para treinamento quanto para avaliação.
  Resultado: O PM-PSRO supera o SHOR-PSRO bruto em tarefas de generalização com uma estrutura simplificada e interpretável.

Resultados

Desempenho: Tanto as descobertas brutas (VAD-CFR, SHOR-PSRO) quanto os solvers mínimos diluídos (WOP-CFR, PM-PSRO) consistentemente se classificam entre os três primeiros em uma suíte de avaliação de 18 jogos.
Generalização: Os solvers diluídos frequentemente superam suas contrapartes brutas de LLM em jogos de teste retidos. Por exemplo, o WOP-CFR alcança a menor explorabilidade em 14 dos 18 jogos, comparado a 15 para o VAD-CFR bruto, mas com uma melhoria de +0,119 no IQM de Teste sobre a versão bruta. Da mesma forma, o PM-PSRO mostra uma melhoria de +0,059 no IQM de Teste sobre o SHOR-PSRO.
Robustez: Os algoritmos diluídos mantêm alto desempenho em diversas famílias de jogos (Poker, Goofspiel, Dados de Mentiroso, Blotto, Battleship) e escalas variadas (de 2 a 347.810 estados de informação).
JNFs Aleatórios: Em avaliações em jogos de forma normal de $N$ jogadores gerados aleatoriamente, tanto o SHOR-PSRO quanto o PM-PSRO dominam as baselines estabelecidas (Uniforme, AlphaRank, PRD, RM), com a lacuna de desempenho ampliando-se à medida que as iterações aumentam.

Significado e Alegações

O artigo alega que a busca evolutiva orientada por LLMs é um poderoso mecanismo de proposta para descoberta algorítmica, mas é mais eficaz quando incorporada em um pipeline com humano no loop. O LLM propõe combinações complexas de candidatos de mecanismos, mas uma ablação sistemática de treino-teste é necessária para revelar quais componentes realmente generalizam. O pesquisador então dilui esses sobreviventes em solvers mínimos.

Os autores enfatizam que seu trabalho preenche a lacuna entre o meta-aprendizado neural expressivo e a descoberta simbólica ao evoluir esqueletos de código interpretáveis. Eles afirmam explicitamente que seus resultados não fornecem garantias formais de convergência para os algoritmos diluídos (que são motivados empiricamente em vez de comprovados teoricamente) e que a avaliação está restrita a baselines baseadas em tabelas e jogos com menos de 350 mil estados de informação devido à exigência de cálculo exato de explorabilidade. O estudo conclui que o verdadeiro valor do LLM reside em sua capacidade de navegar espaços de design para encontrar mecanismos não intuitivos, que podem então ser simplificados em algoritmos robustos e generalizáveis.