No vasto cenário da inteligência artificial, existe um canto específico dedicado a ensinar máquinas a interagir umas com as outras. Este campo, conhecido como aprendizagem por reforço multiagente, faz uma pergunta simples, mas profunda: como fazer com que múltiplos sistemas inteligentes aprendam juntos sem enlouquecer uns aos outros? Imagine uma sala cheia de estudantes tentando resolver um problema de matemática ao mesmo tempo. Se cada estudante mudar sua estratégia a cada segundo com base no que os outros estão fazendo, a sala de aula torna-se um alvo móvel caótico. Ninguém consegue estabelecer uma resposta estável porque o chão está constantemente se movindo sob seus pés. No mundo da teoria dos jogos, o objetivo é alcançar um estado de equilíbrio onde nenhum jogador tem incentivo para mudar seu movimento, um conceito conhecido como equilíbrio de Nash. No entanto, quando as ações disponíveis para esses jogadores não são apenas algumas escolhas simples, mas um fluxo contínuo de possibilidades — como decidir exatamente quanto produzir ou quanto dinheiro gastar — a matemática torna-se incrivelmente difícil. Os métodos padrão frequentemente falham aqui, fazendo com que os agentes oscilem descontroladamente ou fiquem presos em loops, nunca encontrando esse ponto de acordo estável.

Um pesquisador chamado Marvin Bongiovi, da Universidade Técnica de Dortmund, propôs uma nova maneira de navegar por esse caos. Em um estudo publicado no final de 2026, ele introduz um algoritmo chamado Deep Regret Actor-Critic, ou DRAC. Em vez de tentar maximizar a recompensa imediata para cada agente, o que frequentemente leva à instabilidade, este novo método ensina os agentes a minimizar seu "arrependimento". Em termos simples, o arrependimento é o sentimento de ter perdido uma oportunidade de um resultado melhor por ter escolhido uma ação diferente. Ao treinar o sistema para garantir que nenhum jogador poderia ter feito significativamente melhor mudando de ideia sozinho, o algoritmo guia o grupo em direção a um equilíbrio estável e inexplorável. Os resultados são impressionantes: em simulações econômicas complexas envolvendo decisões contínuas, esta nova abordagem encontrou consistentemente a solução matemática precisa onde os métodos antigos falharam, provando que focar no que foi perdido é um caminho mais confiável para o acordo do que focar no que foi ganho.

Para entender por que isso importa, deve-se primeiro compreender a natureza do problema que esses agentes enfrentam. Em muitos cenários do mundo real, de mercados a concursos, os jogadores tomam decisões em uma sequência, e a melhor jogada depende inteiramente do que os outros fazem. Se um agente tenta aprender simplesmente reagindo às recompensas atuais, é como tentar atingir um alvo móvel enquanto o alvo também está tentando esquivar-se. O ambiente é não estacionário, o que significa que muda conforme os aprendizes mudam. Algoritmos tradicionais frequentemente falham porque tratam os outros jogadores como parte do ambiente estático, apenas para serem pegos de surpresa quando esses jogadores atualizam suas estratégias. Isso leva a um ciclo de adaptação onde ninguém jamais se estabiliza. Embora alguns métodos anteriores tenham tentado resolver isso olhando para toda a árvore de jogo ou usando funções de potencial complexas, eles frequentemente lutam com a escala massiva de ações contínuas ou exigem treinamento especializado que não escala bem.

A solução de Bongiovi, o DRAC, adota uma abordagem estrutural diferente. Ele opera sob um framework onde os agentes são treinados juntos de forma centralizada, mas ainda podem agir de forma independente. A inovação central reside em como ele avalia o sucesso. Em vez de perguntar: "Eu obtive uma pontuação alta?", o sistema pergunta: "Eu poderia ter feito melhor se tivesse escolhido de forma diferente, enquanto todos os outros continuassem fazendo exatamente o que estavam fazendo?". Para responder a isso, o algoritmo emprega um truque inteligente. Ele congela as ações de todos os outros jogadores e, em seguida, amostra uma ampla gama de movimentos alternativos para o agente individual em questão. Ele calcula qual teria sido a recompensa para cada uma dessas alternativas hipotéticas. Ao comparar o resultado real contra o melhor resultado possível proveniente dessas amostras, o sistema calcula uma medida precisa de arrependimento. Esse processo cria um alvo estável para o algoritmo de aprendizagem mirar, porque o "melhor resultado possível" é calculado contra um conjunto fixo de ações dos oponentes, removendo o problema do alvo móvel.

O algoritmo utiliza uma rede neural de cabeça dupla para realizar essa tarefa. Uma parte da rede prevê a melhor utilidade possível que um agente poderia alcançar contra as ações fixas dos outros, enquanto a outra parte prevê a utilidade real da ação tomada. A diferença entre essas duas previsões é o arrependimento. O sistema então ajusta a estratégia do agente para minimizar essa diferença. Se o arrependimento for alto, significa que o agente perdeu uma oportunidade melhor, e a estratégia é ajustada para evitar esse erro na próxima vez. Se o arrependimento for zero, significa que o agente está jogando de forma ótima dado o que todos os outros estão fazendo. Ao minimizar esse arrependimento entre todos os agentes simultaneamente, o sistema naturalmente converge para um estado onde ninguém quer mudar sua estratégia, que é a definição de um equilíbrio de Nash.

Para testar essa ideia, o pesquisador executou duas simulações distintas. A primeira foi um oligopólio de Cournot sequencial, um modelo econômico clássico onde múltiplas empresas competem decidindo quanto de um produto produzir. Neste cenário, o preço de mercado depende da quantidade total produzida por todas as empresas. Os pesquisadores configuraram um mercado com três empresas competindo ao longo de cinco rodadas, com a capacidade de produzir qualquer quantidade dentro de um intervalo contínuo. Eles compararam o novo algoritmo DRAC contra um método bem estabelecido chamado MADDPG. Os resultados mostraram que o algoritmo DRAC era muito superior. Após 200.000 ciclos de treinamento, as estratégias do algoritmo DRAC desviaram-se da solução teórica perfeita em apenas cerca de 1,1 por cento. Em contraste, o método antigo desviou-se de quase 2 por cento. Mais importante, a medida de "explorabilidade" — o quanto um jogador poderia ganhar mudando sua estratégia — foi significamente menor para o DRAC, pairando em torno de 0,000137, comparado a 0,000427 para o outro método. Isso indica que o novo algoritmo não apenas encontrou a resposta certa, mas o fez com um grau muito maior de estabilidade.

O segundo experimento envolveu um concurso de prêmio proporcional sequencial, um problema dinâmico de alocação de recursos. Aqui, dois jogadores competem ao longo de várias rodadas para ganhar um prêmio, mas devem gastar uma parte de seu orçamento para isso. O prêmio é dividido com base em quanto cada jogador gasta em relação ao total. Esta configuração exige que os jogadores pensem à frente, equilibrando quanto gastar agora contra quanto precisam economizar para rodadas futuras. Os pesquisadores simularam este concurso ao longo de cinco estágios com uma regra específica para como o orçamento se esgota. Novamente, o algoritmo DRAC foi colocado contra o método padrão. Os resultados foram consistentes com o primeiro experimento. O DRAC alcançou um desvio da estratégia perfeita teórica de apenas 3,0 por cento, enquanto o método padrão ficou para trás com 6,3 por cento. A explorabilidade do DRAC também foi muito menor, situando-se em 0,000745 comparado a 0,00248 do competidor. Esses números confirmam que a abordagem de minimização de arrependimento é eficaz mesmo em jogos dinâmicos de múltiplos estágios, onde os jogadores devem planejar para o futuro.

O sucesso desta abordagem baseia-se em um insight específico: ao mudar o foco da maximização de recompensas para a minimização do arrependimento, o algoritmo evita a instabilidade que assola outros métodos. Na aprendizagem multiagente padrão, se um agente comete um erro, isso pode desestabilizar o aprendizado de todos os outros, criando uma cascata de erros. O DRAC evita isso ao calcular os cenários de "e se" contra ações fixas dos oponentes. Isso desacopla a avaliação das atualizações caóticas dos outros jogadores, criando um cenário calmo e estacionário para o processo de aprendizagem. O algoritmo essencialmente diz: "Ignore o que os outros estão fazendo agora; apenas olhe para o que você poderia ter feito melhor contra o que eles fizeram". Essa mudança simples permite que o sistema coordene suas atualizações sem cair na armadilha da colusão, onde os agentes podem acidentalmente aprender a cooperar de uma forma que prejudica o equilíbrio geral.

Embora os resultados sejam impressionantes, o artigo reconhece certas limitações. O método depende de amostragem para encontrar as melhores ações alternativas. Nos ambientes suaves e previsíveis do mercado de Cournot e do concurso de prêmios, isso funcionou perfeitamente. No entanto, em jogos com paisagens de recompensa altamente complexas ou irregulares, a amostragem pode perder o verdadeiro melhor movimento. Além disso, o algoritmo requer um modelo do ambiente para simular esses resultados hipotéticos. Em um videogame ou em uma simulação, isso é fácil, mas em uma situação de "caixa preta" do mundo real, onde as regras são desconhecidas, o sistema precisaria de uma maneira de prever os resultados de ações que ainda não realizou. Apesar dessas restrições, o estudo demonstra um avanço significativo. Ele mostra que jogos contínuos e multiagentes podem ser resolvidos com alta precisão ao ensinar os agentes a olhar para trás, para suas oportunidades perdidas, em vez de olhar para frente, para seus ganhos potenciais.

As implicações deste trabalho estendem-se além dos jogos específicos testados. A capacidade de aproximar um Equilíbrio de Nash de Subjogo Perfeito — um estado onde os jogadores tomam decisões ótimas em cada estágio de um jogo, não apenas no início — em espaços contínuos é um grande obstáculo na inteligência artificial. Ao provar que a minimização do arrependimento pode estabilizar a aprendizagem, esta pesquisa abre as portas para sistemas multiagentes mais robustos na economia, gestão de tráfego e distribuição de recursos. O autor sugere que este framework poderia eventualmente ser adaptado para jogos com informação imperfeita, onde os jogadores não sabem tudo sobre o estado do mundo, e para jogos discretos onde os jogadores escolhem a partir de um conjunto de opções distintas. Por enquanto, o estudo permanece como uma demonstração clara de que, às vezes, a melhor maneira de seguir em frente é analisar cuidadosamente o que você poderia ter feito de diferente.