💻 computer science

Expected Return Symmetries

Este artigo introduz as "simetrias de retorno esperado", uma classe mais ampla de simetrias que engloba as simetrias tradicionais de ambiente, permitindo que agentes em configurações multiagentes descentralizadas alcancem uma coordenação zero-shot superior sem exigir conhecimento prévio das simetrias de verdade fundamental.

Autores originais: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

Publicado 2026-06-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Darius Muglich, Johannes Forkel, Elise van der Pol, Jakob Foerster

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Dilema do "Canhoto" vs. "Destro"

Imagine dois robôs treinados separadamente para jogar um jogo cooperativo, como uma versão de alto risco de Hanabi (um jogo de cartas onde você não consegue ver suas próprias cartas) ou Overcooked (um simulador de cozinha caótico). Ambos são brilhantes no jogo quando jogam sozinhos.

No entanto, quando você pega o Robô A e o combina com o Robô B pela primeira vez, eles falham miseravelmente. Por quê?

Porque, durante o treinamento solo, eles acidentalmente inventaram seus próprios idiomas secretos.

O Robô A aprendeu que, se o outro jogador colocar uma carta, isso significa "estou feliz".
O Robô B aprendeu que a mesma ação significa "estou bravo".

Em termos do artigo, isso é chamado de quebra de simetria mutuamente incompatível. Os robôs encontraram uma solução que funcionava para eles individualmente, mas como não concordaram sobre qual versão da solução usar, eles são como duas pessoas tentando apertar as mãos, mas uma oferece a mão esquerda e a outra oferece a direita. Ambos estão "corretos" em suas próprias mentes, mas não conseguem se coordenar.

A Solução Antiga: "Other-Play" (A Abordagem do Livro de Regras)

Anteriormente, os pesquisadores tentavam corrigir isso ensinando os robôs a respeitar as simetrias do ambiente.

Pense no ambiente do jogo como uma sala com quatro portas idênticas. Se você passar pela porta Norte, recebe uma recompensa. Se passar pela porta Sul, recebe exatamente a mesma recompência. A sala é "simétrica".

O Método Antigo: Os pesquisadores diziam aos robôs: "Ei, Norte e Sul são a mesma coisa. Não apenas memorize 'Norte é bom'. Memorize 'Qualquer porta que se pareça com o Norte é boa'".
A Limitação: Isso funciona bem para coisas óbvias como cores ou direções. Mas falha quando a "semelhança" não é sobre o layout da sala, mas sobre a própria estratégia. É como dizer aos robôs: "Não importa se você usa um chapéu vermelho ou um azul", mas falhar ao perceber que, às vezes, usar um tipo específico de chapéu é a única maneira de sinalizar "estou pronto para cozinhar" para um parceiro.

A Nova Solução: "Expected Return Symmetries" (A Abordagem do "O Que Funciona")

Os autores deste artigo propõem uma maneira mais inteligente de encontrar essas conexões ocultas. Em vez de olhar para as regras da sala (o ambiente), eles olham para os resultados (as recompensas).

Eles introduzem o conceito de Expected Return Symmetries (Simetrias de Retorno Esperado).

A Analogia: O "Espelho Mágico"
Imagine que você tem um espelho mágico. Se você fizer um movimento de dança específico na frente dele, ganha uma estrela de ouro.

Visão Antiga: O espelho só reflete coisas que parecem exatamente iguais (por exemplo, se você levanta a mão esquerda, o reflexo levanta a direita).
Nova Visão (Retorno Esperado): O espelho é mais inteligente. Ele pergunta: "Se eu mudar seu movimento de dança para algo completamente diferente, você ainda ganha uma estrela de ouro?"

Se a resposta for sim, então esses dois movimentos de dança diferentes são "simétricos" aos olhos do artigo. Eles podem parecer totalmente diferentes, mas levam ao mesmo sucesso.

O artigo argumenta que, ao treinar os robôs para reconhecer essas simetrias baseadas no "resultado", eles se tornam muito mais flexíveis. Eles aprendem que a "Ação X" e a "Ação Y" são intercambiáveis porque ambas levam a um resultado feliz, mesmo que as regras do jogo não digam explicitamente que elas são iguais.

Como Eles Fizeram (A Máquina de "Tentativa e Erro")

O artigo não apenas adivinha essas simetrias; eles construíram um método para encontrá-las automaticamente.

O Pool de Especialistas: Primeiro, eles treinaram vários robôs para serem especialistas no jogo (usando um método chamado Self-Play).
O Jogo de Embaralhamento: Em seguida, pegaram esses robôs especialistas e começaram a "embaralhar" seus comportamentos. Eles tentaram trocar ações, mudar observações e misturar estratégias.
O Marcador de Pontos: Eles perguntaram: "Se trocarmos a estratégia do Robô A pela estratégia do Robô B, eles ainda obtêm a mesma pontuação alta?"
- Se a pontuação permanecer alta, essa troca é uma "Simetria de Retorno Esperado" válida.
- Se a pontuação despencar, essa troca é ruim.
O Resultado: Eles encontraram um conjunto de "trocas mágicas" que preservam o sucesso do jogo. Eles então ensinaram novos robôs a usar essas trocas durante o treinamento.

Os Resultados: Por Que Isso Importa

O artigo testou isso em três cenários diferentes:

Um Jogo de Alavanca Simples: Uma tarefa de coordenação básica.
Overcooked V2: Um jogo de cozinha complexo onde o tempo e a comunicação são fundamentais.
Hanabi: Um jogo de cartas muito difícil com informações ocultas.

As Descobertas:

Robôs treinados com este novo método de "Retorno Esperado" coordenaram-se significamente melhor com estranhos do que os robôs treinados com o antigo método de "Simetria de Ambiente".
No jogo Overcooked, o novo método reduziu a lacuna entre "jogar consigo mesmo" e "jogar com um estranho" por uma margem enorme.
No Hanabi, que é notoriamente difícil para a IA coordenar, o novo método superou os métodos de estado da arte anteriores, mesmo que o novo método não tivesse uma "folha de dicas" das regras do jogo (como saber que Vermelho e Azul são apenas trocas de cores).

A Conclusão

O artigo afirma que, para fazer com que agentes de IA trabalhem bem juntos sem coordenação prévia, não devemos apenas ensinar as regras do jogo. Em vez disso, devemos ensiná-los a reconhecer quais diferentes comportamentos levam ao mesmo sucesso.

Ao focar no resultado (o retorno esperado) em vez de apenas no input (o layout do ambiente), os robôs aprendem um conjunto mais amplo e flexível de "apertos de mão secretos". Isso permite que eles se adaptem a novos parceiros muito mais rápido e de forma mais eficaz, resolvendo o problema do "canhoto vs. destro" que tem assolado a IA multiagente há anos.

Resumo Técnico: Simetrias de Retorno Esperado

Definição do Problema
No aprendizado por reforço multiagente cooperativo (MARL), um desafio fundamental é a Coordenação de Zero-Shot (ZSC): a capacidade de agentes treinados de forma independente de coordenarem-se efetivamente com novos parceiros no momento do teste, sem comunicação prévia. Um modo principal de falha na ZSC é a quebra de simetria mutuamente incompatível. Quando os agentes treinam isoladamente, eles podem convergir para políticas equivalentes, porém incompatíveis (por exemplo, uma equipe concorda em sinalizar "jogar" com a cor azul, enquanto outra utiliza o vermelho).

Soluções existentes, como o objetivo Other-Play (OP), abordam isso impondo compatibilidade entre políticas equivalentes sob simetrias de Dec-POMDP (rerotulamentos de estados, ações e observações que deixam as funções de transição e recompensa invariantes). No entanto, esta abordagem possui duas limitações:

Modos de Falha de Coordenação: A quebra de simetria ambiental é apenas um tipo de falha de coordenação. Os agentes ainda podem "sobre-coordenar", formando convenções excessivamente específicas mesmo na ausência de simetrias Dec-POMDP não triviais.
Acessibilidade de Simetrias: Métodos atuais exigem conhecimento a priori das simetrias do ambiente. Descobrir automaticamente essas simetrias em Dec-POMDPs de larga escala é frequentemente computacionalmente inviável, e muitos métodos dependem de informações privilegiadas (por exemplo, dinâmica de verdade fundamental ou grupos de simetria) que não estão disponíveis em cenários do mundo real.

Metodologia
O artigo introduz as Simetrias de Retorno Esperado (ER Symmetries), uma classe mais ampla de simetrias que contém as simetrias Dec-POMDP como um subgrupo.

Definição: Uma transformação $\phi$ é uma simetria ER se ela preserva o conjunto de políticas de exploração de Boltzmann de auto-jogo otimizadas ( $\Pi^*_\alpha$ ). Especificamente, $\Phi_{ER} = \{ \phi \in \Psi \mid \forall \pi \in \Pi^*_\alpha: \phi(\pi) \in \Pi^*_\alpha \}$ . Diferente das simetrias Dec-POMDP, que exigem invariância das funções de transição e recompensa, as simetrias ER apenas exigem que a transformação mapeie políticas ótimas em outras políticas ótimas (preservando o retorno esperado).
Propriedades Teóricas: Os autores provam que $\Phi_{ER}$ forma um grupo sob composição de funções. Crucialmente, $\Phi_{ER}$ é um superconjunto estrito das simetrias Dec-POMDP em muitos casos, capturando diferenças de coordenação baseadas em estratégia em vez de apenas permutações de rótulos.
Algoritmo de Aprendizado: Como $\Phi_{ER}$ $Φ_{E R}$ não é conhecido a priori, o artigo propõe métodos escaláveis para aprender simetrias ER aproximadas usando otimização baseada em gradiente sem acesso às simetrias reais do ambiente ou à sua dinâmica.
- Objetivo 1 (Preservação de Retorno): Maximizar o retorno esperado das políticas transformadas: $\max_\theta \mathbb{E}_{\pi \sim \Pi'} [J(\phi_\theta(\pi))]$ , onde $\Pi'$ é um pool de políticas de auto-jogo otimizadas.
- Objetivo 2 (Componibilidade e Invertibilidade): Um objetivo regularizado é introduzido para garantir que as transformações aprendidas formem um grupo (impondo fechamento e invertibilidade) ao penalizar desvios da identidade após aplicação dupla e maximizar retornos sob transformações compostas.
- Objetivo 3 (Maximização de Cross-Play): Uma abordagem alternativa otimiza diretamente o desempenho de cross-play entre pares de políticas.
- O método assume uma estrutura mínima: ele fixa a transformação de estado como identidade e aprende transformações de observação e ação (frequentemente através de busca sobre permutações de ações e redes neurais para observações).

Principais Contribuições

Definição de Simetrias ER: O artigo define um novo grupo de simetria baseado na preservação de retornos esperados para políticas ótimas, o qual subsume as simetrias tradicionais de Dec-POMDP.
Descoberta Model-Free: Os autores introduzem algoritmos para aprender essas simetrias puramente através de interações agente-ambiente, sem exigir conhecimento privilegiado sobre a estrutura ou dinâmica do ambiente.
Melhoria no Desempenho de ZSC: O artigo demonstra que combinar a regra de aprendizado OP com simetrias ER aprendidas supera significativamente o auto-jogo padrão e o OP com simetrias Dec-POMDP na prevenção da sobre-coordenação.
Robustez em Cenários Desafiadores: O método mostra-se bem-sucedido em ambientes onde métodos de ponta como Off-Belief Learning (OBL) e Hierarquias Cognitivas falham (ex: jogos específicos de alavancas e Overcooked V2).

Resultados Experimentais
Os autores avaliam seu método em quatro ambientes:

Iterated Three-Lever Game: Neste cenário, as simetrias ER coincidem com as simetrias Dec-POMDP, e o método recupera com sucesso a política ótima de ZSC.
Toy Coordination Game: O método recupera com sucesso uma simetria ER não trivial (uma troca de ação) que não é uma simetria Dec-POMDP, demonstrando a capacidade de descobrir simetrias fora do grupo tradicional.
Overcooked V2: Neste benchmark assimétrico e estocástico, agentes utilizando simetrias ER aprendidas alcançaram uma pontuação média de cross-play (XP) de 15.8, superando significativamente a linha de base de auto-jogo (6.74) e reduzindo a variância nos resultados de coordenação.
Hanabi: Neste complexo jogo de cartas, agentes usando 11 simetrias ER aprendidas alcançaram uma pontuação média de XP de 21.64, superando tanto a linha de base IPPO (4.02) quanto a linha de base IPPO restrita pelas 120 simetrias Dec-POMDP conhecidas (8.61). Os resultados indicam que as simetrias ER preservam melhor a otimalidade enquanto impõem compatibilidade.

Significância e Alegações
O artigo alega que as Simetrias de Retorno Esperado representam um avanço significativo em ZSC ao:

Generalizar a Simetria: Ir além das invariâncias ambientais rígidas para uma definição de simetria mais flexível e centrada na política, que aborda melhor a diversidade de estratégias ótimas.
Remover Informação Privilegiada: Ser o primeiro método baseado em simetria a melhorar a ZSC sem exigir conhecimento a priori de simetrias ou dinâmicas, tornando-o aplicável a cenários onde tal informação é indisponível.
Resolver Falhas de Coordenação: Fornecer uma solução para a sobre-coordenação que é eficaz mesmo em ambientes onde métodos anteriores baseados em simetria ou diversidade (como OBL) falham.

Os autores reconhecem limitações, observando que a expressividade do espaço de busca (restrito a bijeções nos espaços de ação/observação) pode não ser suficiente para todos os ambientes (ex: a variante do jogo de duas alavancas) e que o sucesso do método depende da qualidade das políticas utilizadas para aprender as simetrias.