🤖 machine learning

Feedback Attribution and Representation Geometry: Metrics for Comparing Individual and Shared Rewards in MARL

Este artigo propõe métricas de baixo custo, EffRank/ $n$ e $D_\text{act}$ , para demonstrar que, no aprendizado por reforço multiagente cooperativo, a geometria das representações aprendidas é determinada primordialmente pela informação de papel observada, em vez da atribuição de recompensa, enquanto a atribuição de recompensa manifesta-se principalmente em diferenças comportamentais.

Autores originais: Tasha Pais, Richard Higgins

Publicado 2026-07-21

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tasha Pais, Richard Higgins

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde um grupo de amigos tenta resolver um quebra-cabeça gigante juntos. No mundo da inteligência artificial, isso é chamado de Aprendizado por Reforço Multiagente (MARL - Multi-Agent Reinforcement Learning). Pense nisso como ensinar um enxame de robôs a jogar futebol ou uma equipe de personagens digitais a lutar contra um dragão. A parte complicada é descobrir como dar a eles o "feedback". Nos velhos tempos, se a equipe vencia, todos ganhavam uma estrela dourada, independentemente de terem realmente chutado a bola ou apenas ficado parados. Isso é chamado de "recompensa compartilhada". Mas e se déssemos uma estrela dourada apenas ao robô que realmente marcou o gol? Isso é uma "recompensa individual".

Cientistas há muito se perguntam: importa como entregamos essas estrelas douradas? Dar a mesma recompensa para todos faz com que os cérebros dos robôs (suas "representações" internas) se tornem um bloco entediante e idêntico, onde todos pensam da mesma forma? Ou será que dar crédito individual força seus cérebros a permanecerem distintos e especializados? Este artigo mergulha nessa questão, perguntando se a maneira como recompensamos uma equipe deixa uma impressão digital visível na forma como os cérebros de sua IA são estruturados, ou se apenas muda como eles agem.

O Grande Experimento de Recompensa

Os pesquisadores decidiram brincar de detetive com uma equipe de guerreiros de IA em um videogame chamado SMACv2. Imagine um campo de batalha onde cinco unidades amigáveis (vamos chamá-las de "Protoss") lutam contra cinco inimigos. Cada unidade amigável tem um trabalho específico: algumas são batedores rápidos, outras são atacantes pesados e algumas são tanques gigantes. No jogo, a IA pode ver exatamente que tipo de unidade ela é.

A equipe treinou esses agentes de IA usando um algoritmo de aprendizado inteligente chamado MAPPO. Eles realizaram dois experimentos principais:

O Modo "Jogador de Equipe": Cada agente recebia exatamente a mesma recompensa baseada em se a equipe venceu ou perdeu, não importava o que fizessem.
O Modo "Jogador Estrela": Cada agente recebia uma recompensa baseada apenas no quanto de dano ele pessoalmente causou.

A grande questão era: se mudarmos de "Jogador Estrela" para "Jogador de Equipe", o mapa cerebral da IA irá colapsar? O cérebro do batedor começará a parecer exatamente com o cérebro do tanque porque todos estão recebendo o mesmo biscoito?

A Surpresa: O Mapa Cerebral Não Mudou

Aqui está a reviravolta que o artigo encontrou. Os pesquisadores esperavam que o modo "Jogador de Equipe" tornasse os cérebios da IA pastosos e idênticos. Eles estavam errados.

Eles mediram a "forma" do cérebro da IA usando uma ferramenta matemática sofisticada chamada EffRank/n (que basicamente verifica em quantas direções diferentes o cérebro está pensando) e uma sonda (um teste simples para ver se você consegue adivinhar o trabalho de uma unidade apenas olhando para sua atividade cerebral).

Os resultados foram surpreendentes:

Com Recompensas Individuais: Os cérebos da IA eram distintos. Os batedores, tanques e atacantes pesados viviam em "bairros" diferentes no mapa cerebral. A sonda conseguia adivinhar o trabalho da unidade corretamente cerca de 73% das vezes (muito melhor do que a chance de 33% de adivinhar aleatoriamente).
Com Recompensas Compartilhadas: Os cérebos da IA pareciam quase exatamente iguais. A sonda ainda adivinhava o trabalho corretamente 75% das vezes. A "forma" do cérebro não colapsou de forma alguma.

Portanto, a maneira como entregamos as estrelas douradas não mudou a estrutura do cérebro da IA. A geometria permaneceu a mesma.

O Verdadeiro Culpado: O Que Eles Podiam Ver

Se a recompensa não mudou a forma do cérebro, o que mudou? Os pesquisadores perceberam que a resposta estava escondida à vista de todos: a observação.

No jogo, cada agente de IA era informado: "Você é um Batedor" ou "Você é um Tanque" logo desde o início. Era como usar um uniforme com seu trabalho escrito nele. Como a IA podia ver seu próprio papel, seu cérebro naturalmente se organizava para lidar com aquele trabalho específico, mesmo que todos recebessem a mesma recompensa.

Para provar isso, os pesquisadores fizeram um truque. Eles "mascararam" a observação, o que significa que disseram à IA: "Você é um Batedor", mas depois cobriram a parte da tela que mostrava à IA que tipo de unidade ela era. Eles não disseram à IA o que ela era; apenas deixaram que ela descobrisse a partir do caos da batalha.

O resultado foi dramático.

Quando esconderam o tipo de unidade, a precisão da sonda caiu de ~74% para 49% (o que é mal melhor do que um palpite aleatório).
Os "bairros" distintos no mapa cerebral colapsaram em um único bloco bagunçado.
Isso aconteceu para ambos os grupos, "Jogador de Equipe" e "Jogador Estrela".

Isso provou que a estrutura cerebral clara e organizada não foi causada pelo sistema de recompensa. Foi causada porque a IA podia ver seu próprio papel. Uma vez que você removeu a pista visual, o sistema de recompensa não conseguiu criar magicamente um cérebro especializado por conta própria.

Comportamento vs. Estrutura Cerebral

Então, o sistema de recompensa não fez nada? Não exatamente. Embora a estrutura do cérebro tenha permanecido a mesma, o comportamento mudou.

Quando os agentes recebiam recompensas individuais (o modo "Jogador Estrela"), eles agiam de forma mais diferente uns dos outros. Os pesquisadores mediram isso com uma métrica chamada Dact, que verifica o quão diferentes são os movimentos dos agentes.

Recompensas Individuais: Os agentes eram mais diversos em suas ações (1.23 na escala Dact).
Recompensas Compartilhadas: Os agentes eram um pouco mais semelhantes em suas ações (1.07 na escala Dact).

Em resumo, dar recompensas individuais fez com que os agentes jogassem de forma mais criativa e diferente, mas não forçou seus cérebros a se reorganizarem em novas formas. A forma já estava lá porque eles podiam ver o que deveriam ser.

A Conclusão

O artigo conclui que, se você quiser saber se uma equipe de IA está verdadeiramente se especializando, você não pode apenas olhar como seus cérebros estão organizados se eles estiverem usando "uniformes" (vendo seus próprios papéis). A organização pode ser apenas um reflexo do que eles podem ver, não de como estão sendo recompensados.

Para realmente testar se um sistema de recompensa cria papéis especializados, é preciso remover as pistas visuais. Neste jogo específico, o sistema de recompensa mudou como a equipe jogava (seu comportamento), mas a estrutura de suas mentes foi ditada pela informação que lhes foi dada para ver. Os pesquisadores sugerem que testes futuros precisam usar "papéis ocultos" — onde a IA não sabe seu trabalho — para realmente ver se as recompensas podem construir cérebros especializados do zero.

Eles também testaram isso em um jogo diferente e maior chamado "Tribal Village", com 48 agentes, e encontraram resultados semelhantes: as métricas podiam medir a competência dos agentes, mas o tipo de recompensa não criou uma diferença clara na geometria do cérebro. As ferramentas que construíram (EffRank/n e Dact) são rápidas e fáceis de usar, adicionando menos de 5% de trabalho extra, tornando-as ótimas para verificar se as equipes de IA estão realmente aprendendo a trabalhar juntas ou apenas memorizando seus uniformes.

Resumo Técnico: Atribuição de Feedback e Geometria de Representação em MARL

Declaração do Problema

No Aprendizado por Reforço Multiagente (MARL) cooperativo, os praticantes frequentemente substituem sinais de contribuição por agente por um único sinal de recompensa média da equipe. Embora isso alinhe os agentes a um objetivo conjunto, cria um problema de atribuição de feedback, onde cada agente recebe o mesmo feedback, independentemente da contribuição específica de sua ação para o resultado.

A questão central abordada por este trabalho é se essa escolha de atribuição de recompensa (individual vs. compartilhada) deixa uma assinatura mensurável nas representações aprendidas (geometria) ou no comportamento de agentes competentes. Uma hipótese motivadora, derivada de falhas de larga escala em MARL em ambientes como o Neural MMO, sugere que o feedback compartilhado pode comprimir codificadores compartilhados abaixo da dimensionalidade necessária para a diferenciação de papéis, levando a estratégias homogêneas. No entanto, os autores postulam que a informação de papel observada no estado de entrada pode confundir as análises geométricas, tornando difícil distinguir se a estrutura de papel surge da atribuição de recompensa ou da observação direta.

Metodologia

Diagnósticos

O artigo propõe dois diagnósticos de baixo custo para avaliar os efeitos da atribuição de recompensa:

EffRank/n (Rank Efetivo Normalizado pelo Número de Agentes): Esta métrica estima a dimensionalidade do espaço de incorporação (embedding) do codificador compartilhado. É calculada como o rank efetivo dos valores singulares das incorporações dos agentes, normalizado pelo número de agentes ( $n$ $n$ ).
- Interpretação: Um valor próximo a $k/n$ (onde $k$ é o número de papéis) sugere direções geométricas distintas para cada papel. Um valor próximo a $1/n$ indica um colapso para uma única direção compartilhada. A métrica é computada em centroides de incorporação GRU de tempo médio para refletir a geometria do agente/papel em vez de instantes transitórios.
Dact (Divergência KL Pareada Média): Esta métrica mede a diversidade comportamental computando a divergência de Kullback-Leibler pareada média entre as distribuições de ação dos agentes.
- Interpretação: Captura a divergência de ação de um passo. Como a política é compartilhada, valores absolutos refletem tanto a diversidade de observação quanto a especialização. É usada comparativamente entre condições correspondentes para detectar se a atribuição de recompensa altera o comportamento sem alterar a geometria de papel decodificada.

Configuração Experimental

A avaliação primária utiliza SMACv2 (Protoss 5 vs. 5), onde cinco unidades aliadas (Stalker, Zealot, Colossus) lutam contra cinco inimigos.

Arquitetura da Política: Todos os agentes usam uma política MAPPO totalmente compartilhada com um codificador GRU recorrente, cabeças de ator e crítico lineares. Não há parâmetros específicos por agente.
Variáveis:
- Atribuição de Recompensa: Individual (recompensa proporcional à contribuição de dano) vs. Compartilhada (recompensa média da equipe).
- Observação: Observado (bits de tipo de unidade incluídos) vs. Mascarado (bits de tipo de unidade do próprio agente zerados, embora os estados de aliados/inimigos permaneçam).
Treinamento: As políticas são treinadas por 4 milhões de passos de ambiente.
Avaliação: As métricas são computadas em trajetórias de avaliação determinísticas (32 episódios por semente, 3 sementes). Um probe de regressão logística de "deixar um slot de agente de fora" é usado para testar se os tipos de unidade podem ser decodificados das incorporações, garantindo generalização em vez de memorização de slot.

Um experimento secundário é conduzido em um ambiente de Vila Tribal com 48 agentes para testar a escalabilidade.

Resultados Principais

1. A Observação Direciona a Geometria, Não a Recompensa

No cenário padrão onde o tipo de unidade é observado:

Geometria: Tanto as políticas de recompensa individual quanto as de recompensa compartilhada exibem EffRank/n quase idênticos (0,29 vs. 0,31) e Precisão do Probe (0,73 vs. 0,75, significativamente acima da linha de base de 1/3 de chance).
Comportamento: O Dact é maior para recompensas individuais (1,23 vs. 1,07), e as taxas de vitória são ligeiramente superiores (0,48 vs. 0,39).
Conclusão: A presença de geometria de papel distinta é impulsionada pela observação direta dos tipos de unidade, não pelo esquema de atribuição de recompensa. Ambos os esquemas de recompensa permitem que o codificador compartilhado esculpa o espaço de incorporação por tipo de unidade quando essa informação está visível.

2. O Mascaramento Colapsa os Sinais de Papel

Quando os bits de tipo de unidade são mascarados:

Precisão do Probe: Cai significativamente para ambos os braços de recompensa para ~0,49 (apenas ligeiramente acima do acaso).
Geometria: O EffRank/n permanece estável (0,29–0,31), mas os clusters de papéis distintos se fundem.
Comportamento: Recompensas individuais ainda superam as recompensas compartilhadas em taxa de vitória (0,39 vs. 0,24) e Dact (1,13 vs. 0,98), mas falham em recuperar a geometria do tipo de unidade.
Conclusão: Sem a observação direta, nenhum esquema de recompensa induz uma geometria de papel forte e decodificável. A atribuição de recompensa afeta o comportamento (diversidade e competência) de forma mais clara do que afeta a estrutura geométrica da representação quando a informação de papel não é explicitamente fornecida.

3. Descobertas da Vila Tribal

No ambiente de Vila Tribal com 48 agentes, ambos os agentes de recompensa individual e compartilhada alcançaram desempenho competente (vencendo 84,4% das avaliações). Embora classificadores pudessem distinguir agentes de alta vs. baixa contribuição, o EffRank/n e o Dact não mostraram uma separação limpa entre os braços de recompensa, reforçando a descoberta de que essas métricas identificam a informação existente no codificador em vez de provar que o esquema de recompensa a criou.

Contribuições e Significância

O artigo apresenta três contribuições primárias:

Novos Diagnósticos: Define EffRank/n e Dact como ferramentas computacionalmente eficientes para diagnosticar os efeitos da atribuição de recompensa na geometria da representação e na diversidade comportamental.
Validação Empírica: Valida essas métricas em políticas competentes de SMACv2 treinadas por 4M de passos.
Resolução de Confundimentos: Demonstra que, no SMACv2, a alta precisão de probe de papel frequentemente reflete a informação de papel observada em vez da especialização induzida pela atribuição de recompensa.

Significância:
Os autores argumentam que diagnósticos geométricos em MARL devem controlar as informações de papel observadas. O estudo sugere que, no SMACv2, "a recompensa individual vs. compartilhada mudou o comportamento de forma mais clara do que a geometria da representação". A observação do papel de entrada explica a geometria de papel medida, enquanto a atribuição de recompensa se manifesta principalmente na diversidade de ação e competência. Consequentemente, para testar verdadeiramente se a atribuição de recompensa cria especialização de papel, trabalhos futuros devem utilizar papéis persistentes que estejam ocultos da observação, evitando o "atalho de papel observado" onde a geometria é simplesmente um reflexo do estado de entrada. Os diagnósticos propostos adicionam menos de 5% de sobrecarga ao treinamento e à avaliação.