Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings

1. Definição do Problema

O artigo aborda uma limitação crítica no Aprendizado por Reforço Multiagente (MARL) conhecida como Coordenação Zero-Shot (ZSC).

• O Problema Central: Agentes MARL tradicionais, treinados via Auto-Jogo (Self-Play), frequentemente desenvolvem convenções ou estratégias específicas que falham quando acoplados a agentes treinados sob os mesmos objetivos, mas com diferentes sementes aleatórias, algoritmos ou históricos de treinamento.
• A Lacuna: Soluções existentes de ZSC (e.g., Other-Play, TrajeDi, MAZE) assumem que todos os agentes compartilham uma função de recompensa idêntica. No entanto, em cenários do mundo real (e.g., veículos autônomos de diferentes fabricantes), os agentes podem compartilhar um objetivo esparso (e.g., "chegar ao destino"), mas utilizar modelagens de recompensa diferentes (pesos diferentes atribuídos a características ambientais para densificar a recompensa esparsa).
• O Desafio: Como treinar um agente para cooperar efetivamente com parceiros desconhecidos que possuem os mesmos objetivos esparsos, mas estruturas de recompensa internas diferentes, sem treinamento adicional no parceiro específico.

2. Metodologia

Os autores propõem um framework que treina um ensemble de agentes utilizando modelagens de recompensa diversas para melhorar a generalização.

A. Formulação da Modelagem de Recompensa

Os autores definem a modelagem de recompensa como uma combinação ponderada de características ambientais adicionada a uma recompensa esparsa base:
$$R(s_t, a_t) = \text{esparso}(s_t, a_t) + \sum_{k=1}^{F} w_k f_k$$
Onde $w_k$ são pesos selecionados para características específicas $f_k$ (e.g., distância a uma panela, pegar um prato).

B. Quatro Algoritmos de Seleção

Para gerar uma população de modelagens de recompensa diversas ($P$), o artigo introduz quatro métodos de seleção:

1. Baseado em LLM: Utiliza um LLM (Claude Sonnet 4.5) instruído com exemplos de modelagens de recompensa e seu desempenho para gerar novos conjuntos diversos de pesos que equilibram desempenho e diversidade de política.
2. Rede Surrogate: Treina uma Rede Neural Perceptron Multicamadas (MLP) para prever a recompensa esparsa total com base em uma modelagem de recompensa dada. Em seguida, amostra 1.000 modelagens aleatórias e seleciona as de melhor desempenho com base nas previsões da rede surrogate.
3. Grade Estratificada: Utiliza Amostragem de Hipercubo Latino para garantir que os pesos selecionados cubram uniformemente toda a faixa possível (0–10). Isso garante a representatividade estatística do espaço de recompensas.
4. Aleatório: Amostra pesos uniformemente a partir da faixa possível sem restrições.

C. Framework de Treinamento em Ensemble

Baseando-se no algoritmo TrajeDi (Trajectory Diversity):

1. Geração de População: Para cada modelagem de recompensa selecionada, uma população de agentes é treinada usando TrajeDi, que inclui um termo de Divergência de Jensen-Shannon para incentivar a diversidade de políticas dentro da população.
2. Construção do Ensemble: O agente final é um modelo ensemble composto pelos agentes de "Melhor Resposta" (BR) de cada uma das $P$ populações treinadas.
3. Seleção de Ação: O ensemble seleciona a ação que é a moda (escolha mais frequente) entre todos os agentes BR no ensemble.

3. Contribuições Principais

1. Formulação de Problema Novel: Estende a ZSC para cenários onde os parceiros possuem objetivos esparsos idênticos, mas modelagens de recompensa diferentes, uma restrição mais realista do que o assumido na literatura anterior.
2. Quatro Métodos de Seleção: Introduz e avalia quatro algoritmos distintos (LLM, Surrogate, Grade Estratificada, Aleatório) para gerar modelagens de recompensa diversas.
3. Framework de Ensemble: Propõe um método para combinar modelos treinados em diferentes modelagens de recompensa em uma única política robusta.
4. Validação Empírica: Demonstra que a diversidade nas modelagens de recompensa, e não apenas a diversidade de políticas, é crucial para a generalização na ZSC.

4. Resultados Experimentais

Os experimentos foram conduzidos no ambiente Overcooked (especificamente Random0_Medium, Random3 e Unident_S) contra parceiros treinados com modelagens de recompensa desconhecidas usando MAPPO padrão.

• Ganhos de Desempenho:

  • Os métodos propostos superaram significativamente os algoritmos de ZSC de linha de base (incluindo TrajeDi padrão e Auto-Jogo de Utilidade Oculta).
  • Faixa de Melhoria: As melhorias na recompensa esparsa variaram de 62,2% a 119,2% sobre os algoritmos de linha de base.
  • Melhores Desempenhos: Grade Estratificada e Rede Surrogate consistentemente alcançaram os melhores resultados.
    • Grade Estratificada: Alcançou a maior generalização, provavelmente devido à sua cobertura uniforme do espaço de recompensas.
    • Rede Surrogate: Desempenhou excepcionalmente bem apesar da menor diversidade, sugerindo que selecionar modelagens de alto desempenho é mais crítico do que o puro acaso.
  • Efeito do Ensemble: A própria abordagem de ensemble forneceu uma melhoria de 40–70% sobre as linhas de base sem ensemble.
  • Baseado em LLM: Mostrou desempenho forte, mas foi ligeiramente menos consistente que a Grade Estratificada.
  • Aleatório: Superou as linhas de base (+27% a +51%), mas foi o mais fraco entre os métodos propostos, destacando que a diversidade não orientada é insuficiente.

• Diversidade vs. Desempenho:

  • A Grade Estratificada teve a maior cobertura de faixa (96,7%) e alto desvio padrão.
  • A Rede Surrogate teve o menor desvio padrão e cobertura de faixa, mas alcançou o maior desempenho em alguns ambientes. Isso indica que a qualidade da modelagem de recompensa (encontrar pesos de alto desempenho) pode, às vezes, superar a diversidade estatística pura.

5. Significado e Conclusão

• Realismo: O artigo preenche a lacuna entre a ZSC teórica e a implantação no mundo real, reconhecendo que agentes de diferentes fontes provavelmente otimizarão o mesmo objetivo de maneiras diferentes.
• Robustez: A abordagem de ensemble cria agentes resilientes ao problema de "incompatibilidade de convenções", capazes de cooperar imediatamente com parceiros desconhecidos.
• Direções Futuras: Os autores sugerem que trabalhos futuros devem focar em hibridizar métodos (e.g., usando o foco em desempenho da Rede Surrogate com as restrições de diversidade da Grade Estratificada) e expandir para ambientes mais complexos.

Em resumo, o artigo prova que treinar agentes em um conjunto diverso de modelagens de recompensa e combiná-los via um ensemble é uma estratégia altamente eficaz para alcançar Coordenação Zero-Shot robusta em ambientes de recompensa esparsa.