Distributionally Robust Cooperative Multi-Agent Reinforcement Learning via Robust Value Factorization

1. O Problema

O artigo aborda um desafio crítico no Aprendizado por Reforço Multiagente Cooperativo (MARL): a falta de confiabilidade de algoritmos existentes quando aplicados em cenários do mundo real devido a incertezas ambientais.

• Contexto Atual: A maioria dos métodos MARL cooperativos utiliza o paradigma de Treinamento Centralizado com Execução Descentralizada (CTDE). Métodos de fatorização de valor (como VDN, QMIX, QTRAN) são amplamente usados para escalar esses sistemas, baseando-se no princípio Individual-Global-Max (IGM). O IGM garante que a ação greedy individual de cada agente, maximizando seu próprio valor, resulte na ação conjunta ótima para a equipe.
• A Lacuna: Embora o IGM funcione bem em ambientes simulados (jogos, grid worlds), ele falha frequentemente em cenários reais devido a:
  • Diferenças entre simulação e realidade (sim-to-real gap).
  • Ruído no sistema e incompatibilidade de modelos (model mismatch).
  • Incertezas que, em sistemas parcialmente observáveis e acoplados, podem causar falhas de coordenação catastróficas.
• O Dilema: Aplicar diretamente técnicas de RL Robusto Distribucionalmente (DR-RL) de agentes únicos (onde cada agente considera seu próprio pior caso) quebra o princípio IGM. Isso ocorre porque o "pior caso" para um agente individual pode não coincidir com o "pior caso" para a equipe, levando a ações descentralizadas que não são mais ótimas globalmente.

2. Metodologia Proposta

Os autores propõem uma nova estrutura teórica e algorítmica chamada DrIGM (Distributionally Robust IGM) para resolver o problema de alinhamento entre robustez e execução descentralizada.

A. Princípio DrIGM

O núcleo da proposta é redefinir como os valores de ação individuais robustos são construídos.

• Definição: O princípio DrIGM exige que a ação greedy robusta de cada agente (baseada em sua função de valor robusta $Q^{rob}_i$) se alinhe com a ação conjunta ótima robusta da equipe (baseada em $Q^{rob}_{tot}$).
• Solução Teórica (Teorema 1): Em vez de definir o valor robusto individual como o mínimo sobre o conjunto de incerteza para aquele agente específico (o que falha), os autores definem o valor robusto individual $Q^{rob}_i$ ancorado no modelo de pior caso global ($P^{worst}$) avaliado na ação conjunta greedy robusta ($\bar{a}$).
  • Formalmente: $Q^{rob}_i(h_i, a_i) := Q^{P^{worst}(h, \bar{a})}_i(h_i, a_i)$.
  • Isso garante que, ao maximizar individualmente sob este modelo compartilhado de pior caso, os agentes automaticamente convergem para a solução conjunta robusta.

B. Fatorização de Valor Robusta

Com o DrIGM estabelecido, os autores derivam variantes robustas das arquiteturas de fatorização padrão:

1. VDN (Value Decomposition Networks): Soma direta dos valores individuais robustos.
2. QMIX: Utiliza uma rede de mistura monótona que combina os valores individuais robustos, garantindo que a derivada parcial seja não-negativa.
3. QTRAN: Aprende uma função de valor conjunta e uma função de valor de estado, impondo restrições de consistência para alinhar os valores fatorizados com o valor conjunto robusto.

C. Operadores de Bellman Robustos

Para o treinamento, são utilizados operadores de Bellman robustos sob dois tipos de conjuntos de incerteza comuns na literatura:

• Contaminação $\rho$ ($\rho$-contamination): Assume que o modelo real é uma mistura do modelo nominal com um modelo adversário arbitrário.
• Variação Total (TV): Limita a distância entre a distribuição real e a nominal.
  Os autores derivam formas fechadas para o operador de Bellman robusto em ambos os casos, permitindo o cálculo eficiente de targets para o aprendizado por diferença temporal (TD).

3. Contribuições Principais

1. Princípio DrIGM: Introdução de um princípio teórico que estende o IGM clássico para cenários com incerteza distribucional, provando que é possível manter a execução descentralizada greedy mesmo sob adversidade.
2. Alinhamento de Pior Caso Global: Demonstração de que a robustez em MARL cooperativo não deve ser buscada independentemente por agente, mas sim coordenada através de um modelo de pior caso global compartilhado.
3. Algoritmos Escaláveis: Desenvolvimento de seis novos algoritmos (combinações de VDN/QMIX/QTRAN com incertezas $\rho$ e TV) que são compatíveis com codebases existentes, não exigem recompensas individuais artificiais (reward shaping) e mantêm a escalabilidade.
4. Garantias Teóricas: Provas de que, se o ambiente de teste estiver dentro do conjunto de incerteza definido, o valor conjunto robusto fornece um limite inferior provável ao valor real, garantindo desempenho mínimo.

4. Resultados Experimentais

Os métodos foram avaliados em dois ambientes de alta fidelidade:

• SustainGym (Controle de HVAC em Edifícios):

  • Cenário: Controle de temperatura em edifícios com múltiplas zonas, sujeito a mudanças climáticas e sazonais.
  • Resultados: Os algoritmos robustos superaram consistentemente as versões não robustas e a linha de base "GroupDR" (robusta, mas sem fatorização DrIGM) em cenários de out-of-distribution (deslocamento de clima e estações).
  • Observação Importante: Diferente do RL de agente único, onde a robustez muitas vezes penaliza o desempenho in-distribution, aqui a robustez melhorou ou manteve o desempenho no ambiente de treinamento, sugerindo que a modelagem de incerteza ajuda a mitigar erros de observação parcial e execução descentralizada.

• StarCraft II (SMAC - Mapa 3s vs 5z):

  • Cenário: Batalha cooperativa com ruído adicionado às observações das posições dos inimigos.
  • Resultados: Os algoritmos robustos (VDN e QMIX) mostraram taxas de vitória significativamente maiores em cenários de teste com ruído, especialmente para valores moderados de $\rho$. O desempenho degradou se $\rho$ fosse muito grande (excesso de conservadorismo), validando a necessidade de calibração do parâmetro de robustez.

5. Significado e Impacto

Este trabalho é significativo por várias razões:

• Ponte Teórica-Prática: Resolve a desconexão entre a teoria de RL robusto (frequentemente focada em observabilidade total ou recompensas individuais) e a prática de MARL cooperativo (CTDE, observabilidade parcial, recompensa de equipe).
• Viabilidade de Implantação: Oferece uma rota prática para implantar agentes multiagente em sistemas críticos (como redes elétricas, controle de tráfego, gestão de energia) onde a incerteza do modelo é inevitável, sem sacrificar a escalabilidade ou a capacidade de execução descentralizada.
• Novo Paradigma de Robustez: Demonstra que, em sistemas cooperativos, a robustez deve ser uma propriedade sistêmica coordenada, e não apenas a soma de robustezes individuais.

Em resumo, o artigo estabelece um novo padrão para MARL robusto, provando que é possível garantir desempenho confiável em ambientes incertos mantendo a eficiência e a estrutura de treinamento centralizado/execução descentralizada que tornou o MARL cooperativo viável.