Resumo Técnico: Retenção de Ações Subótimas para Seguir Ótimos em Mudança em Aprendizado por Reforço Multiagente

Declaração do Problema

No Aprendizado por Reforço Multiagente (MARL) cooperativo, métodos de decomposição de valor sob o paradigma de Treinamento Centralizado com Execução Descentralizada (CTDE), como o QMIX, alcançaram sucesso significativo. No entanto, esses métodos dependem da condição Individual-Global-Max (IGM), imposta por uma restrição de monotonicidade, o que limita a expressividade da função valor-ação conjunta. Uma limitação crítica identificada neste trabalho é a incapacidade dos métodos existentes de se adaptarem quando a função valor subjacente se desloca dinamicamente durante o treinamento.

Abordagens convencionais geralmente focam em aprender uma única ação conjunta ótima. Quando o ambiente ou a estrutura de recompensa muda, causando um deslocamento da ação ótima (por exemplo, da ação $A$ para a ação $C$), métodos que dependem de uma única trajetória ótima frequentemente falham em recuperar o novo ótimo. Isso é exacerbado pela forte dependência de políticas $\epsilon$-greedy em grandes espaços de ações conjuntas, onde a probabilidade de explorar conjuntamente ações alternativas de alto valor diminui exponencialmente com o número de agentes. Consequentemente, os agentes frequentemente convergem prematuramente para políticas subótimas e lutam para rastrear ótimos em movimento.

Metodologia: Aprendizado de Q-valor Subsucessivo (S2Q)

Para abordar essas limitações, os autores propõem o Aprendizado de Q-valor Subsucessivo (S2Q), um framework projetado para reter ações alternativas de alto valor e permitir adaptação rápida a ótimos em mudança.

Mecanismo Central

O S2Q afasta-se da abordagem de valor único ao aprender uma sequência de $K+1$ funções de subvalor, denotadas como $Q^{sub}_k$ para $k = 0, \dots, K$.

• $Q^{sub}_0$: Definida como a função de valor conjunta global $Q_{tot}$, treinada para identificar a ação ótima verdadeira sob a condição IGM.
• $Q^{sub}_k$ ($k > 0$): Projetada para capturar a $k$-ésima ação conjunta subótima.

O processo de aprendizado emprega uma estratégia de supressão sucessiva. Enquanto $Q^{sub}_0$ aprende o ótimo global, as funções de subvalor subsequentes são treinadas para maximizar o valor conjunto de ações excluindo aquelas identificadas pelas funções de subvalor anteriores. Isso é alcançado modificando o objetivo de aprendizado de Diferença Temporal (TD) com um termo de supressão. Para uma função de subvalor dada $Q^{sub}_k$, o valor alvo é ajustado para suprimir ações já identificadas como ótimas ou subótimas por $Q^{sub}_0, \dots, Q^{sub}_{k-1}$.

A função objetivo para $Q^{sub}_k$ é definida como:
$$\mathbb{E} \left[ w_k(s_t, a_t) \left( Q^{sub}_k(s_t, \tau_t, a_t) - \left( y_t - \alpha \mathbb{I}(a_t \in A_{k-1,t}) \cdot \max(Q^*_{targ}(s_t, \tau_t, a_t), C) \right) \right)^2 \right]$$
onde $A_{k-1,t}$ é o conjunto de ações identificadas pelas sub-redes anteriores, $\alpha$ é um fator de supressão e $y_t$ é o alvo derivado de uma função de valor sem restrições $Q^*$. A análise teórica (Teorema 4.1) garante que, com um $\alpha$ suficientemente grande, cada $Q^{sub}_k$ identifica com sucesso a $k$-ésima ação subótima.

Execução Coordenada via Comunicação

Para utilizar efetivamente essas funções de subvalor, o S2Q substitui a política $\epsilon$-greedy padrão por uma política de comportamento baseada em Softmax.

1. Amostragem: Durante o treinamento, os agentes amostram um índice $k$ de uma distribuição Softmax $P_t$ baseada nos valores das ações subótimas rastreadas ($Q^*(a^*_{0,t}), \dots, Q^*(a^*_{K,t})$).
2. Execução: Uma vez que $k$ é amostrado, os agentes executam ações de acordo com a política $\epsilon$-greedy da função de subvalor correspondente $Q^{sub}_k$.
3. Coordenação: Como agentes descentralizados não podem observar diretamente a distribuição global $P_t$, o S2Q emprega uma arquitetura Codificador-Decodificador durante o treinamento. O codificador mapeia históricos locais para uma representação latente $z_t$, e o decodificador reconstrói o estado global e a distribuição aproximada $\hat{P}_t$. Os agentes sincronizam sua escolha de $k$ com base em $\hat{P}_t$.
4. Execução Descentralizada: Crucialmente, no momento do teste, a comunicação não é necessária. Como $Q^{sub}_0$ (equivalente a $Q_{tot}$) é suficiente para produzir a ação ótima gulosa, a avaliação permanece totalmente descentralizada e livre de comunicação. Uma variante, S2Q-Comm, também é proposta para ambientes onde a comunicação é estritamente necessária, fornecendo o latente $z_t$ durante a execução.

Contribuições Principais

1. Identificação de Deslocamentos Dinâmicos de Otimalidade: O artigo destaca que os métodos existentes de decomposição de valor falham em rastrear ótimos em movimento porque descartam informações sobre ações subótimas assim que um único ótimo é encontrado.
2. Aprendizado de Subvalor Sucessivo: A introdução de um framework que aprende e retém explicitamente múltiplas ações subótimas, permitindo que o sistema pivote rapidamente quando a ação ótima muda.
3. Exploração Baseada em Softmax: Uma estratégia de exploração inovadora que prioriza a visita a ações subótimas promissoras com base em seus valores estimados, superando o decaimento exponencial da probabilidade de exploração conjunta em políticas $\epsilon$-greedy.
4. Design Eficiente em Comunicação: Um mecanismo que usa comunicação apenas durante o treinamento para sincronizar a seleção de subvalor, mantendo a total descentralização durante a execução.

Resultados Experimentais

Os autores avaliaram o S2Q em dois principais benchmarks: StarCraft Multi-Agent Challenge (SMAC) e Google Research Football (GRF).

• SMAC-Hard+ e GRF: O S2Q superou consistentemente as linhas de base mais avançadas (incluindo QMIX, WQMIX, DOP, FOP, PAC, RiskQ e MARR) em vários mapas (por exemplo, 6h vs 8z, MMM2, Corridor). A diferença de desempenho foi mais significativa em cenários intensivos em exploração onde a estratégia ótima se desloca durante o treinamento. O S2Q demonstrou convergência mais rápida e taxas de vitória assintóticas mais altas.
• SMAC-Comm: Em tarefas que exigem comunicação explícita (por exemplo, 5z vs 1ul, bane vs hM), a variante S2Q-Comm mostrou ganhos substanciais sobre linhas de base focadas em comunicação como MASIA, NDQ e CAMA, particularmente em tarefas complexas de coordenação.
• Ambientes Estocásticos: O S2Q manteve desempenho superior em SMACv2 (composições de equipe randomizadas) e SMAC-Hard (Oponente Misto), demonstrando robustez a dinâmicas estocásticas.
• Generalidade: O método foi estendido com sucesso para outras linhas de base CTDE como VDN e QPLEX, produzindo melhorias consistentes de desempenho.
• Estudos de Ablação: Experimentos confirmaram que o aprendizado de subvalor sucessivo e a execução guiada por Softmax são componentes críticos. A remoção do mecanismo de supressão ou da política Softmax degradou significativamente o desempenho. O número ótimo de sub-redes ($K$) foi encontrado como 2, equilibrando diversidade e estabilidade.

Significado e Alegações

O artigo alega que o S2Q aborda uma limitação fundamental no MARL cooperativo: a rigidez de métodos que convergem para uma única política ótima. Ao reter ações subótimas, o S2Q permite que os agentes se adaptem rapidamente a paisagens de valor em mudança sem convergência prematura.

Os autores posicionam o S2Q como um framework prático e geral que melhora a adaptabilidade e o desempenho geral em ambientes desafiadores de MARL. Eles enfatizam que o método alcança esses ganhos sem exigir comunicação durante a execução, tornando-o adequado para implantação no mundo real onde a largura de banda de comunicação pode ser limitada. O trabalho sugere que rastrear explicitamente alternativas subótimas é uma estratégia viável e eficaz para melhorar a exploração e a robustez em sistemas multiagente.