Offline Multi-agent Reinforcement Learning via Sequential Score Decomposition

Este artigo propõe um novo framework de aprendizado por reforço multiagente offline que aborda deslocamentos distribucionais e desafios de coordenação multimodal em tarefas cooperativas, empregando um método de decomposição sequencial de pontuação combinado com modelos generativos baseados em difusão para orientar atualizações de política em direção a regiões de alta recompensa e dentro da distribuição, alcançando desempenho de ponta em diversos benchmarks.

O essencial

Imagine que você está tentando ensinar um grupo de robôs a trabalhar juntos para pegar maçãs. Você possui uma biblioteca de vídeos massiva (um conjunto de dados) mostrando como diferentes equipes de robôs realizaram esse trabalho no passado. Algumas equipes pegaram a maçã vermelha juntas, outras pegaram a verde, e algumas apenas vagaram sem rumo.

O desafio é que você não pode mais deixar os robôs praticar no mundo real; você só pode ensiná-los assistindo a esses vídeos antigos. Isso é chamado de Aprendizado por Reforço Multiagente Offline.

O Problema: O "Coro Confuso"

No passado, quando pesquisadores tentavam ensinar robôs a partir desses vídeos misturados, eles cometiam um grande erro. Tratavam cada robô como se estivesse aprendendo sozinho, ignorando como os outros estavam se movendo.

Imagine um coro onde todos estão cantando músicas diferentes a partir da mesma partitura. Se você disser ao soprano para cantar "Canção A" e ao baixo para cantar "Canção B" com base em seus hábitos individuais, o resultado será um ruído terrível e caótico. No mundo dos robôs, isso leva a má coordenação. Os robôs podem tentar pegar duas maçãs diferentes ao mesmo tempo, ou podem tentar agarrar uma maçã que ninguém nos vídeos jamais pegou com sucesso. Eles acabam fazendo coisas que parecem "ok" para um robô, mas são desastrosas para a equipe.

O artigo chama isso de "Deslocamento de Modo Combinatório". É como tentar construir uma casa misturando plantas de um castelo, de uma tenda e de um arranha-céu. O resultado não é uma casa; é uma pilha de tijolos incompatíveis.

A Solução: OMSD (O "Bastão do Regente")

Os autores propõem um novo método chamado OMSD (Aprendizado por Reforço Multiagente Offline via Decomposição Sequencial de Pontuação).

Veja como funciona, usando uma analogia simples:

1. A Estratégia de "Formação" (Decomposição Sequencial)
Em vez de perguntar a cada robô o que deve fazer com base em sua própria memória, o OMSD os pergunta em uma ordem específica, como uma fila de pessoas esperando para entrar em uma sala.

• Robô A vai primeiro e decide: "Vou para a maçã vermelha."
• Robô B vê a decisão do Robô A e pensa: "Certo, já que o Robô A está indo para a maçã vermelha, eu também devo ir para a maçã vermelha para ajudar."
• Robô C vê ambos e segue o exemplo.

Ao observar o que os robôs anteriores decidiram, cada robô aprende o contexto do plano da equipe. Isso impede que eles acidentalmente escolham uma maçã diferente ou vagueiem.

2. A Magia da "Difusão" (A Função de Pontuação)
Para fazer isso funcionar, os pesquisadores usam um tipo especial de IA chamado Modelo de Difusão. Pense nisso como um "removedor de ruído" ou um "clareador de borrão".

• Imagine que os vídeos antigos estão um pouco borrados e cheios de estática.
• O Modelo de Difusão age como um filtro inteligente que sabe exatamente como "remover o ruído" dos dados. Ele não apenas adivinha uma ação aleatória; calcula uma "pontuação" ou uma "direção" que aponta para as ações que a equipe realmente realizou nos vídeos de sucesso.
• Ele diz ao robô: "Não vá para lá (isso é um erro); vá assim (é lá que a equipe teve sucesso)."

3. O "Treinador Central" (Critic)
Enquanto os robôs aprendem seus movimentos específicos em fila, há um "Treinador Central" (um critic centralizado) observando toda a equipe. Esse treinador conhece a pontuação total que a equipe obtém. Ele diz aos robôs: "Ei, aquela estratégia da maçã vermelha obtém uma pontuação alta, continuem fazendo isso!"

Por que é Melhor

Métodos anteriores tentavam ensinar os robôs observando seus hábitos individuais isoladamente. Isso funcionava bem se todos estivessem fazendo a mesma coisa, mas falhava miseravelmente quando os vídeos mostravam muitas estratégias diferentes de sucesso (dados multimodais).

OMSD corrige isso:

• Respeitando a Cadeia: Entende que o movimento do Robô B depende do movimento do Robô A.
• Mantendo-se na Faixa: Mantém os robôs fazendo coisas que realmente aconteceram nos vídeos, impedindo-os de tentar movimentos arriscados e inventados que não existem nos dados.
• Encontrando o Melhor Caminho: Ajuda a equipe a encontrar o "modo" ou estratégia específica (como a maçã vermelha versus a maçã verde) que gera a maior recompensa, sem se confundir com as outras estratégias na biblioteca de vídeos.

Os Resultados

Os autores testaram isso em várias tarefas de robôs, desde jogos simples até simulações físicas complexas (como robôs correndo ou capturando presas).

• Em testes simples: OMSD aprendeu a coordenar perfeitamente, enquanto outros métodos falharam em concordar sobre um plano.
• Em testes complexos: OMSD superou consistentemente os melhores métodos existentes, especialmente quando os dados de treinamento eram confusos ou mostravam muitas maneiras diferentes de ter sucesso.

Em resumo, OMSD é como um regente inteligente que não apenas diz a cada músico para tocar sua própria parte, mas guia toda a orquestra a tocar em harmonia, ouvindo a pessoa antes deles e seguindo a liderança do regente, garantindo que a apresentação final seja um sucesso em vez de um desastre.

Resumo técnico

Resumo Técnico: Aprendizado por Reforço Multiagente Offline via Decomposição Sequencial de Pontuação

1. Declaração do Problema

O Aprendizado por Reforço Multiagente (MARL) Offline enfrenta um desafio crítico distinto do RL offline de agente único: o deslocamento de distribuição causado pela disparidade entre a coleta de dados online e offline. Enquanto o MARL online tipicamente converge para uma única política conjunta coordenada através de adaptação interativa, os conjuntos de dados offline são frequentemente misturas de comportamentos cooperativos diversos coletados de várias fontes. Isso resulta em distribuições de comportamento conjunto altamente multimodais.

Os métodos existentes de MARL offline geralmente se enquadram em duas categorias, ambas com dificuldades com essa multimodalidade:

1. Métodos baseados em valor: Estes dependem da Maximização Individual-Global (IGM) e de estimativas de valor conservadoras. No entanto, quando os agentes utilizam políticas independentes $\epsilon$-greedy, eles podem selecionar ações conjuntas fora da distribuição (OOD) que são de baixa qualidade e não cobertas pelo conjunto de dados.
2. Métodos baseados em política: Estes frequentemente restringem políticas via regularização de comportamento ou planejadores centralizados. Uma armadilha comum é a suposição de que a política de comportamento conjunta pode ser fatorada em marginais independentes ($\mu(a|s) = \prod \mu_i(a_i|s)$). Em configurações multimodais, essa fatoração independente leva a uma "Mudança Combinatória de Modo" (CMS). À medida que os agentes são regularizados em direção às suas próprias distribuições marginais, eles perdem o alinhamento com os modos conjuntos, resultando em políticas conjuntas que residem fora das regiões de alta densidade do conjunto de dados. Esse desalinhamento causa deslocamentos severos de distribuição e coordenação deficiente.

2. Metodologia: OMSD

Os autores propõem o MARL Offline com Decomposição Sequencial de Pontuação (OMSD) para abordar o problema de coordenação multimodal sem exigir um modelo completo de política conjunta ou um planejador centralizado.

Conceito Central: Decomposição Sequencial

Em vez de assumir independência condicional, o OMSD fatoriza a política de comportamento conjunta usando a regra da cadeia, condicionando o comportamento de cada agente às ações dos agentes precedentes:
$$\mu(a|s) = \prod_{i=1}^n \mu_i(a_i | s, a_{<i})$$
onde $a_{<i}$ representa as ações conjuntas de todos os agentes que precedem o agente $i$. Essa modelagem sequencial captura dependências interagentes e fornece uma referência condicional exata para as restrições da política de cada agente.

Fluxo de Trabalho Algorítmico

O OMSD opera sob o framework de Treinamento Centralizado e Execução Descentralizada (CTDE) e consiste em três etapas principais:

1. Pré-treinamento do Crítico: Uma função de valor conjunta centralizada $Q_{tot}(s, a)$ é aprendida usando Aprendizado Implícito de Q (IQL) offline para fornecer orientação de recompensa.
2. Pré-treinamento da Pontuação: Para cada agente $i$, um modelo de difusão condicional é treinado no conjunto de dados offline para estimar a função de pontuação condicional $\nabla_{a_i} \log \mu_i(a_i | s, a_{<i})$.
   • Crucialmente, esses modelos são treinados em paralelo.
   • A função de pontuação aproxima o gradiente do log-probabilidade da política de comportamento, servindo como um regularizador de comportamento.
3. Otimização da Política: Os agentes atualizam suas políticas usando um gradiente que combina o sinal do crítico centralizado e a regularização de pontuação sequencial:
   $$\nabla_{\theta_i} L_i = \mathbb{E} \left[ \nabla_{a_i} Q_{tot}(s, a) + \frac{1}{\beta} \nabla_{a_i} \log \mu_i(a_i | s, a_{<i}) \right] \nabla_{\theta_i} \pi_{\theta_i}$$
   • Condicionamento Sequencial: Durante a atualização do agente $i$, as ações de prefixo $a_{<i}$ são amostradas das políticas mais recentemente atualizadas dos agentes $1$a$i-1$ dentro da mesma iteração.
   • Execução: Apesar da atualização sequencial durante o treinamento, a execução permanece totalmente descentralizada. Cada agente age com base em sua observação local, pois a dependência sequencial é usada apenas para guiar a direção de aprendizado (regularização de pontuação) e não para gerar ações em tempo de execução.
   • Eficiência: O método utiliza políticas determinísticas DiLac para ações de prefixo para evitar amplificação de ruído e não requer amostragem iterativa de desruidificação durante a execução, evitando os altos custos de inferência típicos de atores baseados em difusão.

3. Contribuições Principais

1. Identificação da Causa Raiz: O artigo identifica a natureza multimodal das distribuições de comportamento conjunto offline e a falha da fatoração de marginais independentes (levando à Mudança Combinatória de Modo) como a causa primária da falha de coordenação no MARL offline.
2. Algoritmo OMSD: O desenvolvimento de um novo framework que decomõe sequencialmente políticas de comportamento e utiliza pontuações condicionais baseadas em difusão como regularizadores de comportamento. Essa abordagem promove a seleção coordenada de modos sem modelar a política conjunta completa ou depender de um planejador centralizado.
3. Desempenho de Estado da Arte: Experimentos extensivos demonstram que o OMSD supera consistentemente os métodos existentes, particularmente em cenários multimodais desafiadores (por exemplo, conjuntos de dados de qualidade média).

4. Resultados Experimentais

Os autores avaliaram o OMSD em:

• Exemplo de Bandido Brinquedo: Uma tarefa cooperativa de 2 agentes com dois modos ótimos. O OMSD alcançou desempenho comparável ao aprendizado de ação conjunta (BRPO-JAL) e superou significativamente o aprendizado independente (BRPO-IND) e métodos CTDE ingênuos, que falharam em evitar ações conjuntas OOD.
• Ambiente de Partículas Multiagente (MPE): Tarefas incluindo Navegação Cooperativa, Predador-Presa e Mundo. O OMSD alcançou as melhores ou segundas melhores pontuações em conjuntos de dados de Especialista, Médio e Aleatório. Notavelmente, em conjuntos de dados "Médio" e "Aleatório" onde a multimodalidade é pronunciada, o OMSD mostrou ganhos significativos (por exemplo, +70,6% em Predador-Presa Aleatório).
• MaMuJoCo: Tarefas de controle contínuo de alta dimensão envolvendo partes de robôs atuando como agentes (por exemplo, HalfCheetah, Ant). O OMSD superou baselines como MA-CQL, CFCQL, MADiff e DoF, especialmente em conjuntos de dados de qualidade mista (por exemplo, +73,9% de melhoria média sobre a baseline mais forte em conjuntos de dados OMIGA).

Estudos de Ablação:

• Decomposição de Pontuação: O OMSD superou consistentemente variantes usando fatoração independente (BRPO-IND, BRPO-CTDE), confirmando a necessidade de condicionamento sequencial.
• Sensibilidade à Ordem: O método mostrou-se robusto à ordem de atualização dos agentes, sugerindo que a estrutura sequencial atua como um mecanismo de coordenação no momento do treinamento e não como um viés indutivo rígido.
• Estimadores de Densidade: Modelos de difusão superaram estimadores mais simples (GMMs, Fluxos Normalizadores) na captura de estruturas multimodais complexas, particularmente em conjuntos de dados de especialista e médio.

5. Significado e Alegações

O artigo afirma que a coordenação consciente de modos é essencial para um MARL offline robusto. Ao aproveitar a decomposição sequencial de pontuação, o OMSD alinha com sucesso as atualizações de política com a verdadeira distribuição de comportamento conjunta, evitando o deslocamento de distribuição causado pela regularização independente.

Os autores enfatizam que sua abordagem:

• Evita Ações Conjuntas OOD: Ao condicionar em ações de prefixo, os agentes são guiados para regiões de alto valor e dentro da distribuição.
• Mantém Execução Descentralizada: Diferentemente de métodos que exigem planejamento centralizado ou execução sequencial em tempo de execução, os agentes OMSD agem independentemente durante a implantação.
• Escalabilidade: O pré-treinamento de modelos de pontuação condicional é totalmente paralelizável entre os agentes, tornando o método adequado para equipes maiores.

O trabalho é apresentado como um passo significativo para frente no manuseio da complexidade de dados multiagentes offline, abordando especificamente a "Mudança Combinatória de Modo" que tem impedido abordagens anteriores baseadas em política. Os autores reconhecem limitações, como o foco atual em espaços de ação contínuos e a dependência da qualidade do crítico centralizado pré-treinado.