Resumo Técnico: Comunicação Guiada por LLM para Aprendizado por Reforço Multiagente Cooperativo

Declaração do Problema

No Aprendizado por Reforço Multiagente Cooperativo (MARL), os agentes frequentemente operam sob observabilidade parcial, onde não têm acesso ao estado global. Embora o framework de Treinamento Centralizado com Execução Descentralizada (CTDE) mitigue isso durante o treinamento, os agentes ainda enfrentam lacunas de informação durante a execução. Os métodos de comunicação existentes tentam preencher essa lacuna, mas frequentemente sofrem com duas ineficiências primárias:

1. Troca Ineficiente de Informações: Métodos como comunicação por transmissão (e.g., MASIA) ou compartilhamento completo de observações (FullComm) transmitem dados redundantes, falhando em isolar as dimensões específicas do estado necessárias para a reconstrução.
2. Falha na Reconstrução do Estado: Métodos específicos por agente (e.g., TarMAC, SMS, T2MAC) frequentemente falham em abordar explicitamente como os agentes podem reconstruir com precisão e uniformidade o estado global subjacente. Isso leva a mensagens que não capturam suficientemente o estado real ou resultam em uma variância significativa na consciência do estado entre os agentes, prejudicando a coordenação.

Identificar as mensagens essenciais necessárias para a recuperação do estado é desafiador porque requer uma compreensão profunda do objetivo da tarefa e da relação complexa entre as observações locais e o estado global.

Metodologia: LMAC

Os autores propõem a Comunicação Multiagente Impulsionada por LLM (LMAC), um framework que aproveita as capacidades de raciocínio de Modelos de Linguagem Grandes (LLMs) para projetar e refinar iterativamente protocolos de comunicação. Diferentemente de abordagens anteriores que dependem de interação online com LLMs ou estruturas de mensagens fixas, o LMAC opera em duas fases distintas: Projeto de Protocolo Offline e Treinamento Online de MARL.

1. Projeto de Protocolo Offline via Refinamento Iterativo

O LMAC utiliza um LLM para gerar protocolos de comunicação executáveis e baseados em código ($f_C$) que mapeiam observações locais para mensagens específicas do agente. Este processo é fundamentado no framework Reflexion, mas adaptado para o projeto de protocolos com dois objetivos específicos: Melhoria da Recuperação e Mitigação de Desequilíbrio.

• Prompt de Entrada ($x$): O LLM recebe uma descrição da tarefa ($I_T$) detalhando o objetivo cooperativo e descrições em linguagem natural das dimensões de estado e observação, juntamente com uma instrução de projeto de protocolo ($I_P$) que exige a saída de código Python executável.
• Feedback Baseado em Critérios: Em vez de feedback fixo, o LMAC emprega um loop de feedback dinâmico e baseado em critérios usando um conjunto de dados de transição offline ($\mathcal{B}$) coletado de um agente de RL de base.
  • Indicador de Consciência do Estado (SAI): Um decodificador auxiliar ($D_\phi$) é treinado para reconstruir o estado global a partir da trajetória local de um agente. O erro de reconstrução é usado para calcular um SAI ($\chi$), que quantifica se uma dimensão específica do estado é recuperável com ou sem o protocolo de comunicação atual.
  • Refinamento Passo a Passo: O protocolo passa por um processo de refinamento de duas etapas:
    1. Melhoria da Recuperação ($k=1$): O LLM analisa a taxa de sucesso de recuperação ($E_t[\chi]$) para identificar dimensões de estado que os agentes falham em reconstruir. Gera feedback para adicionar informações faltantes ao protocolo.
    2. Mitigação de Desequilíbrio ($k=2$): O LLM analisa a variância inter-agente do SAI ($\text{Var}_i[\chi]$) para identificar assimetrias de informação. Gera feedback para suplementar mensagens para agentes com informações insuficientes, garantindo uma consciência de estado uniforme.
• Saída: O resultado é uma sequência de protocolos refinados $f_C = (f^{(0)}_C, f^{(1)}_C, f^{(2)}_C)$ que adiciona progressivamente apenas as mensagens necessárias para uma reconstrução precisa e uniforme do estado.

2. Aprendizado de Representação Meta-Cognitiva

Durante a fase de treinamento online de MARL, o protocolo projetado pelo LLM é integrado ao framework CTDE (especificamente QMIX).

• Representação Latente: Em vez de alimentar mensagens brutas diretamente nos agentes, um par codificador-decodificador ($\text{Enc}_\psi, \text{Dec}_\psi$) processa a trajetória e as mensagens para produzir uma representação latente $z^i_t$.
• Supervisão Meta-Cognitiva: O sistema reutiliza o SAI como um sinal de supervisão dinâmico. O decodificador é treinado para reconstruir o estado global e prever o SAI ($\hat{\chi}^i_{d,t}$), incentivando a representação latente a distinguir entre conhecimento confiável e incerteza.
• Consistência de Ciclo: Uma perda de consistência de ciclo é introduzida para suprimir informações irrelevantes. Ao decodificar e re-codificar a representação latente, o modelo é penalizado por informações que não podem ser preservadas, forçando $z^i_t$ a reter apenas características reconstrutíveis e relevantes para a tarefa.

Principais Contribuições

1. Projeto de Protocolo Impulsionado por LLM: O artigo introduz uma abordagem inovadora onde LLMs são usados não como redes de política, mas como projetistas de protocolos. O LLM raciocina sobre objetivos da tarefa e estruturas de observação para gerar código executável para comunicação, evitando o alto custo da interação online com LLMs.
2. Refinamento Iterativo Baseado em Critérios: O framework propõe um processo de refinamento de duas etapas (Melhoria da Recuperação e Mitigação de Desequilíbrio) guiado por métricas quantitativas derivadas de dados de RL offline. Isso garante que o protocolo evolua para abordar falhas específicas de reconstrução e lacunas de conhecimento.
3. Módulo Latente Meta-Cognitivo: A integração de um módulo de aprendizado de representação meta-cognitiva permite que os agentes calibrem a confiabilidade de suas estimativas de estado, filtrando informações redundantes e melhorando a coordenação.
4. Benchmarks Abrangentes: O método é validado em diversos benchmarks (SMAC-Comm, SMACv2, Level-Based Foraging e Google Research Football), demonstrando desempenho superior em relação a bases de comunicação state-of-the-art.

Resultados Experimentais

Os experimentos foram conduzidos em quatro ambientes de benchmark com níveis variados de complexidade e estocasticidade:

• SMAC-Comm & SMACv2: O LMAC superou consistentemente as bases (incluindo TarMAC, SMS, T2MAC e MASIA) e aproximou-se ou excedeu o desempenho do limite superior oráculo (QMIX+Estado). Notavelmente, no ambiente altamente estocástico SMACv2, o LMAC superou o QMIX+Estado, sugerindo que o protocolo projetado pelo LLM filtra características relevantes para a tarefa mais eficazmente do que entradas de estado global bruto.
• Level-Based Foraging (LBF) & Google Research Football (GRF): O LMAC alcançou convergência mais rápida e taxas de vitória finais mais altas em comparação com todas as bases de comunicação. No GRF, superou o QMIX+Estado, provavelmente devido à compressão de observações de alta dimensão em características latentes compactas e relevantes para a tarefa.
• Estudos de Ablação:
  • Etapas de Refinamento: O desempenho melhorou consistentemente de $k=0$ (inicial) para $k=2$, com retornos decrescentes além de $k=2$.
  • Variantes de LLM: O método permaneceu robusto em diferentes backbones de LLM (GPT-4.1, Gemini, Claude), indicando que o processo de refinamento é o principal motor do sucesso, e não o modelo específico.
  • Componentes: A remoção da perda de consistência ou da supervisão SAI degradou significativamente o desempenho, confirmando a necessidade de supressão de redundância e calibração de confiabilidade.
  • Sensibilidade ao Prompt: O método permaneceu eficaz mesmo com prompts simplificados, sugerindo que não depende fortemente de anotações semânticas detalhadas.

Significado e Alegações

O artigo afirma que o LMAC aborda um gargalo crítico no MARL: a ineficiência dos protocolos de comunicação existentes na reconstrução de estados globais sob observabilidade parcial. Ao aproveitar o raciocínio de LLMs para projetar protocolos explicitamente otimizados para recuperação e uniformidade do estado, o LMAC permite que os agentes coordenem-se mais efetivamente sem a sobrecarga computacional da inferência online de LLMs.

Os autores enfatizam que sua abordagem:

• Reduz Custos de LLM: Ao realizar o projeto e o refinamento de protocolos offline usando dados de transição, o LMAC evita a latência e o custo de chamar um LLM em cada passo de tempo.
• Melhora a Consciência do Estado: Visa explicitamente a redução do desequilíbrio de conhecimento entre agentes, um fator frequentemente negligenciado em trabalhos anteriores.
• Generaliza: O framework é aplicável em diferentes backbones CTDE (QMIX, VDN, QPLEX) e escala para ambientes com maiores números de agentes e maior estocasticidade.

O artigo conclui que o LMAC fornece um framework robusto e generalizável para aprimorar sistemas multiagente cooperativos, alinhando protocolos de comunicação com as necessidades específicas de informação requeridas para a reconstrução do estado.