Resumo Técnico: HiComm: Comunicação Hierárquica para Aprendizado por Reforço Multiagente

Declaração do Problema

O Aprendizado por Reforço Multiagente (MARL) cooperativo frequentemente opera sob observabilidade parcial, onde os agentes devem coordenar com base em visões locais limitadas. Embora a comunicação seja um mecanismo padrão para mitigar isso, os protocolos existentes tipicamente tratam as mensagens como vetores densos e planos. Esses vetores são projeções aprendidas do estado completo de um agente, desconectadas da estrutura intrínseca dessa observação.

Muitos ambientes cooperativos (por exemplo, defesa cibernética, esportes de equipe ou microgerenciamento) possuem uma estrutura de observação hierárquica natural (por exemplo, grupos de entidades, sub-redes contendo hosts ou unidades de classes específicas). Os métodos atuais falham em explorar essa estrutura dentro do próprio corpo da mensagem. Em vez disso, eles ou transmitem resumos não estruturados ou impõem hierarquia no grafo de comunicação ou nos papéis dos agentes (por exemplo, arquiteturas feudais), em vez de fazê-lo nos dados que estão sendo trocados. Essa negligência ignora uma rica fonte de viés indutivo, levando a uma comunicação ineficiente onde os agentes transmitem informações redundantes ou não estruturadas.

Metodologia: HiComm

Os autores propõem o HiComm, um módulo de comunicação plug-in que fundamenta as mensagens diretamente na observação hierárquica do remetente. Diferente dos protocolos tradicionais orientados pelo remetente, onde um agente codifica seu estado completo, o HiComm é orientado pelo receptor e trata a comunicação como uma recuperação de informação estruturada.

Mecanismo Central

O espaço de observação para cada agente $i$ é modelado como um tensor de três eixos $z_i \in G \times E \times F$, onde:

• $G$: Eixo de grupo grosseiro (ex: sub-redes, classes de unidades).
• $E$: Eixo de entidade fina (ex: hosts dentro de uma sub-rede, unidades específicas).
• $F$: Eixo do vetor de características (features).

O HiComm transforma a comunicação de transmissão de um vetor para a recuperação de um par endereço-valor específico $((g, \ell), F)$ do tensor de observação do remetente. O processo ocorre em três estágios diferenciáveis usando Straight-Through Gumbel-Softmax (ST-GS) para seleção discreta:

1. Fase 1: Geração de Consulta (Lado do Receptor)
   O receptor resume o contexto de sua observação local e a máscara de observabilidade em um vetor de consulta $q_i$. Esta consulta representa a necessidade de informação do receptor.

2. Fase 2: Seleção Hierárquica do Remetente (Lado do Receptor)
   O receptor desce a hierarquia para selecionar um remetente:

   • Estágio 1 (Seleção de Grupo): O receptor seleciona um grupo de tópico $g^*$ pontuando a consulta $q_i$ contra chaves de grupo ($\kappa_g$) aprendíveis.
   • Estágio 2 (Seleção de Agente): Condicional a $g^*$, o receptor seleciona um remetente específico $j^*$ da equipe (excluindo a si mesmo) com base em uma função de afinidade condicionada ao contexto $\Phi(j, g^*; h_i)$.
   • Nota: Esta descida em dois estágios reduz o espaço de decisão discreto de $|G| \cdot |E| \cdot (N-1)$ para $|G| + (N-1) + |E|$, localizando a atribuição de crédito.

3. Fase 3: Recuperação de Entidade (Lado do Remetente)
   O receptor transmite $(q_i, g^*)$ para o remetente selecionado $j^*$. O remetente então:

   • Seleciona uma entidade específica $\ell^*$ dentro do grupo $g^*$ em sua própria observação local $z_{j^*}$, mascarando entradas não observadas.
   • Retorna o vetor de características verbatim $F = z_{j^*}[g^*, \ell^*, :]$ para o receptor.
   • Crucialmente, a mensagem é a entrada bruta da observação, não uma compressão aprendida.

Treinamento e Integração

O HiComm é projetado como um transformador leve e sem estado que se integra em pipelines padrão de MARL (ex: IPPO, MAPPO) sem alterar as arquiteturas subjacentes de política ou crítico.

• Otimização: Os parâmetros de comunicação $\theta_{comm}$ são atualizados junto com os parâmetros da política $\theta_{pol}$ através de um único passo de retropropagação (backward pass).
• Função de Perda: O objetivo combina a perda substituta padrão do PPO com um prior de modelagem de ganho de informação escalar. Este prior incentiva a seleção de coordenadas que fornecem alto ganho de informação em relação ao estado atual do receptor, evitando o colapso do remetente.
• Largura de Banda: O protocolo transmite apenas o endereço (índices de grupo e entidade) e o vetor de características bruto, reduzindo significativamente a largura de banda em comparação com a transmissão de resumos completos da observação.

Principais Contribuições

1. Protocolo HiComm: Um módulo de comunicação orientado pelo receptor que utiliza a hierarquia intrínseca de grupo-entidade da observação. Ele substitui a transmissão de vetores não estruturados pela recuperação estruturada de fatias específicas da observação.
2. Implementação Diferenciável: Um design plug-in leve usando ST-GS para seleção discreta e uma cabeça de projeção compartilhada, permitindo a anexação suave a algoritmos padrão de MARL sem modificar a arquitetura central da política.
3. Validação Empírica: Demonstração em três benchmarks diversos (CAGE Challenge 4, SMACv2, Google Research Football) mostrando que o HiComm iguala ou supera linhas de base de comunicação aprendida representativas (CACOM, T2MAC) enquanto reduz drasticamente o volume de comunicação.

Resultados Experimentais

Os autores avaliaram o HiComm em três benchmarks com diferentes estruturas de observação e demandas de coordenação, utilizando backbones IPPO (crítico descentralizado) e MAPPO (crítico centralizado).

• Desempenho (RQ1): O HiComm fecha uma fração substancial da lacuna de desempenho entre a observabilidade parcial (sem comunicação) e a observabilidade total (compartilhamento de estado completo). Em 9 de 10 células de algoritmo-cenário, o HiComm igualou ou superou as linhas de base. Notavelmente, sob o MAPPO no ambiente CAGE Challenge 4, o HiComm recuperou ~85% da lacuna para a observabilidade total, superando significativamente o CACOM e o T2MAC.
• Eficiência de Largura de Banda (RQ2): O HiComm alcança esses resultados reduzindo o volume de comunicação em 5× a 23× por receptor por episódio em comparação com as linhas de base, e mais de 1000× em comparação com o compartilhamento de estado total. Isso é alcançado transmitindo apenas a fatia de característica relevante, em vez de uma projeção achatada de toda a observação.
• Generalidade (RQ3): Os ganhos de desempenho e a eficiência de largura de banda mantêm-se através de diferentes arquiteturas de crítico (IPPO vs. MAPPO) e diferentes métodos de definição da hierarquia (sub-redes nativas, classes de unidades semânticas e papéis semânticos de jogadores).

Significância e Limitações

O artigo afirma que o HiComm introduz uma nova dimensão à comunicação em MARL: a hierarquia do espaço de observação. Ao permitir que o receptor consulte ativamente coordenadas específicas na estrutura de observação do remetente, o protocolo evita a "projeção com perda" inerente aos métodos de vetor plano. Os resultados sugerem que explorar a estrutura natural das observações leva a uma coordenação mais eficiente e eficaz.

Limitações:
Os autores declaram explicitamente que o trabalho carece de uma análise teórica formal da eficiência de comunicação. A vantagem demonstrada de largura de banda é baseada em comparação empírica, não em um limite informacional-teórico que prove por que o endereçamento hierárquico é comprovadamente mais eficiente do que a codificação plana em uma performance de tarefa correspondente. Estabelecer tal teoria é identificado como uma direção primária para trabalhos futuros.

Conclusão:
O HiComm demonstra que tratar a comunicação como uma recuperação estruturada de um espaço de observação hierárquico é uma alternativa viável e eficiente aos protocolos tradicionais de comunicação aprendida, oferecendo economias significativas de largura de banda sem sacrificar (e muitas vezes melhorando) o desempenho cooperativo.