Decentralized Collective World Model for Emergent Communication and Coordination

Título: Modelo de Mundo Coletivo Descentralizado para Comunicação Emergente e Coordenação

1. Problema e Contexto

O artigo aborda o desafio de permitir que sistemas multiagente distribuídos desenvolvam simultaneamente sistemas de símbolos compartilhados (comunicação) e comportamento coordenado em ambientes parcialmente observáveis, sem controle centralizado.

• Limitações existentes: Abordagens anteriores de comunicação emergente focam frequentemente em jogos estáticos ou comunicação unidirecional, falhando em ambientes dinâmicos que exigem coordenação de múltiplos passos. Por outro lado, modelos de mundo (world models) em ambientes multiagente geralmente carecem de mecanismos para formação de conhecimento coletivo através de símbolos distribuídos, ou dependem de aprendizado centralizado (compartilhamento de parâmetros), o que é computacionalmente caro e impraticável em cenários do mundo real.
• O Desafio Específico: Como fazer com que agentes, com percepções sensoriais divergentes (parcialmente observáveis), infiram o estado global do ambiente e coordenem ações através de uma linguagem simbólica emergente, respeitando a restrição de que nenhum agente pode acessar diretamente os estados internos dos outros.

2. Metodologia Proposta

Os autores propõem um Modelo de Mundo Coletivo Descentralizado que integra a Codificação Preditiva Coletiva (CPC) com modelos de mundo baseados em POMDPs (Processos de Decisão de Markov Parcialmente Observáveis).

• Arquitetura do Modelo:

  • Cada agente mantém seu próprio modelo de mundo (baseado no Recurrent State Space Model - RSSM) para prever dinâmicas ambientais e inferir estados latentes a partir de observações parciais.
  • Introduz-se uma variável probabilística de mensagem ($m_t$) que representa a comunicação bidirecional entre agentes.
  • O objetivo é minimizar a Energia Livre Coletiva (CFE), que atua como um limite superior da verossimilhança negativa, combinando a reconstrução de observações individuais e a regularização para formação de mensagens comuns.

• Desafio da Descentralização e Solução (Aproximação):

  • Em um sistema verdadeiramente descentralizado, um agente não pode acessar o estado latente ($s_t$) do outro para calcular a distribuição posterior da mensagem conjunta.
  • Solução: Os autores utilizam uma formulação de Produto de Especialistas (PoE) para aproximar as distribuições de mensagens.
  • Mecanismo de Feedback: A distribuição a priori da mensagem de um agente é definida como a distribuição a posteriori do outro agente. Isso cria um ciclo de feedback onde cada agente tenta alinhar sua inferência de mensagem com a compreensão do parceiro.
  • Alinhamento de Mensagens (InfoNCE): Para superar a impossibilidade de trocar parâmetros de distribuição, os agentes trocam apenas amostras de mensagens. Utiliza-se a perda InfoNCE (Noise Contrastive Estimation) para alinhar as representações das mensagens entre os agentes, garantindo que eles aprendam um sistema simbólico comum.

• Determinação de Ação:

  • Os agentes utilizam uma janela de tempo deslizante para inferir representações internas e sequências de mensagens.
  • Para decidir uma ação, cada agente compara a Variável de Energia Livre (VFE) gerada por suas próprias mensagens versus as mensagens recebidas do parceiro, selecionando a sequência que minimiza a VFE (ou seja, a que melhor explica as observações passadas).

3. Contribuições Principais

1. Modelo Híbrido Descentralizado: Implementação de um modelo de mundo de dois agentes que integra a emergência de símbolos baseada em CPC com a aprendizagem de dinâmicas temporais, totalmente descentralizado.
2. Símbolos Gerais ao Ambiente: Demonstração de que símbolos aprendidos através da previsão do modelo de mundo (e não apenas protocolos específicos de tarefa) suportam eficazmente a coordenação em ambientes parcialmente observáveis, permitindo que agentes complementem as percepções limitadas uns dos outros.
3. Efeito das Restrições Distribuídas: Evidência de que as restrições de não acesso direto aos estados internos dos outros (descentralização) facilitam a emergência de sistemas simbólicos mais significativos e que refletem com maior precisão o estado global do ambiente, em comparação com abordagens centralizadas.

4. Resultados Experimentais

O método foi testado em uma tarefa de desenho de trajetória onde dois agentes devem mover um ponto em um espaço 2D para traçar uma hipotrocoide (curva estrelada).

• Configuração: Os agentes possuem módulos sensoriais que discretizam apenas um eixo (X ou Y) com diferentes níveis de granularidade (de "infinito" a "1 bin"), criando cenários de observação parcial extrema.
• Condições Comparadas:
  • EC (Emergent Communication): Método proposto (descentralizado + InfoNCE).
  • BC (Brain Connected): Centralizado (acesso direto aos estados internos do outro), sem InfoNCE.
  • NC (No Communication): Agentes aprendem modelos independentes sem troca de mensagens.
• Desempenho de Coordenação:
  • Em cenários de observação completa (bins infinitos), todos os métodos performaram bem.
  • Em cenários de observação parcial (bins finitos), o método EC superou significativamente o NC, demonstrando que a comunicação é crucial quando as percepções são divergentes.
  • O método BC obteve o melhor desempenho, seguido pelo EC. O EC alcançou a segunda melhor coordenação, superando modelos sem comunicação, mesmo sem acesso centralizado aos estados internos.
• Análise de Significado dos Símbolos (RSA):
  • Através da Representational Similarity Analysis (RSA), verificou-se que as mensagens emergentes no método EC apresentaram uma correlação estrutural mais forte com a trajetória real do ambiente do que no método BC.
  • Conclusão Chave: A restrição de descentralização forçou os agentes a desenvolverem símbolos mais robustos e generalizáveis que representam o estado global, enquanto o acesso centralizado (BC) permitiu uma coordenação mais fácil, mas com símbolos menos "significativos" em termos de representação do estado do mundo.

5. Significado e Conclusão

O trabalho demonstra que a comunicação descentralizada baseada em modelos de mundo é eficaz não apenas para coordenar ações, mas também para desenvolver representações compartilhadas do ambiente.

• A abordagem proposta resolve a lacuna entre a aprendizagem de linguagem e a coordenação em ambientes dinâmicos.
• O uso de InfoNCE para alinhar mensagens em um espaço latente contínuo permite a emergência de um sistema simbólico comum sem controle central.
• O estudo sugere que, paradoxalmente, a limitação de não poder "ler a mente" do outro agente (descentralização) pode levar a uma comunicação mais rica e adaptativa, pois os agentes são forçados a inferir e compartilhar representações que explicam a dinâmica ambiental global, e não apenas a sincronização local.

Trabalhos Futuros: Os autores planejam incorporar aprendizado por reforço e inferência ativa para melhorar a política de decisão, estender o modelo para grupos maiores de agentes e testar em tarefas com observações de alta dimensão.