Resumo Técnico: Comunicação Emergente entre Agentes Visuais Heterogêneos através de Aprendizado Descentralizado

1. Declaração do Problema

O artigo aborda uma questão fundamental na comunicação emergente (CE): quais informações visuais podem se tornar compartilháveis quando os agentes possuem representações visuais privadas diferentes?

Os paradigmas padrão de CE geralmente dependem de um sinal de tarefa externo compartilhado (por exemplo, um jogo referencial onde um ouvinte deve identificar uma imagem-alvo com base na mensagem de um falante). Esse sinal compartilhado acopla os agentes através de um objetivo comum, potencialmente permitindo que símbolos emergentes otimizem a tarefa em vez de se fundamentarem na evidência perceptual privada de cada agente. Os autores argumentam que, para entender como os símbolos surgem a partir da percepção privada apenas, é necessário um cenário descentralizado onde os agentes são acoplados apenas através de mensagens trocadas e atualizam seus modelos usando evidência perceptual local, sem recompensas compartilhadas, gradientes entre agentes ou compartilhamento de parâmetros.

O desafio central é determinar se símbolos comuns podem emergir sem acesso perceptual compartilhado e como a similaridade (ou incompatibilidade) entre os espaços visuais privados dos agentes restringe o conteúdo e a simetria da linguagem resultante.

2. Metodologia

2.1 O Jogo de Legendagem Metropolis-Hastings (MHCG)

Os autores instanciam seu cenário descentralizado usando o Jogo de Legendagem Metropolis-Hastings (MHCG), adaptado para Modelos Visão-Linguagem (VLMs).

• Agentes: Dois agentes (Agente A e Agente B) observam visualizações aumentadas independentemente da mesma imagem.
• Arquitetura: Cada agente consiste em:
  • Um codificador visual congelado (baseado em ViT pré-treinado, por exemplo, DINOv2 ou MAE).
  • Um módulo de texto inicializado aleatoriamente (configuração BERT-Tiny) atuando como codificador e decodificador.
  • Um adaptador ProbVLM que mapeia características específicas de modalidade em um espaço latente probabilístico compartilhado, modelando distribuições como gaussianas generalizadas diagonais.
• Protocolo de Interação:
  1. Falante: Codifica sua observação visual e amostra uma sequência de tokens candidata (legenda) $c^*$.
  2. Ouvinte: Gera sua própria legenda $c$ para a mesma imagem.
  3. Decisão de Aceitação: O ouvinte avalia a proposta do falante $c^*$ contra sua própria legenda $c$ usando um critério de aceitação Metropolis-Hastings (MH). A decisão é baseada em uma razão de verossimilhança derivada das próprias características visuais do ouvinte e dos parâmetros de densidade do lado do texto das legendas.
  4. Atualização: Se aceita, $c^*$ torna-se o alvo de treinamento para o ouvinte; caso contrário, $c$ é mantida. Os papéis trocam na próxima rodada.
  5. Aprendizado: Os agentes atualizam apenas seus módulos de texto (codificador, decodificador, camadas de projeção e cabeça ITM) e adaptadores ProbVLM usando as legendas aceitas como alvos fixos, minimizando perdas no estilo BLIP (Contraste Imagem-Texto, Correspondência Imagem-Texto e Modelagem de Linguagem). Os codificadores visuais permanecem congelados.

2.2 Configuração Experimental

• Conjunto de Dados: MS-COCO (train2017 para treinamento, val2017 para avaliação).
• Condições de Codificador Visual: Três combinações de codificadores congelados foram testadas:
  1. HOMO: Codificadores idênticos (DINOv2 ViT-B/14 para ambos).
  2. HETERO1 (Heterogeneidade Moderada): DINOv2 ViT-B/14 vs. DINOv2 ViT-S/14.
  3. HETERO2 (Heterogeneidade Forte): DINOv2 ViT-B/14 vs. MAE ViT-B/16.
• Controles:
  • NoCom: Sem comunicação (linha de base).
  • AllAccept: Aceita todas as propostas ($r \equiv 1$).
  • Aceitação Aleatória: Correspondente à taxa de aceitação MH, mas aceita uniformemente ao acaso.
  • Baseado em ITM: Usa a pontuação discriminativa de correspondência imagem-texto do ouvinte em vez da razão de verossimilhança MH.

2.3 Métricas de Avaliação

• Alinhamento entre Agentes: Recuperação cruzada de modalidades Top-1 (Imagem-para-Texto e Texto-para-Imagem) e Análise de Similaridade Representacional Texto-Texto Inter-agente (RSA).
• Transferência de Informação Visual: $\Delta R^2$ (predição linear corrigida por permutação de características visuais a partir de tokens) e RSA Visão-Texto.
• Especificidade Visual: Raio visual global-normalizado de sequências de tokens compartilhadas em espaços CLS fixos.
• Viés Representacional: Viés Partial-RSA ($\Delta X$) para medir se os símbolos emergentes se alinham mais fortemente com a geometria visual de um agente.

3. Principais Contribuições

1. Jogo de Linguagem VLM Descentralizado: Introdução de um cenário onde agentes com codificadores visuais heterogêneos aprendem símbolos compartilhados sem recompensas de tarefa compartilhadas, gradientes entre agentes ou compartilhamento de parâmetros.
2. Eficácia do MHCG: Demonstração de que o MHCG produz sequências de tokens compartilhadas que preservam informações visuais entre agentes, superando significativamente uma linha de base sem comunicação em tarefas de alinhamento, predição e recuperação.
3. Caracterização da Heterogeneidade:
   • Incompatibilidade de Codificadores: Todas as métricas entre agentes declinam à medida que a incompatibilidade do codificador aumenta.
   • Heterogeneidade Moderada: Reduz o número de sequências compartilhadas, mas preserva a especificidade visual de sequências individuais.
   • Heterogeneidade Forte: Gera menos sequências, mais grosseiras, com um viés direcional em direção à estrutura representacional de um agente.
4. Papel Crítico do Filtro MH: Mostrou que o filtro de razão de verossimilhança MH no lado do ouvinte é essencial para prevenir a formação degenerada de tokens (colapso) e permitir a transferência eficaz de informações visuais, superando controles de correspondência discriminativa ou aceitação aleatória.

4. Resultados

• Desempenho vs. Linha de Base: Em todas as condições de codificador, o MHCG superou significativamente a linha de base NoCom em todas as métricas (por exemplo, em HOMO, a recuperação entre agentes foi de ~92% vs. ~23% para NoCom).
• Impacto da Incompatibilidade:
  • HOMO: Maior desempenho, alinhamento simétrico.
  • HETERO1: O desempenho diminuiu, mas permaneceu robusto. O sistema formou 39% menos sequências compartilhadas do que HOMO, mas a especificidade visual por sequência (medida pelo raio visual) permaneceu comparável.
  • HETERO2: Queda significativa de desempenho. As sequências compartilhadas foram menos numerosas e cobriram conjuntos de imagens muito mais amplos e diversos (conceitos mais grosseiros).
• Viés Representacional: Sob HETERO2, um viés direcional claro emergiu ($\Delta A > 0, \Delta B < 0$), onde a linguagem compartilhada se alinhou mais fortemente com a geometria visual do Agente A (DINOv2 ViT-B). Isso resultou em desempenho de recuperação assimétrico (os tokens do Agente B transferiram-se melhor para o espaço do Agente A do que vice-versa).
• Estudos de Ablação:
  • AllAccept: Produziu alto alinhamento texto-texto, mas com sequências degeneradas, de baixa diversidade e recuperação pobre.
  • Aceitação Aleatória: Falhou em transferir informações visuais, performando próximo ao acaso.
  • Baseado em ITM: Melhorou em relação ao acaso, mas permaneceu inferior ao MHCG, indicando que o filtro probabilístico MH é superior à simples correspondência discriminativa para este cenário descentralizado.

5. Significado e Alegações

O artigo alega que símbolos compartilhados podem surgir apenas da avaliação perceptual local, sem a necessidade de um objetivo comunicativo externo compartilhado. O estudo demonstra que:

• Similaridade Representacional Visual é um fator chave que molda a linguagem resultante: determina tanto o conteúdo (especificidade vs. grosseiridade) quanto a simetria (viés) dos símbolos emergentes.
• Inferência Descentralizada via amostragem MH permite que os agentes negociem um espaço latente compartilhado, apesar de possuírem backbones visuais congelados diferentes.
• Heterogeneidade Moderada atua como um gargalo de seleção, filtrando conceitos que não são invariantes entre diferentes representações visuais, resultando em um vocabulário menor, mas mais robusto, de conceitos compartilhados.
• Heterogeneidade Forte leva a uma quebra na simetria, onde a linguagem compartilhada tende a privilegiar a estrutura representacional do agente com o codificador visual mais dominante ou compatível.

Os autores posicionam este trabalho como fundamental para entender como espaços perceptuais privados e sistemas simbólicos compartilhados co-desenvolvem-se através da interação, oferecendo um quadro para estudar o fundamento da linguagem em sistemas multiagente distribuídos e heterogêneos. Eles notam explicitamente limitações, incluindo o uso de codificadores congelados (impedindo adaptação da percepção), um único conjunto de dados e um vocabulário pequeno, sugerindo que trabalhos futuros devem explorar se símbolos compartilhados podem remodelar espaços perceptuais privados e como essas dinâmicas escalam com populações maiores e modalidades diversas.