From Signals to Structure: How Memory Architecture Drives Language Emergence in LLM Agents

Resumo Técnico: Dos Sinais à Estrutura

Problema
Este artigo investiga como agentes de Grandes Modelos de Linguagem (LLMs) inventam uma linguagem compartilhada do zero dentro de uma estrutura de jogo de sinalização de Lewis. Enquanto pesquisas anteriores sobre comunicação emergente focaram amplamente em agentes neurais treinados por gradiente e no papel da capacidade do canal (largura de banda) para impulsionar a estrutura composicional, este estudo desloca o foco para a arquitetura de memória. Os autores questionam se a habilidade dos agentes de reter e estruturar o histórico de interação (via memória persistente) é um determinante mais crítico da emergência da linguagem do que a capacidade bruta do canal de comunicação. Especificamente, eles desafiam a hipótese informacional de que uma capacidade de canal que corresponda exatamente ao número de referentes (o "gargalo") atua como um ponto de pressão ideal para a composicionalidade.

Metodologia
Os autores conduziram três estudos utilizando o gpt-5.4-mini como o modelo base tanto para os agentes emissores quanto para os receptores. Os agentes jogaram um jogo de sinalização referencial por $N=200$ rodadas, onde o emissor observava um objeto alvo (de um conjunto de 8 objetos definidos por 3 características binárias) e transmitia uma mensagem simbólica de comprimento fixo ao receptor, que então adivinhava o alvo.

• Arquiteturas de Memória: O estudo comparou cinco condições distintas de memória, todas compartilhando uma janela deslizante de base das últimas 20 interações:
  1. Apenas Memória (Memory Only): Agentes dependem exclusivamente da janela deslizante.
  2. Bloco de Notas (Scratchpad): Agentes mantêm um caderno persistente e de formato livre (sobrescrito a cada rodada) para rastrear convenções.
  3. Livro de Códigos (Codebook): Agentes mantêm uma lista de slots de capacidade fixa (10 slots) editada no local.
  4. Meta Livro de Códigos (Codebook Meta): Livro de códigos acrescido de uma nota meta persistente para regras de nível de linguagem.
  5. Quadro do Ambiente (Env Board): Uma tabela pública compartilhada compilada pelo ambiente (não uma memória privada).
• Configurações de Canal: A capacidade do canal ($C = |V|^L$) foi varrida de 4 a 125, variando o tamanho do vocabulário ($|V|$) e o comprimento da mensagem ($L$).
• Métricas: O desempenho foi medido pela precisão no final do jogo (rodadas 151–200), Similaridade Topográfica (TopSim) para avaliar a estrutura composicional, Informação Mútua (MI) entre as posições do sinal e as características do objeto, e taxas de colisão.

Resultados Principais

1. A Arquitetura de Memória Domina a Capacidade do Canal:
   O estudo descobre que a arquitetura de memória é um preditor mais forte de sucesso na coordenação do que a capacidade do canal. Agentes com um bloco de notas privado persistente (Scratchpad) alcançaram a coordenação mais confiável (precisão de $0,867 \pm 0,023$ na capacidade 25) e evitaram o colapso de desempenho observado em agentes sem estado (stateless). Em contraste, agentes sem estado (Apenas Memória) atingiram o pico em capacidade moderada (25), mas degradaram significativamente conforme a capacidade aumentava para 64, onde as taxas de colisão atingiram 1,0.

2. O Gargalo é um Ponto de Fragilidade, Não um Ótimo:
   Contrariamente às teorias de gargalo de informação que sugerem que uma capacidade de canal igual ao número de referentes ($C=8$ para 8 objetos) força a compressão ideal, os autores descobriram que este ponto é um ponto de fragilidade. Em $C=8$, os resultados foram bimodais: os agentes ou tiveram sucesso ou falharam completamente, sem meio-termo. A falta de capacidade excedente impediu que os agentes reparassem colisões iniciais, levando a alta variância e baixo desempenho médio.

3. Capacidade Excedente Estabiliza Convenções:
   Agentes com memória persistente beneficiaram-se de capacidade excedente. A condição Scratchpad mostrou aumento de precisão conforme a capacidade crescia, atingindo 0,90 em $C=125$. Por outro lado, agentes sem estado sofreram de "proliferação de códigos" em altas capacidades; a janela deslizante não conseguia acumular evidências suficientes por código conforme o espaço de sinal se expandia, levando à ambiguidade e ao colapso de desempenho.

4. Consolidação vs. Comprimento do Histórico:
   O Estudo 3 demonstrou que a falha dos agentes sem estado em alta capacidade é um problema de consolidação, não meramente um problema de comprimento de histórico. Aumentar o tamanho da janela deslizante para agentes sem estado de 20 para 40 rodadas não melhorou o desempenho em $C=64$. No entanto, agentes do tipo Scratchpad alcançaram alta precisão com apenas 10 rodadas de contexto, provando que a habilidade de externalizar e persistir convenções aprendidas é o fator crítico, não o volume de histórico bruto.

5. Composicionalidade e Deriva:
   Embora uma alta precisão tenha sido alcançada, as linguagens resultantes eram frequentemente tabelas de consulta (lookup tables) holísticas em vez de códigos totalmente composicionais. A condição Scratchpad mostrou uma estrutura posicional parcial, mas a "deriva de convenção" (onde emissores reatribuem tokens a diferentes objetos no meio do jogo) foi identificada como uma causa para quedas de precisão no final do jogo em algumas execuções.

Significância e Alegações
O artigo afirma que a capacidade do canal sozinha não pode prever a coordenação em agentes de LLM. Em vez disso, a transição de sinais para linguagem depende da interação conjunta da capacidade do canal e da arquitetura de memória.

• Arquitetura de Memória como um Determinante: A estrutura das representações intermediárias (como os agentes armazenam o que aprendem) determina se o histórico de interação é convertido em convenções estáveis. Blocos de notas persistentes permitem que os agentes externalizem convenções, libertando-os de rederivar códigos a cada rodada.
• Reavaliando o Gargalo: O estudo argumenta que o "gargalo" ($C=8$) não é um ótimo composicional para agentes de LLM, mas um ponto de fragilidade onde erros precoces tornam-se permanentes devido à falta de redundância. A capacidade excedente é geralmente superior, pois permite que os agentes reparem colisões e estabilizem convenções.
• Limitações: Os autores observam modestamente que os resultados são indicativos, em vez de estatisticamente conclusivos, devido ao uso de um único modelo e sementes limitadas para algumas condições. Eles enfatizam que as curvas observadas podem refletir propriedades específicas de LLMs em vez de comportamentos universais de agentes, sugerindo que trabalhos futuros testem modelos de pesos abertos e espaços composicionais maiores.

Em conclusão, o artigo postula que, para agentes de LLM, sinais tornam-se linguagem apenas quando a capacidade do canal e a arquitetura de memória suportam conjuntamente a estabilização de convenções. Sem memória persistente, os agentes não conseguem manter códigos estáveis em ambientes de alta capacidade, independentemente da otimalidade teórica da largura de banda do canal.