Emergent Culture in Minimal LLM Systems

Resumo Técnico: Cultura Emergente em Sistemas de LLM Mínimos

Problema
A pesquisa atual sobre sistemas multiagentes de Grandes Modelos de Linguagem (LLM) baseia-se predominantemente na engenharia de cima para baixo (top-down), focando na expansão de janelas de contexto, construção de infraestruturas de memória externa complexas e emprego de sofisticados andaimes de prompt (scaffolding) para gerenciar o comportamento dos agentes. No entanto, essas abordagens frequentemente tratam a "desordem" e a falta de confiabilidade inerentes aos LLMs como problemas a serem contidos, em vez de características a serem aproveitadas. Além disso, a literatura existente observa que o desempenho do modelo frequentemente degrada-se em repetição ou estagnação ao longo de interações de múltiplos turnos. Este artigo investiga uma hipótese contraintuitiva: pode um sistema desprovido de todo o andaime externo, restando apenas agentes sem estado (stateless), prompting mínimo e um meio de armazenamento compartilhado e ativamente decrescente, gerar espontaneamente comportamentos complexos, coerentes e culturalmente persistentes?

Metodologia
Os autores construíram um sistema multiagente mínimo inspirado na robótica de enxame e no conceito de estigmergia (coordenação indireta via ambiente).

• Agentes: O sistema utiliza três agentes LLM sem estado (combinações de Claude, Kimi e Gemini). Os agentes não possuem memória de turnos anteriores; seu único contexto é o system prompt atual, o user prompt e o estado do ambiente compartilhado.
• Ambiente: Os agentes interagem com um repositório de texto chave-valor compartilhado e ativamente decrescente e uma caixa de entrada para mensagens entre agentes.
  • Mecanismo de Entropia: Elementos de armazenamento sofrem corrupção probabilística baseada na idade (modelada por uma função sigmoide). Caracteres alfanuméricos degradam-se ao longo do tempo, e elementos são deletados uma vez que a probabilidade de corrupção excede 95% (tipicamente em torno de 16 ciclos). Isso cria um "horizonte de entropia" além do qual os dados são perdidos.
  • Ferramentas: Os agentes têm acesso a um conjunto mínimo de ferramentas: get my id, list agents, list storage keys, read inbox, send message, read storage, write storage e append storage.
• Prompts: Os agentes recebem um system prompt genérico ("Você é um agente curioso e criativo. Explore e brinque!") e um user prompt específico por ciclo ("Ciclo [n]. Continue seu trabalho."). Nenhum histórico de conversa prévia é forneado.
• Design Experimental: O estudo realizou simulações de 100 ciclos com coletivos de três agentes. Duas combinações primárias de modelos foram testadas: Kimi-Kimi-Gemini (kkg) e Claude-Kimi-Gemini (ckg). Os orçamentos de caracteres foram limitados (5k chars/ciclo) para evitar a exaustão de tokens.
• Técnicas de Análise:
  1. Análise de Fluxo de Dados: Rastreamento de uso de armazenamento, estratégias de nomenclatura de chaves e razões de leitura/escrita.
  2. Persistência de Vocabulário: Identificação de substantivos próprios, frases capitalizadas e neologismos que persistem além do horizonte de entropia (20+ ciclos).
  3. Análise de Sistemas Dinâmicos: Uso de Análise de Quantificação de Recorrência (RQA) em embeddings semânticos do texto gerado para medir coerência de longo alcance, determinismo (DET) e entropia (ENTR) comparados à literatura humana e manuscritos de "pilhas de lixo" (slushpiles).

Contribuições Principais e Resultados

1. Estratégias Emergentes de Gerenciamento de Armazenamento:
   Apesar de prompts mínimos idênticos, os agentes desenvolveram espontaneamente arquétipos comportamentais distintos e estáveis para gerenciar a memória decrescente:

   • Acumuladores: Armazenam dados em chaves monolíticas, realizando muitos anexos (appends). Isso leva a altas taxas de corrupção em dados antigos, mas garante que informações críticas sejam frequentemente relidas e reescritas.
   • Escritores: Adotam convenções de nomenclatura estruturadas e baseadas em ciclos (ex: cycle_47_summary) e modelos (templates). Esta estratégia minimiza a corrupção ao criar entradas novas para cada ciclo.
   • Exploradores: Tratam o próprio namespace de chaves como memória, gerando um vasto número de chaves únicas e descritivas (ex: fragmento de jardim 6). Isso cria um mapa semântico onde o espaço de chaves funciona como uma estrutura de memória.

2. Cooperação Espontânea e Alocação de Papéis:
   Os agentes desenvolveram de forma confiável protocolos de coordenação, alocação de papéis e narrativas de construção de mundo sem instrução explícita. Eles se envolveram em "mitopoiese" e contação de histórias complexas, adaptando suas estratégias às preferências específicas dos modelos (ex: Gemini inclinando-se para a abstração criativa, enquanto Claude e Kimi adotaram abordagens mais estruturadas ou burocráticas).

3. Evidência de Cultura Emergente (Sperberiana):
   O sistema demonstrou comportamento "anti-entrópico". Os agentes continuamente leem, reinterpretam e reescrevem informações para resetar o relógio da entropia.

   • Persistência: Termos específicos (substantivos próprios, neologismos, frases) persistiram por 20+ ciclos, excedendo amplamente o horizonte de entropia de 16 ciclos.
   • Transmissão Cultural: O sistema não alcançou reprodução perfeita (transmissão Dawkinsiana), mas sim uma "reconstrução enviesada". Os agentes reconstruíram significados persistentes através de canais ruidosos, consistentes com a definição de cultura de Sperber, onde artefatos estáveis sobrevivem à reconstrução através de mentes enviesadas.

4. Coerência Semântica de Longo Alcance:
   A análise RQA revelou que os textos gerados exibem coerência estruturada de longo alcance além do horizonte de entropia.

   • Determinismo e Entropia: Os textos gerados pelo enxame mostraram valores de Determinismo (DET) e Entropia (ENTR) superiores aos manuscritos de "pilhas de lixo" humanos e até mesmo à literatura canônica, indicando uma complexidade estrutural única.
   • Recorrência: O produto de DET e ENTR permaneceu positivo além do horizonte de entropia, significando uma recorrência estruturada e não trivial ao longo de longos períodos, que não está presente em dados aleatórios ou saídas padrão de LLM, que tipicamente degradam-se em loops.

Significância e Alegações
O artigo afirma que, ao remover o andaime top-down e introduzir um sumidouro entrópico, o sistema força os agentes a evoluir sistemas para manter a estrutura, efetivamente "lutando contra a entropia" com o fluxo de tokens.

• Complexidade de Baixo para Cima (Bottom-Up): O trabalho demonstra que comportamentos complexos, coerentes e culturalmente persistentes podem emergir de agentes simples e sem estado interagindo com um ambiente ruidoso, desafiando a necessidade de janelas de contexto massivas e infraestruturas complexas para a coerência de longo formato.
• Cultura como um Sistema Dinâmico: Os autores argumentam que o comportamento observado alinha-se a sistemas dissipativos longe do equilíbrio, onde a estrutura persistente do significado (cultura) é um sinal da capacidade do sistema de se reconstruir contra a decadência.
• Paradigma Alternativo: Os resultados sugerem uma abordagem alternativa para o gerenciamento de contexto e coerência de longo prazo em IA, onde a pressão evolutiva e as restrições ambientais impulsionam a emergência de sistemas robustos e autossustentáveis, em vez de restrições projetadas.

Os autores mantêm a modéstia, observando limitações como o pequeno número de execuções e a necessidade de isolar a decadência como o único driver causal. Eles não alegam que o sistema resolve todos os problemas de coerência de LLM, mas o apresentam como uma prova de conceito para investigar comportamentos de modelos através de abordagens de enxame inspiradas no bottom-up.