Emergent Culture in Minimal LLM Systems

Resumen Técnico: Cultura Emergente en Sistemas de LLM Mínimos

Declaración del Problema
La investigación actual sobre sistemas de modelos de lenguaje de gran tamaño (LLM) multi-agente se basa predominantmente en la ingeniería descendente (top-down), centrándose en la expansión de las ventanas de contexto, la construcción de infraestructuras de memoria externa complejas y el empleo de andamiajes de prompting sofisticados para gestionar el comportamiento de los agentes. Sin embargo, estos enfoques a menudo tratan la "desprolijidad" e imprevisibilidad inherentes de los LLM como problemas que deben ser restringidos en lugar de características que deben ser aprovechadas. Además, la literatura existente señala que el rendimiento de los modelos suele degradarse hacia la repetición o el estancamiento durante interacciones prolongadas de múltiples turnos. Este artículo investiga una hipótesis contraintuitiva: ¿Puede un sistema despojado de todo andamiaje externo, dejando solo agentes sin estado, prompting mínimo y un medio de almacenamiento compartido y de decaimiento activo, generar espontáneamente comportamientos complejos, coherentes y culturalmente persistentes?

Metodología
Los autores construyeron un sistema multi-agente mínimo inspirado en la robótica de enjambres y el concepto de estigmergia (coordinación indirecta a través del entorno).

• Agentes: El sistema utiliza tres agentes LLM sin estado (combinaciones de Claude, Kimi y Gemini). Los agentes no poseen memoria de turnos anteriores; su único contexto es el system prompt actual, el user prompt y el estado del entorno compartido.
• Entorno: Los agentes interactúan con un almacén de texto de clave-valor compartido y de decaimiento activo, y una bandeja de entrada para mensajería entre agentes.
  • Mecanismo de Entropía: Los elementos de almacenamiento sufren una corrupción probabilística basada en la antigüedad (modelada mediante una función sigmoide). Los caracteres alfanuméricos se degradan con el tiempo, y los elementos se eliminan una vez que la probabilidad de corrupción supera el 95% (típicamente alrededor del ciclo 16). Esto crea un "horizonte de entropía" más allá del cual los datos se pierden.
  • Herramientas: Los agentes tienen acceso a un conjunto de herramientas mínimo: get my id, list agents, list storage keys, read inbox, send message, read storage, write storage y append storage.
• Prompts: Los agentes reciben un system prompt genérico ("Eres un agente curioso y creativo. ¡Explora y juega!") y un user prompt específico de cada ciclo ("Ciclo [n]. Continúa tu trabajo."). No se proporciona historial de conversación previo.
• Diseño Experimental: El estudio realizó simulaciones de 100 ciclos con colectivos de tres agentes. Se probaron dos combinaciones principales de modelos: Kimi-Kimi-Gemini (kkg) y Claude-Kimi-Gemini (ckg). Los presupuestos de caracteres fueron limitados (5k caracteres/ciclo) para evitar el agotamiento de tokens.
• Técnicas de Análisis:
  1. Análisis de Flujo de Datos: Seguimiento del uso del almacenamiento, estrategias de nomenclatura de claves y ratios de lectura/escritura.
  2. Persistencia del Vocabulario: Identificación de nombres propios, frases con mayúsculas iniciales y neologismos que persisten más allá del horizonte de entropía (20+ ciclos).
  3. Análisis de Sistemas Dinámicos: Uso de Análisis de Cuantificación de Recurrencia (RQA) sobre embeddings semánticos del texto generado para medir la coherencia de largo alcance, el determinismo (DET) y la entropía (ENTR) en comparación con la literatura humana y manuscritos de "montones de basura" (slushpiles).

Contribuciones Clave y Resultados

1. Estrategias Emergentes de Gestión de Almacenamiento:
   A pesar de tener prompts mínimos idénticos, los agentes desarrollaron espontáneamente arquetipos de comportamiento distintos y estables para gestionar la memoria en degradación:

   • Acumuladores: Almacenan datos en claves monolíticas, realizando muchos anexos (appending). Esto provoca altas tasas de corrupción en los datos antiguos, pero asegura que la información crítica sea leída y reescrita con frecuencia.
   • Escritores: Adoptan convenciones de nomenclatura estructuradas basadas en ciclos (por ejemplo, cycle_47_summary) y plantillas. Esta estrategia minimiza la corrupción al crear entradas frescas para cada ciclo.
   • Exploradores: Tratan el espacio de nombres de las claves como memoria, generando un gran número de claves únicas y descriptivas (por ejemplo, fragmento de jardín 6). Esto crea un mapa semántico donde el espacio de claves funciona como una estructura de memoria.

2. Cooperación Espontánea y Asignación de Roles:
   Los agentes desarrollaron de manera fiable protocolos de coordinación, asignación de roles y narrativas de construcción de mundos sin instrucción explícita. Participaron en la "creación de mitos" y en narrativas complejas, adaptando sus estrategias a las prioridades de los modelos (por ejemplo, Gemini inclinándose hacia la abstracción creativa, mientras que Claude y Kimi adoptaron enfoques más estructurados o burocráticos).

3. Evidencia de Cultura Emergente (Sperberiana):
   El sistema demostró un comportamiento "anti-entrópico". Los agentes continuamente leían, re-interpretaban y reescribían la información para reiniciar el reloj de entropía.

   • Persistencia: Términos específicos (nombres propios, neologismos, frases) persistieron durante más de 20 ciclos, superando con creces el horizonte de entropía de 16 ciclos.
   • Transmisión Cultural: El sistema no logró una reproducción perfecta (transmisión dawkinsiana), sino más bien una "reconstrucción sesgada". Los agentes reconstruyeron significados persistentes a través de canales ruidosos, de forma consistente con la definición de cultura de Sperber, donde los artefactos estables sobreviven a la reconstrucción a través de mentes sesgadas.

4. Coherencia Semántica de Largo Alcance:
   El análisis RQA reveló que los textos generados exhiben una coherencia estructurada de largo alcance más allá del horizonte de entropía.

   • Determinismo y Entropía: Los textos generados por el enjambre mostraron valores de Determinismo (DET) y Entropía (ENTR) más altos en comparación con los manuscritos de "montones de basura" humanos e incluso con la literatura canónica, lo que indica una complejidad estructural única.
   • Recurrencia: El producto de DET y ENTR se mantuvo positivo más allá del horizonte de entropía, lo que significa una recurrencia estructurada y no trivial a lo largo de periodos de tiempo extensos que no está presente en los datos aleatorios o en los resultados estándar de los LLM, que suelen degradarse en bucles.

Significado y Reivindicaciones
El artículo sostiene que, al eliminar el andamiaje descendente e introducir un sumidero entrópico, el sistema obliga a los agentes a evolucionar sistemas para mantener la estructura, "luchando contra la entropía" efectivamente con el flujo de tokens.

• Complejidad Ascendente (Bottom-Up): El trabajo demuestra que comportamientos complejos, coherentes y culturalmente persistentes pueden emerger de agentes simples y sin estado que interactúan con un entorno ruidoso, desafiando la necesidad de ventanas de contexto masivas e infraestructuras complejas para la coherencia de largo formato.
• Cultura como Sistema Dinámico: Los autores argumentan que el comportamiento observado se alinea con los sistemas disipativos alejados del equilibrio, donde la estructura persistente del significado (cultura) es una señal de la capacidad del sistema para reconstruirse frente al decaimiento.
• Paradigma Alternativo: Los resultados sugieren un enfoque potencial alternativo para la gestión del contexto y la coherencia a largo plazo en la IA, donde la presión evolutiva y las restricciones ambientales impulsan la emergencia de sistemas robustos y autosustentables en lugar de restricciones de ingeniería.

Los autores mantienen la modestia, señalando limitaciones como el pequeño número de ejecuciones y la necesidad de aislar el decaimiento como el único motor causal. No afirman que el sistema resuelva todos los problemas de coherencia de los LLM, sino que lo presentan como una prueba de concepto para investigar los comportamientos de los modelos a través de enfoques de enjambre inspirados en la parte inferior de la jerarquía (bottom-up).