From Signals to Structure: How Memory Architecture Drives Language Emergence in LLM Agents

Resumen Técnico: De las Señales a la Estructura

Planteamiento del Problema
Este artículo investiga cómo los agentes de Modelos de Lenguaje de Gran Escala (LLM) inventan un lenguaje compartido desde cero dentro de un marco de juego de señalización de Lewis. Mientras que la investigación previa sobre comunicación emergente se ha centrado ampliamente en agentes neuronales entrenados mediante gradiente y en el papel de la capacidad del canal (ancho de banda) como motor de la estructura composicional, este estudio desplaza el enfoque hacia la arquitectura de la memoria. Los autores se preguntan si la capacidad de los agentes para retener y estructurar el historial de interacción (a través de la memoria persistente) es un determinante más crítico de la emergencia del lenguaje que la capacidad bruta del canal de comunicación. Específicamente, desafían la hipótesis de la teoría de la información que sugiere que una capacidad de canal que coincida exactamente con el número de referentes (el "cuello de botella") actúa como un punto de presión óptimo para la composicionalidad.

Metodología
Los autores realizaron tres estudios utilizando gpt-5.4-mini como el modelo base tanto para los agentes emisores como para los receptores. Los agentes jugaron un juego de señalización referencial durante $N=200$ rondas, donde el emisor observaba un objeto objetivo (de un conjunto de 8 objetos definidos por 3 características binarias) y transmitía un mensaje simbólico de longitud fija al receptor, quien luego adivinaba el objetivo.

• Arquitecturas de Memoria: El estudio comparó cinco condiciones de memoria distintas, todas compartiendo una ventana rodante basal de las últimas 20 interacciones:
  1. Solo Memoria (Memory Only): Los agentes dependen únicamente de la ventana rodante.
  2. Bloc de Notas (Scratchpad): Los agentes mantienen un cuaderno persistente y de formato libre (sobrescrito en cada ronda) para rastrear convenciones.
  3. Libro de Códigos (Codebook): Los agentes mantienen una lista de ranuras de capacidad fija (10 ranuras) editada in-place.
  4. Meta Libro de Códigos (Codebook Meta): Libro de códigos más una nota meta persistente para reglas a nivel de lenguaje.
  5. Tablero de Entorno (Env Board): Una tabla pública compartida compilada por el entorno (no una memoria privada).
• Configuraciones de Canal: La capacidad del canal ($C = |V|^L$) se analizó variando de 4 a 125 mediante la variación del tamaño del vocabulario ($|V|$) y la longitud del mensaje ($L$).
• Métricas: El rendimiento se midió mediante la precisión en la fase final del juego (rondas 151–200), la Similitud Topográfica (TopSim) para evaluar la estructura composicional, la Información Mutua (MI) entre las posiciones de la señal y las características del objeto, y las tasas de colisión.

Resultados Clave

1. La Arquitectura de Memoria Domina la Capacidad del Canal:
   El estudio encuentra que la arquitectura de memoria es un predictor más fuerte del éxito de la coordinación que la capacidad del canal. Los agentes con un bloc de notas privado persistente (Scratchpad) lograron la coordinación más fiable (precisión de $0.867 \pm 0.023$ en capacidad 25) y evitaron el colapso de rendimiento observado en los agentes sin estado. Por el contrario, los agentes sin estado (Memory Only) alcanzaron su pico en una capacidad moderada (25) pero se degradaron significativamente a medida que la capacidad aumentó a 64, donde las tasas de colisión alcanzaron 1.0.

2. El Cuello de Botella es un Punto de Fragilidad, no un Óptimo:
   Contrario a las teorías del cuello de botella de la información que sugieren que una capacidad de canal igual al número de referentes ($C=8$ para 8 objetos) fuerza una compresión óptima, los autores encontraron que este punto es un punto de fragilidad. En $C=8$, los resultados fueron bimodales: los agentes o bien tenían éxito o fallaban completamente, sin término medio. La falta de capacidad de reserva impidió que los agentes repararan las colisiones tempranas, lo que derivó en una alta varianza y un bajo rendimiento promedio.

3. La Capacidad de Reserva Estabiliza las Convenciones:
   Los agentes con memoria persistente se beneficiaron de la capacidad de reserva. La condición de Scratchpad mostró una precisión creciente a medida que la capacidad crecía, alcanzando 0.90 en $C=125$. Por el contrario, los agentes sin estado sufrieron de "proliferación de códigos" en capacidades altas; la ventana rodante no podía acumular evidencia suficiente por código a medida que el espacio de la señal se expandía, lo que generó ambigüedad y un colapso del rendimiento.

4. Consolidación vs. Longitud de Historial:
   El Estudio 3 demostró que el fallo de los agentes sin estado en capacidades altas es un problema de consolidación, no simplemente un problema de longitud de historial. Aumentar el tamaño de la ventana rodante para los agentes sin estado de 20 a 40 rondas no mejoró el rendimiento en $C=64$. Sin embargo, los agentes de Scratchpad lograron una alta precisión con solo 10 rondas de contexto, demostiendo que la capacidad de externalizar y persistir las convenciones aprendidas es el factor crítico, no el volumen del historial bruto.

5. Composicionalidad y Deriva:
   Aunque se alcanzó una alta precisión, los lenguajes resultantes fueron a menudo tablas de búsqueda holísticas en lugar de códigos plenamente composicionales. La condición de Scratchpad mostró una estructura posicional parcial, pero se identificó la "deriva de convención" (donde los emisores reasignan tokens a diferentes objetos a mitad del juego) como una causa de las caídas de precisión en la fase final de algunas ejecuciones.

Significancia y Reivindicaciones
El artículo sostiene que la capacidad del canal por sí sola no puede predecir la coordinación. En su lugar, la transición de señales a lenguaje depende de la interacción conjunta de la capacidad del canal y la arquitectura de la memoria.

• La Arquitectura de Memoria como Determinante: La estructura de las representaciones intermedias (cómo los agentes almacenan lo que aprenden) determina si el historial de interacción se convierte en convenciones estables. Los blocs de notas persistentes permiten a los agentes externalizar las convenciones, liberándolos de tener que rededucir los códigos en cada ronda.
• Reevaluación del Cuello de Botella: El estudio argumenta que el "cuello de botella" ($C=8$) no es un óptimo composicional para los agentes de LLM, sino un punto de fragilidad donde los errores tempranos se vuelven permanentes debido a la falta de redundancia. La capacidad de reserva es generalmente superior, ya que permite a los agentes reparar colisiones y estabilizar las convenciones.
• Limitaciones: Los autores señalan modestamente que los resultados son indicativos más que estadísticamente concluyentes debido al uso de un único modelo y semillas limitadas para algunas condiciones. Enfatizan que las curvas observadas pueden reflejar propiedades específicas de los LLM en lugar de comportamientos universales de agentes, sugiriendo trabajos futuros que prueben modelos de pesos abiertos y espacios composicionales más grandes.

En conclusión, el artículo postula que, para los agentes de LLM, las señales se convierten en lenguaje solo cuando la capacidad del canal y la arquitectura de la memoria soportan conjuntamente la estabilización de las convenciones. Sin memoria persistente, los agentes no pueden mantener códigos estables en entornos de alta capacidad, independientemente de la optimización teórica del ancho de banda del canal.