From Signals to Structure: How Memory Architecture Drives Language Emergence in LLM Agents

Résumé Technique : Des Signaux à la Structure

Énoncé du Problème
Cet article étudie comment des agents de modèles de langage de grande taille (LLM) inventent un langage partagé à partir de zéro dans le cadre d'un jeu de signalisation de Lewis. Alors que les recherches antérieures sur la communication émergente se sont largement concentrées sur les agents neuronaux entraînés par gradient et sur le rôle de la capacité du canal (bande passante) pour stimuler la structure compositionnelle, cette étude déplace l'attention sur l'architecture de la mémoire. Les auteurs se demandent si la capacité des agents à conserver et à structurer l'historique des interactions (via une mémoire persistante) est un déterminant plus critique de l'émergence du langage que la capacité brute du canal de communication. Plus précisément, ils remettent en question l'hypothèse de la théorie de l'information selon laquelle une capacité de canal correspondant exactement au nombre de référents (le « goulot d'étranglement ») agit comme un point de pression optimal pour la compositionnalité.

Méthodologie
Les auteurs ont mené trois études utilisant gpt-5.4-mini comme modèle de base pour les agents émetteurs et récepteurs. Les agents ont joué un jeu de signalisation référentielle pendant $N=200$ tours, où l'émetteur observait un objet cible (provenant d'un groupe de 8 objets définis par 3 caractéristiques binaires) et transmettait un message symbolique de longueur fixe au récepteur, qui devait ensuite deviner la cible.

• Architectures de Mémoire : L'étude a comparé cinq conditions de mémoire distinctes, partageant toutes une fenêtre glissante de base des 20 dernières interactions :
  1. Mémoire Uniquement (Memory Only) : Les agents s'appuient uniquement sur la fenêtre glissante.
  2. Bloc-notes (Scratchpad) : Les agents maintiennent un carnet de notes persistant et de forme libre (écrasé à chaque tour) pour suivre les conventions.
  3. Codebook : Les agents maintiennent une liste de créneaux à capacité fixe (10 emplacements) modifiée sur place.
  4. Codebook Meta : Le Codebook plus une note méta persistante pour les règles de niveau linguistique.
  5. Tableau d'Environnement (Env Board) : Une table publique partagée compilée par l'environnement (et non une mémoire privée).
• Configurations de Canal : La capacité du canal ($C = |V|^L$) a été balayée de 4 à 125 en faisant varier la taille du vocabulaire ($|V|$) et la longueur du message ($L$).
• Métriques : La performance a été mesurée par la précision en fin de partie (tours 151–200), la similitude topographique (TopSim) pour évaluer la structure compositionnelle, l'information mutuelle (MI) entre les positions du signal et les caractéristiques de l'objet, et les taux de collision.

Résultats Clés

1. L'Architecture de Mémoire Domine la Capacité du Canal :
   L'étude conclut que l'architecture de la mémoire est un prédicteur plus fort du succès de la coordination que la capacité du canal. Les agents dotés d'un bloc-notes privé persistant (Scratchpad) ont atteint la coordination la plus fiable (précision de $0,867 \pm 0,023$ à une capacité de 25) et ont évité l'effondrement des performances observé chez les agents sans état (stateless). En revanche, les agents sans état (Memory Only) ont atteint un pic à une capacité modérée (25) mais se sont dégradés de manière significative lorsque la capacité a augmenté à 64, où les taux de collision ont atteint 1,0.

2. Le Goulot d'Étranglement est un Point de Fragilité, non un Optimum :
   Contrairement aux théories du goulot d'étranglement de l'information suggérant qu'une capacité de canal égale au nombre de référents ($C=8$ pour 8 objets) force une compression optimale, les auteurs ont constaté que ce point est un point de fragilité. À $C=8$, les résultats étaient bimodaux : les agents réussissaient ou échouaient complètement, sans milieu de terrain. L'absence de capacité excédentaire empêchait les agents de réparer les collisions précoces, entraînant une variance élevée et une performance moyenne faible.

3. La Capacité Excédentaire Stabilise les Conventions :
   Les agents dotés d'une mémoire persistante ont bénéficié d'une capacité excédentaire. La condition Scratchpad a montré une précision croissante à mesure que la capacité augmentait, atteignant 0,90 à $C=125$. Inversement, les agents sans état ont souffert d'une « prolifération de codes » à des capacités élevées ; la fenêtre glissante ne pouvait pas accumuler suffisamment de preuves par code à mesure que l'espace du signal s'étendait, menant à l'ambiguïté et à l'effondrement des performances.

4. Consolidation vs Longueur de l'Historique :
   L'étude 3 a démontré que l'échec des agents sans état à haute capacité est un problème de consolidation, et non simplement un problème de longueur d'historique. Augmenter la taille de la fenêtre glissante pour les agents sans état de 20 à 40 tours n'a pas amélioré la performance à $C=64$. Cependant, les agents Scratchpad ont atteint une précision élevée avec seulement 10 tours de contexte, prouvant que la capacité d'externaliser et de faire persister les conventions apprises est le facteur critique, et non le volume de l'historique brut.

5. Compositionnalité et Dérive :
   Bien qu'une précision élevée ait été atteinte, les langages résultants étaient souvent des tables de recherche holistiques plutôt que des codes pleinement compositionnels. La condition Scratchpad a montré une structure positionnelle partielle, mais la « dérive de convention » (où les émetteurs réassignent des jetons à différents objets en cours de jeu) a été identifiée comme une cause des baisses de précision en fin de partie dans certains essais.

Signification et Revendications
L'article affirme que la capacité du canal seule ne peut prédire la coordination chez les agents LLM. Au lieu de cela, la transition des signaux vers le langage dépend de l'interaction conjointe de la capacité du canal et de l'architecture de la mémoire.

• L'Architecture de Mémoire comme Déterminant : La structure des représentations intermédiaires (la manière dont les agents stockent ce qu'ils apprennent) détermine si l'historique des interactions est converti en conventions stables. Les blocs-notes persistants permettent aux agents d'externaliser les conventions, les libérant de la nécessité de redériver des codes à chaque tour.
• Réévaluation du Goulot d'Étranglement : L'étude soutient que le « goulot d'étranglement » ($C=8$) n'est pas un optimum de compositionnalité pour les agents LLM, mais un point de fragilité où les erreurs précoces deviennent permanentes en raison du manque de redondance. La capacité excédentaire est généralement supérieure car elle permet aux agents de réparer les collisions et de stabiliser les conventions.
• Limites : Les auteurs notent modestement que les résultats sont indicatifs plutôt que statistiquement concluants en raison de l'utilisation d'un seul modèle et de graines (seeds) limitées pour certaines conditions. Ils soulignent que les courbes observées peuvent refléter des propriétés spécifiques aux LLM plutôt que des comportements d'agents universels, suggérant que des travaux futurs devraient tester des modèles en accès ouvert (open-weight) et des espaces compositionnels plus larges.

En conclusion, l'article pose que, pour les agents LLM, les signaux ne deviennent un langage que lorsque la capacité du canal et l'architecture de la mémoire soutiennent conjointement la stabilisation des conventions. Sans mémoire persistante, les agents ne peuvent maintenir des codes stables dans des environnements à haute capacité, indépendamment de l'optimalité théorique de la bande passante du canal.