From Signals to Structure: How Memory Architecture Drives Language Emergence in LLM Agents

Technische Samenvatting: Van Signalen naar Structuur

Probleemstelling
Dit artikel onderzoekt hoe LLM-agenten (Large Language Model) vanuit het niets een gedeelde taal verzinnen binnen een Lewis-signaleringsspel-framework. Terwijl eerder onderzoek naar emergente communicatie zich grotendeels heeft gericht op met gradiënten getrainde neurale agenten en de rol van kanaalcapaciteit (bandbreedte) als drijfveer voor compositionele structuur, verschuift deze studie de focus naar geheugenarchitectuur. De auteurs vragen zich af of het vermogen van agenten om interactiegeschiedenis te bewaren en te structureren (via persistent geheugen) een belangrijkere determinant is voor de emergentie van taal dan de ruwe capaciteit van het communicatiekanaal. In het bijzonder dagen zij de informatie-theoretische hypothese uit dat een kanaalcapaciteit die exact overeenkomt met het aantal referenten (de "bottleneck") fungeert als een optimaal drukpunt voor compositionaliteit.

Methodologie
De auteurs voerden drie studies uit waarbij gpt-5.4-mini werd gebruikt als het basismodel voor zowel de zender- als de ontvangeragenten. De agenten speelden een referentieel signaleringsspel voor $N=200$ rondes, waarbij de zender een doelobject observeerde (uit een pool van 8 objecten gedefinieerd door 3 binaire kenmerken) en een bericht van een vaste lengte met symbolen naar de ontvanger verzond, die vervolgens het doelobject moest raden.

• Geheugenarchitecturen: De studie vergeleek vijf verschillende geheugencondities, die allemaal een basislijn deelden van een rollend venster van de laatste 20 interacties:
  1. Alleen Geheugen (Memory Only): Agenten vertrouwen uitsluitend op het rollende venster.
  2. Scratchpad: Agenten onderhouden een persistent, vrij vormgegeven notitieblok (elke ronde overschreven) om conventies bij te houden.
  3. Codeboek (Codebook): Agenten onderhouden een lijst met vaste capaciteit (10 slots) die ter plaatse wordt bewerkt.
  4. Codeboek Meta (Codebook Meta): Codeboek plus een persistente meta-notitie voor regels op taalniveau.
  5. Env Board: Een gedeelde publieke tafel die door de omgeving wordt samengesteld (geen privégeheugen).
• Kanaalconfiguraties: De kanaalcapaciteit ($C = |V|^L$) werd gescand van 4 tot 125 door de vocabulairegrootte ($|V|$) en de berichtlengte ($L$) te variëren.
• Metrieken: Prestaties werden gemeten aan de hand van de accuratesse in de late fase van het spel (rondes 151–200), Topografische Gelijkenis (TopSim) om de compositionele structuur te beoordelen, Wederzijdse Informatie (MI) tussen signaalposities en objectkenmerken, en botsingspercentages (collision rates).

Belangrijkste Resultaten

1. Geheugenarchitectuur domineert Kanaalcapaciteit:
   De studie concludeert dat de geheugenarchitectuur een sterkere voorspeller is voor succesvolle coördinatie dan de kanaalcapaciteit. Agenten met een persistent privénotitieblok (Scratchpad) bereikten de meest betrouwbare coördinatie (accuratesse $0,867 \pm 0,023$ bij capaciteit 25) en vermeden de prestatieafbraak die bij staatloze agenten werd gezien. Daarentegen piekten staatloze agenten (Alleen Geheugen) bij een gematigde capaciteit (25), maar verslechterden aanzienlijk naarmate de capaciteit toenam naar 64, waar de botsingspercentages de 1,0 bereikten.

2. De Bottleneck is een Kwetsbaarheidspunt, geen Optimum:
   In tegenstelling tot informatie-bottlenecktheorieën die suggereren dat een kanaalcapaciteit gelijk aan het aantal referenten ($C=8$ voor 8 objecten) optimale compressie afdwingt, vonden de auteurs dit punt een kwetsbaarheidspunt. Bij $C=8$ waren de uitkomsten bimodaal: agenten slaagden er óf volledig in, óf faalden volledig, zonder tussenweg. Het gebrek aan overcapaciteit verhinderde agenten om vroege botsingen te herstellen, wat leidde tot hoge variantie en een lage gemiddelde prestatie.

3. Overcapaciteit Stabiliseert Conventies:
   Agenten met persistent geheugen profiteerden van overcapaciteit. De Scratchpad-conditie vertoonde een toenemende accuratesse naarmate de capaciteit groeide, reikend tot 0,90 bij $C=125$. Omgekeerd leden staatloze agenten onder "code-proliferatie" bij hoge capaciteiten; het rollende venster kon niet voldoende bewijs per code accumuleren naarmate de signaalruimte expandeerde, wat leidde tot ambiguïteit en een instorting van de prestaties.

4. Consolidatie versus Geschiedenislengte:
   Studie 3 toonde aan dat het falen van staatloze agenten bij hoge capaciteit een consolidatieprobleem is, en niet louter een probleem van de geschiedenislengte. Het vergroten van de grootte van het rollende venster voor staatloze agenten van 20 naar 40 rondes verbeterde de prestaties bij $C=64$ niet. Echter, Scratchpad-agenten bereikten een hoge accuratesse met slechts 10 rondes aan context, wat bewijst dat het vermogen om conventies te externaliseren en te laten voortbestaan de cruciale factor is, en niet het volume aan ruwe geschiedenis.

5. Compositionaliteit en Drift:
   Hoewel een hoge accuratesse werd bereikt, waren de resulterende talen vaak holistische opzoektabellen (lookup tables) in plaats van volledig compositionele codes. De Scratchpad-conditie vertoonde een gedeeltelijke positionele structuur, maar "conventie-drift" (waarbij zenders halverwege het spel tokens opnieuw toewijzen aan verschillende objecten) werd geïdentificeerd als een oorzaak voor de dalingen in de accuratesse in de late fase van het spel.

Betekenis en Claims
Het artikel claimt dat kanaalcapaciteit alleen de coördinatie niet kan voorspellen bij LLM-agenten. In plaats daarvan hangt de overgang van signalen naar taal af van de gezamenlijke interactie tussen kanaalcapaciteit en geheugenarchitectuur.

• Geheugenarchitectuur als Determinant: De structuur van intermediaire representaties (hoe agenten leren wat ze leren) bepaalt of interactiegeschiedenis wordt omgezet in stabiele conventies. Persistente notitieblokken stellen agenten in staat om conventies te externaliseren, waardoor ze niet elke ronde de codes opnieuw hoeven af te leiden.
• Herwaardering van de Bottleneck: De studie betoogt dat de "bottleneck" ($C=8$) geen compositioneel optimum is voor LLM-agenten, maar een punt van kwetsbaarheid waar vroege fouten permanent worden door een gebrek aan redundantie. Overcapaciteit is over het algemeen superieur omdat het agenten in staat stelt botsingen te herstellen en conventies te stabiliseren.
• Beperkingen: De auteurs merken bescheiden op dat de resultaten indicatief zijn in plaats van statistisch sluitend vanwege het gebruik van een enkel model en een beperkt aantal seeds voor sommige condities. Zij benadrukken dat de geobserveerde curves mogelijk de specifieke eigenschappen van LLM's weerspiegelen in plaats van universele agentgedragingen, wat suggereert dat toekomstig werk open-source modellen en grotere compositionele ruimtes moet testen.

Concluderend stelt het paper dat voor LLM-agenten signalen pas taal worden wanneer kanaalcapaciteit en geheugenarchitectuur gezamenlijk de stabilisatie van conventies ondersteunen. Zonder persistent geheugen kunnen agenten geen stabiele codes behouden in omgevingen met een hoge capaciteit, ongeacht de theoretische optimaliteit van de kanaalbandbreedte.