When Is Collective Intelligence a Lottery? Multi-Agent Scaling Laws for Memetic Drift in LLMs

Dit paper introduceert het Quantized Simplex Gossip-model om aan te tonen dat consensus in multi-agent LLM-systemen vaak het resultaat is van toevallige memetische drift in plaats van collectieve redenering, en biedt schaalwetten die voorspellen wanneer deze drift overgaat in een selectieproces dat vooroordelen versterkt.

De kern

Stel je voor dat een groep vrienden in een café zit en ze proberen samen een naam te verzinnen voor een nieuw drankje dat ze net hebben uitgevonden. Niemand heeft een voorkeur; ze vinden alle namen even leuk. Maar na een tijdje komen ze er allemaal ineens op uit dat ze het drankje "De Blauwe Bliksem" gaan noemen.

De vraag die dit paper stelt is: Is dit een slimme, gezamenlijke beslissing? Of is het gewoon toeval?

De auteurs, Hidenori Tanaka en zijn team, ontdekken dat het vaak gewoon toeval is. Ze noemen dit fenomeen "Memetische Drift" (een soort loterij). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Loterij van de Eerste Willekeurige Keuze

Stel je voor dat de groep uit 24 mensen bestaat. Iedereen begint met een blanco geest.

• De situatie: Iedereen mag een naam voorstellen.
• Het mechanisme: Als persoon A een willekeurige naam noemt (bijvoorbeeld "De Rode Bol"), en persoon B hoort dit, dan neemt B die naam mee in zijn hoofd. Als persoon C vervolgens B hoort, neemt C die naam weer over.
• Het resultaat: Zelfs als niemand de naam "De Rode Bol" echt leuker vindt dan "De Groene Kikker", kan het zijn dat door een klein toeval in het begin (wie spreekt eerst?), de hele groep uiteindelijk "De Rode Bol" gaat gebruiken.

Het is alsof je een munt opgooit. Als de eerste persoon "Kop" zegt, en iedereen luistert naar elkaar, kan de hele groep "Kop" gaan roepen, puur omdat de eerste persoon toevallig "Kop" had geroepen. Er is geen slimme reden voor; het is een loterij.

2. De Grootte van de Groep is Belangrijk

De paper laat zien dat de grootte van de groep bepaalt of het toeval of een echte keuze is:

• Kleine groep (bijv. 8 mensen): Hier is de "loterij" heel sterk. Het is heel makkelijk dat één willekeurige naam de hele groep overneemt. Het is een puur geluksspel.
• Grote groep (bijv. 800 mensen): Hier is het moeilijker voor één willekeurige naam om te winnen. De groep is zo groot dat er veel meer "stemmen" zijn. Als er een heel klein voorkeurje is (bijvoorbeeld dat mensen "De Rode Bol" net iets makkelijker uitspreken dan "De Groene Kikker"), dan wint die kleine voorkeur het in een grote groep. In een grote groep is de uitkomst dus minder een loterij en meer een versterking van een klein bias.

3. De "Quantized Simplex Gossip" (Het Spel van het Fluisteren)

De auteurs hebben een wiskundig model bedacht (QSG) om dit te simuleren. Denk aan dit model als een spelletje "Stille Post", maar dan met een twist:

• Mensen fluisteren niet alleen een woord door, ze leren ervan.
• Als jij een woord hoort, pas je je eigen mening daar een beetje op aan.
• Omdat mensen maar een woord kunnen zeggen (en niet hun hele gedachtegang), komt er ruis (toeval) in het systeem. Die ruis is wat de "loterij" veroorzaakt.

4. Wat betekent dit voor AI?

Vandaag de dag gebruiken we steeds meer systemen met veel AI-agenten die met elkaar praten (bijvoorbeeld in juridische zaken, finance of gezondheidszorg).

• Het gevaar: Als een groep AI's tot een consensus komt, denken we vaak: "Wow, ze hebben samen slim nagedacht!"
• De realiteit: Volgens dit paper kan die consensus gewoon het gevolg zijn van toeval (memetische drift). De AI's hebben niet per se de "beste" oplossing gevonden; ze hebben gewoon toevallig dezelfde oplossing gekozen omdat de eerste AI die ze hoorden die naam noemde.

Samenvatting in één zin:

Als een grote groep (of een groep AI's) het eens wordt over iets waar niemand een sterke voorkeur voor had, is dat vaak niet het resultaat van slimme samenwerking, maar van een wiskundige loterij waarbij de eerste willekeurige keuze de hele groep meesleept.

De les: We moeten oppassen om niet elke groepsbeslissing van AI's te zien als "collectieve wijsheid". Soms is het gewoon een groep die toevallig op hetzelfde idee is gekomen, net als een klasje dat toevallig allemaal dezelfde grapje uit de kast haalt.

Technische samenvatting

Probleemstelling

De opkomst van multi-agent systemen aangedreven door Large Language Models (LLMs) heeft geleid tot hun inzet in contexten met grote gevolgen (zoals wetgeving, financiën en gezondheidszorg). Een fundamentele vraag blijft echter onbeantwoord: wanneer een populatie van LLM-agents tot consensus komt, is dit het resultaat van collectieve redenering, systematische bias, of louter toeval?

Recent onderzoek met "naming games" (spellen waarbij agents een label toewijzen aan een referent) heeft aangetoond dat populaties symmetrie kunnen breken en tot consensus komen, zelfs zonder dat individuele agents een voorkeur hebben voor een bepaald label. De vraag is wat de drijvende kracht achter deze overeenstemming is: is het een georganiseerd collectief inzicht, of is het puur het gevolg van stochastische sampling die wordt versterkt door interactie?

Methodologie

De auteur introduceert een minimalistisch, analytisch hanteerbaar model genaamd Quantized Simplex Gossip (QSG) om dit fenomeen te bestuderen.

1. Het QSG-model:

   • Agents: Een populatie van $N$ agents, waarbij elke agent een interne overtuigingsverdeling $x_i$ houdt over een set van $K$ labels (een punt op het simplex).
   • Interactie: Agents wisselen willekeurig een spreker-luisteraar-paar uit. De spreker genereert een bericht $y$ gebaseerd op zijn interne verdeling.
   • Kwantisering (Quantization): Het cruciale element is dat communicatie gediscretiseerd is. De spreker zendt geen volledige verdeling uit, maar een steekproef (bijv. één label bij "Hard" sampling, of een lijst van $m$ labels bij "Top-m").
   • In-Context Adaptatie: De luisteraar update zijn interne verdeling $x_L$ naar het ontvangen bericht met een aanpassingssnelheid $\alpha$: $x'_L = (1-\alpha)x_L + \alpha y$.
   • Mutual In-Context Learning: In tegenstelling tot standaard in-context learning (waarbij een agent leert van een statische externe dataset), leert in dit model elke agent van de stochastische output van andere agents. De populatie wordt zijn eigen evoluerende data-bron.

2. Theoretische Analyse:

   • De auteur analyseert de dynamiek op macroscopisch niveau met behulp van observabelen zoals polarisatie ($U = \|\bar{x}\|_2^2$) en onenigheid-energie ($V$).
   • Het model onderscheidt twee regimes:
     • Memetic Drift: Een regime gedomineerd door stochastische samplingruis. Hier is de uitkomst van de consensus grotendeels een "loterij" (willekeurig).
     • Selectie: Een regime waar zwakke systematische biasen worden versterkt en de uitkomst bepalen.
   • Er worden schaalwetten (scaling laws) afgeleid die de overgang tussen deze regimes beschrijven als functie van populatiegrootte ($N$), communicatiebandbreedte ($m$), aanpassingssnelheid ($\alpha$) en interne onzekerheid.

3. Empirische Validatie:

   • De theorie wordt getest via simulaties van QSG en experimenten met echte LLM-populaties (GPT-4o en Claude Haiku 4.5) in een neutraal naming-game protocol zonder externe beloningen of grondwaarheid.

Belangrijkste Bijdragen

1. Identificatie van Memetic Drift: De auteur identificeert dat symmetriebreking en consensus in neutrale LLM-populaties worden gedreven door "mutual in-context learning". Toeval (sampling noise) in vroege interacties wordt als bewijs opgeslagen en versterkt, wat leidt tot consensus zonder dat er een intrinsieke voorkeur is. Dit wordt "memetic drift" genoemd, analoog aan genetische drift.
2. Het QSG-model: Introductie van een wiskundig model dat de kloof tussen continue interne overtuigingen en discrete communicatie in LLMs formaliseert.
3. Schaalwetten voor Drift vs. Selectie: Afleiding van kwantitatieve wetten die voorspellen wanneer consensus een loterij is en wanneer bias de overhand neemt.
   • De driftsterkte schaalt met $1/N^2$ (in stappen) en $1/m$ (bandbreedte).
   • De tijd tot consensus schaalt lineair met $N$ in populatie-rondes (of kwadratisch in interactiestappen).
4. Validatie: De voorspellingen worden bevestigd in zowel simulaties als experimenten met state-of-the-art LLMs.

Resultaten

• Symmetriebreking door Ruis: In een neutrale setting (geen bias) breekt de symmetrie puur door de variabiliteit die wordt geïntroduceerd door het kwantiseren van de communicatie (het "Hard" of "Top-m" sampling). Zelfs als alle agents beginnen met een uniforme verdeling, leidt de sampling-ruis tot het vastlopen (fixatie) op één label.
• Schaalwetten:
  • Populatiegrootte ($N$): Grotere populaties onderdrukken drift. De tijd tot consensus neemt toe met $N$ (in rondes), wat betekent dat grotere groepen trager tot een willekeurige consensus komen, maar stabieler zijn tegenover ruis.
  • Bandbreedte ($m$): Het verzenden van meer informatie per interactie (hoger $m$) vermindert de sampling-ruis lineair ($1/m$). Dit vermindert de drift en vertraagt de vorming van conventies in neutrale settings.
  • Aanpassingssnelheid ($\alpha$): Een hogere $\alpha$ versnelt de dynamiek, maar versterkt ook de drift ten opzichte van zwakke biasen, waardoor het moeilijker wordt voor een kleine bias om de uitkomst te bepalen in een drift-gedomineerd regime.
• Drift-Selectie Crossover: Er bestaat een kritieke schaal (afhankelijk van $N, m, \alpha$ en de sterkte van de bias) waarbij het systeem overschakelt van een drift-gedomineerd regime (waarbij de uitkomst willekeurig is) naar een selectie-gedomineerd regime (waarbij bias de uitkomst bepaalt).
• LLM Experimenten: Experimenten met GPT-4o en Claude Haiku 4.5 tonen aan dat de empirische data nauw aansluit bij de voorspelde schaalwetten. De polarisatie en de tijd tot consensus volgen de theoretische curves voor zowel verschillende populatiegroottes als verschillende bandbreedtes.

Betekenis en Conclusie

De paper biedt een fundamenteel inzicht in de aard van collectieve intelligentie in AI-systemen:

• Consensus is niet altijd "wijsheid": Het bereiken van consensus in een LLM-populatie is niet per se een bewijs van collectieve redenering of informatie-aggregatie. Het kan het gevolg zijn van "memetic drift", waarbij toeval en sampling-ruis worden versterkt tot een dominante conventie.
• Veiligheid en Alignement: Dit heeft grote implicaties voor de veiligheid van multi-agent systemen. Schadelijke collectieve representaties of bias kunnen ontstaan en versterkt worden door interactie, zelfs als individuele agents correct zijn gealigneerd. Een "samenleving" van gealigneerde agents kan dus toch tot misaligneerde collectieve uitkomsten leiden.
• Fysica van Sociale Representaties: De auteur pleit voor een "fysica van sociale representatievorming", waarbij minimalistische modellen zoals QSG dienen als basis (vergelijkbaar met de ideale gaswet in de thermodynamica) om complexe sociale dynamieken in AI-systemen te begrijpen en te voorspellen.

Samenvattend stelt de paper dat we bij het evalueren van multi-agent LLM-systemen moeten onderscheiden tussen uitkomsten die het resultaat zijn van systematische bias en die welke het gevolg zijn van stochastische drift, en dat we dit kunnen doen door gebruik te maken van de afgeleide schaalwetten.