🤖 AI

The $\textit{Silicon Society}$ Cookbook: Design Space of LLM-based Social Simulations

Dit artikel analyseert systematisch de ontwerpruimte van op LLM's gebaseerde sociale simulaties, waarbij wordt gebleken dat de keuze van het basisgrote taalmodel de meest kritische factor is die de simulatie-uitkomsten beïnvloedt, en wordt gewezen op de complexe, niet-triviale interacties tussen verschillende ontwerpparameters.

Oorspronkelijke auteurs: Aurélien Bück-Kaeffer (McGill University, Mila - Quebec Artificial Intelligence Institute, Ubisoft La Forge), Sneheel Sarangi (McGill University, Mila - Quebec Artificial Intelligence Institute), Maxi

Gepubliceerd 2026-05-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aurélien Bück-Kaeffer (McGill University, Mila - Quebec Artificial Intelligence Institute, Ubisoft La Forge), Sneheel Sarangi (McGill University, Mila - Quebec Artificial Intelligence Institute), Maximilian Puelma Touzel (McGill University, Université de Montréal), Reihaneh Rabbany (McGill University, Mila - Quebec Artificial Intelligence Institute), Zachary Yang (McGill University, Mila - Quebec Artificial Intelligence Institute, Ubisoft La Forge), Jean-François Godbout (Mila - Quebec Artificial Intelligence Institute, Université de Montréal)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je regisseur bent die probeert een film te draaien over een bruisende stad, maar in plaats van duizenden menselijke acteurs in te huren, gebruik je een vloot geavanceerde robots. Je doel is om de robots te laten interageren, ruzie maken, roddelen en meningen vormen, precies zoals echte mensen. Dit noemen de auteurs van dit artikel een "Silicon Society".

Het artikel is in wezen een "achter-de-schermen"-gids om uit te zoeken welke knoppen en draaiknoppen op je robotset het verhaal daadwerkelijk veranderen en welke er alleen maar voor decoratie zijn. De auteurs draaiden 595 verschillende versies van deze robotsteden om te zien wat er gebeurt wanneer ze de instellingen aanpassen.

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. De belangrijkste keuze: De "acteur"

De grootste factor in hoe de film uitpakt, is niet het script of de camera; het is welk robotmodel je kiest om de rol te spelen.

De analogie: Stel je voor dat je een toneelstuk cast. Als je een robot huurt die van nature klinkt als een vrolijke, meegaande klantenservicebot, zal je toneelstuk saai zijn en zullen iedereen het met elkaar eens zijn. Als je een robot huurt die is getraind op rommelige, echte socialemedia-argumenten, zal je toneelstuk chaotisch zijn, met mensen van mening veranderend en vechtend.
De bevinding: Het specifieke AI-model dat als "brein" voor de agenten wordt gebruikt, is belangrijker dan de netwerkstructuur (wie volgt wie) of de grootte van de menigte. Sommige modellen creëren van nature meer drama en meningsverandering dan andere.

2. De "make-up" telt: Fine-tuning

De auteurs testten wat er gebeurt als ze een standaardrobot "leren" om als een echt mens te spreken door hem miljoenen echte socialemediaberichten te voeden (een dataset genaamd BluePrint).

De analogie: Een standaardrobot spreekt met een perfect, robotachtig accent dat hem direct verraadt. Het geven van "social media-make-up" (fine-tuning) is als hem leren om slang, sarcasme en koppigheid te gebruiken.
De bevinding:
- Realisme: De "make-up" maakte de robots veel moeilijker voor een computerdetectie om als nep te identificeren. Ze klonken menselijker.
- Drama: Zonder make-up waren de robots te beleefd en saai; ze veranderden zelden van mening. Met de make-up begonnen ze ruzie te maken, van mening te veranderen en groepen te vormen, net als echte mensen op Twitter of Facebook.

3. Het "podium" versus het "script"

Het team testte verschillende manieren om de scène op te zetten:

Netwerktopologie: Maakt het uit of de robots willekeurig verbonden zijn (zoals een feestje) of in een "hub-and-spoke"-patroon (zoals een beroemdheid met veel fans)?
- Resultaat: Niet zo veel als je zou denken. Het type robot (de acteur) was veel belangrijker dan de indeling van de ruimte.
Gekanteld nieuws: Wat als ze één robot toevoegden die alleen nep, gekanteld nieuws postte?
- Resultaat: Verrassend genoeg veranderde het niets. Eén luidruchtige stem in een menigte van 1.000 was niet genoeg om de mening van de hele groep te verschuiven.
Homofilie (Vogels van eenzelfde slag): Wat als ze robots met vergelijkbare meningen dwongen om naast elkaar te zitten?
- Resultaat: Dit creëerde wel "echo-kamers" (groepen waar iedereen het met elkaar eens is), maar alleen als de robots al het type waren dat ruzie maakt.

4. De "verrassing": Complexe interacties

De auteurs verwachtten dat als ze het "volume" op één instelling zouden verhogen, het resultaat gewoon luider zou worden (additief). In plaats daarvan ontdekten ze dat de instellingen op vreemde, onvoorspelbare manieren met elkaar interageren.

De analogie: Denk aan het bakken van een cake. Je zou kunnen denken dat het toevoegen van meer suiker het zoeter maakt, en het toevoegen van meer eieren het luchtiger. Maar in deze "Silicon Society"-keuken kan het toevoegen van suiker aan dit specifieke type bloem de cake doen instorten, terwijl het toevoegen ervan aan die bloem het perfect maakt.
De bevinding: Je kunt de uitkomst niet voorspellen door alleen naar één instelling te kijken in isolatie. Bijvoorbeeld: het laten zien van hun eigen enquêteantwoorden aan de robots maakte hen meer conformistisch, maar alleen als ze een specifiek type robotmodel gebruikten. Bij andere modellen veranderde het niets.

5. De "detective"-test

Om te zien of hun simulaties realistisch waren, gebruikten ze een "detective" (een BERT-classificator) om te proberen te ontdekken welke draadjes door echte mensen waren geschreven en welke door hun robots.

Het resultaat: Robots die niet waren gefine-tuned, werden bijna 100% van de tijd betrapt omdat ze te perfect klonken. Robots die waren gefine-tuned op socialemediadata waren veel moeilijker te betrappen, hoewel de "detective" ze nog steeds zeer goed kon opsporen.

De bottom line

Het artikel concludeert dat het bouwen van een realistische simulatie van de menselijke samenleving niet gaat om het vinden van de perfecte netwerkaart of de grootste menigte. Het gaat om het kiezen van het juiste "brein" (het basis-AI-model) en het leren om te spreken als een echt, rommelig mens (fine-tuning).

Als je het brein en de stem goed hebt, valt de rest van de simulatie vanzelf op zijn plaats. Als je ze verkeerd hebt, zal geen enkele hoeveelheid complexe netwerkvorming de robots laten handelen als echte mensen.

1. Probleemstelling

Het veld van Silicon Societies (simulaties van menselijke interacties met behulp van Large Language Models) breidt zich snel uit, met talrijke studies die proberen micro-niveau gedrag (individuele berichten) en macro-niveau fenomenen (echo-kamers, kuddegedrag) na te bootsen. Het veld lijdt echter aan een validatiekloof:

Gebrek aan Standaarden: Er is geen consensus over hoe "menselijkheid" of de validiteit van deze simulaties moet worden gemeten.
Onderbelichte Ontwerpruimte: Hoewel er complexe simulators worden gebouwd, is de specifieke impact van ontwerpkiezen (bijv. selectie van het basismodel, netwerktopologie, agentconfiguratie) op simulatie-uitkomsten slecht begrepen.
Aanname van Additiviteit: Onderzoekers gaan er vaak van uit dat ontwerpparameters additief werken (d.w.z. als Parameter A metriek X verbetert en Parameter B metriek X verbetert, dan zal A+B X verder verbeteren). De auteurs veronderstellen dat de ontwerpruimte eigenlijk niet-lineair en complex is.

2. Methodologie

De auteurs voerden een systematische analyse uit van 595 simulatie-uitvoeringen om de ontwerpruimte van Silicon Societies in kaart te brengen.

A. Simulator Architectuur

Aangepaste Engine: Er werd een aangepaste sociaal-netwerksimulator gebouwd (losjes gebaseerd op Concordia) om volledige controle over aannames te garanderen.
Agenten: 1024 agenten (in standaard runs) verbonden via een volger-netwerk.
Dynamiek: Agenten opereren in een discrete-tijdcyclus. Bij elke stap worden 10 agenten geselecteerd op basis van een actiekans. Ze observeren ofwel een thread of creëren een nieuwe thread/antwoord.
Duur: Simulaties lopen gedurende 2.500 stappen (ongeveer 75 gesimuleerde uren), waarbij agenten om de 250 stappen worden bevraagd.
Vraaglijstvragen: Drie zeer verdeelde vragen werden geselecteerd om opiniestroming te maximaliseren (maximalisatie van de Shannon-entropie van de initiële verdeling van de populatie).

B. Experimentele Variabelen (7 Parameters)

De studie randomiseerde de volgende parameters over de 595 runs:

Aantal Agenten: 64, 256, 1.024, 4.096.
Basismodel: Llama-3.1-Minitaur-8B, Llama-3.1-8B, Qwen2.5-7B-Instruct, Gemma-3-4b-pt.
Netwerktopologie: Erdős-Rényi (ER) versus Gerichte Schaalvrije (Power-law).
Homofilie: Of agenten met vergelijkbare initiële meningen dichter bij elkaar in het netwerk worden geplaatst.
Vraaglijstcontext: Of agenten hun eigen eerdere vraaglijstantwoorden in hun contextvenster worden getoond.
Gekantelde Nieuwsagent: Aanwezigheid van een enkele hoog-gradige node die vooraf gegenereerde gekantelde nieuwsberichten plaatst.
Verhoudingen: Hoe LoRA-adapters (getraind op persona-clusters) over agenten worden verdeeld (Uniform, BluePrint-datasetverdeling, Gemiddelde, of Verdelingsoptimalisatie).

C. Fine-tuning Strategie (BluePrint)

Om het "AI-stijl" probleem (robotachtige, te instemmende tekst) aan te pakken, hebben de auteurs de basismodelen fine-getuned met LoRA op het BluePrint-dataset (een dataset van sociale media-gebruikers).

Aanpak: In plaats van statische persona-prompten te gebruiken, trainden ze 25 distincte LoRA-adapters per model op basis van persona-clusters van gebruikers afgeleid uit sociale media-geschiedenis (inclusief likes/retweets).
Doel: Agenten creëren die stijlvol niet van mensen te onderscheiden zijn en diverse opiniestromingen vertonen.

D. Metrieken

Realisme (Stijl): Een BERT-classificator getraind om te onderscheiden tussen echte menselijke sociale media-threads en door LLM gegenereerde threads. Lagere nauwkeurigheid door de classificator impliceert hoger realisme.
Opiniestroming:
- Opinion Shift Rate (OSR): Fractie van agenten die van mening veranderen.
- Net Consensus Change (NCC): Verandering in globale overeenstemming in de tijd.
- Majority Follow Rate (MFR): Fractie van meningveranderders die de meerderheidsopinie overnemen.
- Assortativiteit: Tendens van gelijkgestemde agenten om zich te verbinden.

3. Belangrijkste Resultaten

A. De Dominantie van het Basismodel

De keuze van het basismodel is de enige meest invloedrijke factor in simulatie-uitkomsten, die structurele factoren zoals netwerktopologie overtreft.

Stijlrealisme: Het basismodel verklaart 26,6% van de variantie in BERT AI-detecteerbaarheid ( $\eta^2=0.266$ ).
Opiniestroming: Het basismodel verklaart 9,0% van de variantie in Net Consensus Change ( $\eta^2=0.090$ ).
Gedragsverschillen:
- Minitaur: Produceerde de sterkste en meest consistente erosie van consensus.
- Gemma: Het enige model dat lichtjes afweek naar consensuswinst (hoewel niet statistisch significant).
- Qwen & Llama: Toonden intermediaire consensus-erosie.

B. Impact van Fine-tuning (BluePrint)

Fine-tuning op sociale media-gegevens veranderde het simulatiegedrag aanzienlijk:

Verminderde Detecteerbaarheid: Fine-getuned modellen waren moeilijker voor de BERT-classificator te identificeren als AI (Nauwkeurigheid daalde van ~99,9% voor ruwe Qwen naar ~95,3% voor fine-getuned Qwen).
Versterkte Dynamiek: Fine-getuned modellen vertoonden significant hogere Opinion Shift Rates (0,210 versus 0,057) en Majority Follow Rates (0,505 versus 0,275).
Heterogeniteit: Zonder fine-tuning neigden agenten om te convergeren naar een "standaard" mening, ongeacht persona-prompten. Fine-tuning introduceerde de nodige heterogeniteit voor meningsverschil en overtuiging.

C. Niet-Additieve Geometrie van de Ontwerpruimte

De ontwerpruimte is niet uniform additief. Parameters interageren op complexe, modelafhankelijke manieren:

Vraaglijstcontext: Het laten zien van eigen vraaglijstantwoorden aan agenten verhoogde de AI-detecteerbaarheid aanzienlijk. Echter, het effect op consensusverandering was modelafhankelijk: het stabiliseerde consensus voor Qwen maar had geen effect op Minitaur of Gemma.
Schaaleffecten: De impact van vraaglijstcontext op Majority Follow Rate was verwaarloosbaar bij kleine schalen (N=64) maar werd substantieel bij N=1024 en hoger.
Nieuwsagent: De aanwezigheid van een enkele gekantelde nieuwsagent had geen meetbaar effect op enige metriek, wat suggereert dat het signaal van een enkele node te zwak is om dynamiek in deze netwerkstructuren te veranderen.

D. Homofilie en Verhoudingen

Homofilie: Had een consistent, additief effect op verschuivingen in assortativiteit, ongeacht het model.
Verhoudingen: Het gebruik van "Distribution" verhoudingen (die overeenkomen met de volledige menselijke meningsverdeling) versus "Average" verhoudingen (die overeenkomen met het meest voorkomende antwoord) leverde vergelijkbare SimBench-scores op, wat suggereert dat het overeenkomen met de volledige verdeling niet strikt noodzakelijk is voor basisuitlijning, hoewel het wel belangrijk kan zijn voor complexe dynamiek.

4. Belangrijkste Bijdragen

Systematische Analyse van de Ontwerpruimte: De eerste grootschalige studie (595 runs) die de relatieve belangrijkheid van ontwerpparameters in LLM-sociale simulaties kwantificeert.
Identificatie van Kritieke Variabelen: Vastgesteld dat de keuze van het basismodel de primaire drijver is van simulatie-uitkomsten, meer dan netwerktopologie of aantal agenten.
Validatie van Fine-tuning: Empirisch bewijs geleverd dat fine-tuning op sociale media-gegevens (via LoRA) essentieel is voor het bereiken van stijlrealisme en het genereren van niet-triviale opiniestroming.
Karakterisering van Interacties: Aangetoond dat de ontwerpruimte "hybride" is; sommige parameters werken additief (bijv. homofilie), terwijl andere complexe, niet-lineaire interacties vertonen die afhankelijk zijn van modelidentiteit en populatieschaal.

5. Betekenis en Toekomstige Implicaties

Voor Onderzoekers: Het artikel pleit tegen "one-size-fits-all" simulatorconfiguraties. Toekomstig werk moet zorgvuldig basismodellen selecteren en valideren dat hun specifieke ontwerpkiezen (bijv. contextvensters, persona-methoden) niet per ongeluk dynamiek onderdrukken of onrealistische artefacten creëren.
Voor Validatie: Het benadrukt dat "geloofwaardigheid" niet alleen gaat over tekstgeneratie, maar over emergente sociale dynamiek. De BERT-classificator dient als proxy voor stijlrealisme, maar metrieken voor opiniestroming zijn cruciaal voor functioneel realisme.
Beperkingen: De studie erkent dat de parameterruimte enorm is en niet volledig is verkend. Statistische tests waren niet aangepast voor meervoudige vergelijkingen (hoewel een strikte $p \le 0.001$ drempel werd gebruikt), en de resultaten zijn specifiek voor de gekozen modellen en vraaglijstvragen.

Conclusie: Het artikel dient als een "kookboek" voor Silicon Societies, met de waarschuwing dat simulatiegedrag niet betrouwbaar kan worden voorspeld op basis van marginale effecten alleen. Het roept op tot een verschuiving naar rigoureuze, multi-parameter evaluatiekaders om LLM-sociale simulaties om te vormen tot betrouwbare hulpmiddelen voor sociaalwetenschappelijk onderzoek.