🤖 AI

Position: AI Agents Are Not (Yet) a Panacea for Social Simulation

Deze positiepaper betoogt dat LLM-gebaseerde agenten nog geen allesomvattende oplossing zijn voor sociale simulatie, omdat er een fundamenteel verschil bestaat tussen plausibel rollenspelen en wetenschappelijk valide menselijk gedrag, en pleit voor een gestructureerd kader dat rekening houdt met omgevingsdynamiek en interactieprotocollen.

Oorspronkelijke auteurs: Yiming Li, Dacheng Tao

Gepubliceerd 2026-03-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiming Li, Dacheng Tao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Waarom AI-agenten nog geen perfecte 'virtuele samenleving' kunnen bouwen

Stel je voor dat je een enorme, levendige stad wilt bouwen in een computerspel. Je wilt weten hoe mensen reageren op nieuwe wetten, hoe geruchten zich verspreiden of hoe de economie werkt. In plaats van echte mensen te interviewen (wat duur en lastig is), gebruik je nu slimme AI-agenten. Deze agenten zijn als digitale poppetjes die praten, denken en handelen alsof ze mensen zijn.

Veel onderzoekers denken: "Als we genoeg slimme poppetjes neerzetten die goed praten, krijgen we vanzelf een waarheidsgetrouwe simulatie van de echte wereld."

De auteurs van dit paper, Yiming Li en Dacheng Tao, zeggen echter: "Nee, niet zomaar. We zijn nog niet zover."

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het probleem: Een goede acteur is nog geen echte mens

Stel je voor dat je een toneelstuk opvoert. Je hebt een acteur die zo goed is dat hij perfect een 'burger' nabootst. Hij spreekt de juiste woorden, heeft de juiste accenten en reageert logisch.

De valkuil: De AI-agenten zijn momenteel getraind om goede acteurs te zijn. Ze moeten er geloofwaardig uitzien in hun rol (een stemmige burger, een boze kiezer).
De realiteit: Een echte mens in een samenleving wordt niet alleen gedreven door wat hij zegt, maar door de omstandigheden waarin hij zit. Heeft hij geld? Zijn er regels? Wie ziet wat?
De analogie: Het is alsof je een acteur vraagt om een brand te blussen. Hij kan perfect doen alsof hij paniekerig is en water gooit (geloofwaardige tekst), maar als er geen echte brandblusser is en de brandweerman (het systeem) niet reageert, is de 'brand' nooit echt geblust. De AI doet alsof, maar de werkelijke dynamiek ontbreekt.

2. Het tweede probleem: Het toneel is belangrijker dan de acteurs

Veel simulaties draaien alleen om het gesprek tussen de agenten. Ze laten ze met elkaar praten en hopen dat de rest van de wereld wel goed komt.

De vergelijking: Stel je een voetbalwedstrijd voor. Je hebt 22 spelers (de agenten) die perfect kunnen praten en samenwerken. Maar wat als je de regels van het spel vergeet? Wat als er geen scheidsrechter is, of als het veld een glijbaan is in plaats van gras?
De les: In de echte wereld wordt gedrag bepaald door de omgeving: de wetten, de algoritmes van sociale media, de prijzen van producten en de informatie die mensen krijgen. Als je deze omgeving in je simulatie negeert of te simpel maakt, krijg je een verkeerd beeld. De AI-agenten praten misschien mooi, maar ze spelen in een wereld die niet bestaat.

3. De drie gaten in de huidige simulaties

De auteurs wijzen op drie specifieke dingen die vaak vergeten worden:

De startsituatie is willekeurig: Als je een simulatie start, moet je beslissen: wie zit er in de kamer? Wie kent wie? En wat weten ze? Vaak wordt dit willekeurig ingevuld.
- Vergelijking: Het is alsof je een groep mensen in een zaal zet, maar je vergeet te zeggen dat de ene groep al een jaar met elkaar bevriend is en de andere groep elkaar haat. Het resultaat van je experiment is dan puur toeval, geen echte wetenschap.
De timing is verward: In de echte wereld gebeurt alles door elkaar heen. In veel AI-simulaties praten de agenten echter één voor één, in een strakke rij.
- Vergelijking: Het is alsof je een drukke drukkerij simuleert, maar je laat alle machines één voor één werken in plaats van tegelijkertijd. Het resultaat ziet er rustig uit, terwijl de echte wereld een chaos is.
De evaluatie is oppervlakkig: We kijken vaak alleen of de tekst van de AI "menselijk" klinkt.
- Vergelijking: Het is alsof je een auto test door te kijken of hij mooi rood is en goed rijdt op een rechte weg. Maar je hebt niet gekeken of hij ook veilig is in een storm of op een modderweg. We testen of de AI leuk praat, niet of ze slim denkt onder druk.

4. De oplossing: Bouw een echt lab, geen toneelstuk

De auteurs stellen een nieuwe manier voor om deze simulaties te bouwen. Ze noemen het een "Omgeving-geïntegreerde simulatie".

In plaats van alleen een lijstje met poppetjes te hebben, moet je een compleet lab bouwen met drie duidelijke onderdelen:

Het Toneel (De Omgeving): Dit moet een vast, controleerbaar object zijn. Wat zijn de regels? Wat zijn de prikkels? (Bijvoorbeeld: "Als je een nepnieuws deelt, word je geblokkeerd").
De Regels van Spel: Wie mag wanneer iets doen? Wie ziet wat? (Bijvoorbeeld: "Alleen mensen in regio A zien dit bericht").
De Agenten: De poppetjes zelf, die reageren op het toneel en de regels.

Conclusie: Wees voorzichtig met de voorspellingen

De boodschap is niet dat AI-agenten nutteloos zijn. Integendeel, ze zijn geweldig! Maar we moeten stoppen met ze te gebruiken als een wondermiddel dat direct de waarheid vertelt.

Huidige situatie: "Kijk, deze AI-agenten praten zo menselijk, dus dit is hoe de wereld werkt." (Dit is gevaarlijk).
Toekomstige situatie: "We hebben een simulatie gebouwd met duidelijke regels en een controleerbare omgeving. Als we de regels veranderen, zien we dit effect. Maar we moeten rekening houden met onzekerheid."

Kortom: AI-agenten zijn nog geen kristallen bol. Ze zijn meer als een heel goed uitziende maquette van een stad. Hij ziet er prachtig uit, maar als je de wind, het verkeer en de wetten niet goed inbouwt, kun je er geen echte beslissingen op baseren. We moeten eerst de 'stad' goed bouwen voordat we de 'inwoners' laten praten.

Probleemstelling

Hoewel Large Language Models (LLM's) de interesse hebben aangewakkerd in het gebruik van AI-agenten voor sociale simulatie (waarbij agenten fungeren als proxies voor mensen), bestaat er een fundamenteel misverstand in de huidige praktijk. De auteurs stellen dat er een systematisch tekortkoming is tussen wat huidige agent-pijplijnen worden geoptimaliseerd om te produceren, en wat "simulatie als wetenschap" vereist.

De kernproblemen zijn:

Overinterpretatie van plausibiliteit: Er wordt aangenomen dat realistische lokale interacties (rolspel) automatisch leiden tot realistische collectieve uitkomsten. Echter, een "menselijk klinkend" transcript garandeert geen geloofwaardig menselijk besluitvormingsproces onder beperkingen.
Onderschatting van de omgeving: Sociale dynamiek wordt vaak gereduceerd tot agent-agent communicatie, terwijl in werkelijkheid de interactie tussen agent en omgeving (instituten, regels, informatie-exposure, prikkels) de uitkomsten vaak domineert.
Ontbreken van causaliteit: Resultaten worden vaak bepaald door implementatie-details (zoals prompt-ordening, scheduling, of initiële informatie) in plaats van door onderliggende sociale mechanismen. Dit maakt simulaties onbetrouwbaar voor beleidsvorming of tegenwereldse (counterfactual) claims.

Methodologie en Analyse

De auteurs analyseren de huidige staat van de kunst door een kritische blik te werpen op bestaande methoden en deze te confronteren met de eisen van wetenschappelijke validiteit.

Individueel vs. Collectief niveau: Ze onderscheiden methoden die focussen op individuele rolconsistentie (via prompts of training) van methoden die collectieve dynamiek simuleren. Ze betogen dat geavanceerde individuele modellen (zoals fine-tuning of RL) niet automatisch leiden tot correcte collectieve uitkomsten als de omgeving niet goed is gespecificeerd.
Identificatie van Mismatches (Mismatchen):
- Mismatch 1: Rolspel-plausibiliteit impliceert geen trouwe menselijke simulatie. Agenten kunnen tekst genereren die logisch klinkt, maar gebaseerd is op verkeerde beslissingsprocessen of stereotypen.
- Mismatch 2: Sociale simulatie is niet louter agent-agent interactie. De omgeving (regels, platforms, beloningen) is een causale kanaal dat vaak wordt genegeerd of te simpel wordt gemodelleerd.
Identificatie van Gaps (Kloven):
- Evaluatie: Huidige evaluaties zijn te sterk gericht op output-plausibiliteit (Turing-test-stijl) in plaats van mechanische robuustheid of tegenwereldse stabiliteit.
- Interactie-dynamiek: Interacties worden vaak onduidelijk gedefinieerd (via ongestructureerde tekst) in plaats van via expliciete staten en regels, wat leidt tot artefacten door scheduling of volgorde.
- Initialisatie: De keuze van initiële condities (wie weet wat, netwerktopologie) wordt vaak als een engineering-details behandeld, terwijl dit de uitkomsten fundamenteel bepaalt.

Kernbijdragen

De belangrijkste bijdrage van het paper is het voorstellen van een unificerende formulering voor AI-agent gebaseerde sociale simulatie, die expliciet de rol van de omgeving centraal stelt.

Definitie: Omgeving-geïnvolveerde Agent-based Sociale Simulator
De auteurs definiëren een simulator als een tuple die de volgende componenten expliciet maakt:

E (Omgeving): De toestand van de sociale context (beleid, instituties, middelen).
G (Netwerk): De structuur van connecties.
C (Context): Exogene condities.
Agent-variabelen: Mentale staat ( $M$ ), Observatie ( $O$ ), Actie ( $A$ ), Beleid ( $P$ , de LLM), Update-functie ( $U$ ), en Beloning ( $R$ ).
D0 (Initialisatie): De verdeling van initiële condities en informatie-priors.
Sch (Scheduling): Een mechanisme dat bepaalt wie en wanneer mag handelen (cruciaal voor asynchrone dynamiek).
Vis (Visibility): Een mechanisme dat bepaalt wie wat ziet (informatie-asymmetrieën).
Tr (Transitie): Hoe de omgeving en het netwerk veranderen als gevolg van acties.

Deze formulering maakt impliciete aannames expliciet en controleerbaar, waardoor het mogelijk wordt om te testen of uitkomsten voortkomen uit sociale mechanismen of uit implementatie-artefacten.

Resultaten en Aanbevelingen (Acties)

Het paper concludeert dat AI-agenten nog geen "panacee" zijn voor sociale simulatie totdat de volgende drie acties worden ondernomen:

Behandel de omgeving als een auditable object: De omgeving (regels, blootstelling, scheduling) moet niet in prompts worden verstop, maar als versieerbare, inspecteerbare artefacten worden gespecificeerd. Dit vermindert verborgen confounding.
Verschuif evaluatie van plausibiliteit naar mechanische betrouwbaarheid: Evaluatie moet niet vragen "klinkt dit menselijk?", maar "reageert de agent correct op prikkels?" en "zijn de conclusies robuust bij verandering van prompts of seeds?". Dit vereist mechanische ablaties en tegenwereldse tests.
Interpreteer uitkomsten met epistemische voorzichtigheid: Simulaties moeten onzekerheid rapporteren. Conclusies moeten worden gepresenteerd als conditionele implicaties van de gekozen mechanismen, niet als absolute waarheden.

Significantie

Dit paper is van groot belang voor het veld van AI en sociale wetenschappen omdat het een noodzakelijke koerswijziging afdwingt:

Van Demonstratie naar Uitleg: Het verschuift de focus van het creëren van "mooie verhalen" (demonstraties) naar het bouwen van instrumenten voor causale inferentie.
Wetenschappelijke Rigiditeit: Het waarschuwt dat zonder expliciete modellering van de omgeving en scheduling, AI-simulaties slechts overtuigende fictie blijven in plaats van wetenschappelijke bewijsmiddelen.
Beleid en Ethiek: Het biedt een raamwerk om te voorkomen dat onbetrouwbare simulaties worden gebruikt voor beleidsvorming, wat kan leiden tot misleidende conclusies over menselijk gedrag en sociale dynamiek.

Kortom, de auteurs pleiten voor een meer rigoureuze, transparante en omgeving-georiënteerde aanpak om AI-agenten echt bruikbaar te maken voor het begrijpen van complexe sociale systemen.