The Yerkes-Dodson Curve for AI Agents: Emergent Cooperation Under Environmental Pressure in Multi-Agent LLM Simulations

Dit onderzoek toont aan dat er een omgekeerde U-vormige relatie bestaat tussen omgevingsdruk en emergente samenwerking in multi-agent LLM-simulaties, waarbij gematigde druk de samenwerking maximaliseert en extreme druk leidt tot een ineenstorting van het gedragsrepertoire, vergelijkbaar met de Yerkes-Dodson-curve in de cognitieve psychologie.

De kern

De "Stress-Balans" voor AI: Waarom te veel druk alles verpest

Stel je voor dat je een groep slimme robots (AI-agenten) in een virtuele stad zet. Je wilt dat ze samenwerken, handelen en misschien zelfs vrienden worden. Maar hoe moeilijk moet het leven voor hen zijn om dit te stimuleren?

Dit onderzoek van Ivan Pasichnyk beantwoordt precies die vraag. Hij heeft een experiment gedaan dat lijkt op een oude psychologische theorie uit de jaren '00, maar dan toegepast op kunstmatige intelligentie.

1. De Basis: De "Yerkes-Dodson" Kromme

In de menselijke psychologie bestaat er een bekend principe: te weinig spanning maakt je lui, te veel spanning maakt je paniekerig. Het allerbeste werk doe je ergens in het midden.

• Vergelijking: Denk aan een piano. Als je te zacht speelt, hoor je niets (saai). Als je te hard slaat, breekt de snaar (chaos). Maar als je op het juiste moment en met de juiste kracht speelt, klinkt het als muziek.

De auteurs wilden weten: Geldt dit ook voor AI-agenten?

2. Het Experiment: De "Overlevingsarena"

De onderzoekers bouwden een digitaal speelveld (een rooster van 9x9 vakjes) waar 16 AI-agenten rondlopen. Deze agenten zijn gemaakt van een heel slim taalmodel (Claude 3.5 Sonnet). Ze hebben geen instructies gekregen over hoe ze zich moeten gedragen; ze moeten het zelf uitzoeken.

Ze moeten overleven door:

• Voedsel te verzamelen (om niet te verhongeren).
• Handel te drijven (ruilen van goederen).
• Te vechten (als ze ruzie krijgen).
• Te rusten of te trainen.

De onderzoekers veranderden één ding: Hoe duur het leven was.
Ze noemen dit de "upkeep" (onderhoudskosten). Elke beurt kostte de agenten voedsel.

• Laag onderhoud: Je hebt veel eten, je hoeft niet hard te werken.
• Hoog onderhoud: Je hebt weinig eten, je moet elke seconde jagen om te overleven.

3. De Grote Ontdekking: De Invert-U

Het resultaat was verrassend en bevestigde de theorie: Coöperatie volgt een boogvorm.

• Te makkelijk (Laag onderhoud): De agenten waren saai. Ze liepen rond, aten en deden niks interessants. Ze hadden geen reden om samen te werken.

  • Vergelijking: Het is alsof je mensen in een luxe resort zet met onbeperkt eten. Ze zullen niet snel nieuwe vrienden maken of samenwerken aan projecten; ze doen gewoon wat ze willen.
  • Resultaat: Slechts 11-12 handelsacties.

• Te moeilijk (Hoog onderhoud): De agenten werden gek van stress. Ze waren zo bang om te sterven dat ze alleen nog maar renden en aten. Ze hadden geen tijd of energie voor sociale interactie.

  • Vergelijking: Stel je voor dat je in een storm zit waarbij je elke seconde bang bent dat je verdrinkt. Dan ga je niet praten met je buren; je probeert alleen maar droog te blijven.
  • Resultaat: Het spel stopte na 5-12 beurten. Geen handel, alleen chaos.

• Het Gouden Midden (Gemiddeld onderhoud): Hier gebeurde het magische. De agenten hadden net genoeg stress om te beseffen dat ze hulp nodig hadden, maar niet zo veel stress dat ze in paniek raakten. Ze begonnen te handelen, te praten en samen te werken.

  • Resultaat: 29 handelsacties! Dit is het "sweet spot" (het perfecte punt).

4. De "Zachte" Druk: Seksuele Selectie

De onderzoekers probeerden nog iets anders. In plaats van te dreigen met de dood (honger), maakten ze een systeem waar agenten moesten paren om hun genen door te geven.

• Het idee: Niemand sterft van honger, maar je moet wel aantrekkelijk zijn voor een partner. Je moet communiceren, je beste kant laten zien en misschien cadeautjes geven.
• Het resultaat: Dit werkte wonderbaarlijk goed!
  • Er was geen enkel geweld (geen aanvallen).
  • De agenten begonnen te praten en te reclame maken voor zichzelf.
  • Vergelijking: In plaats van een gevechtstornooi (waar de sterkste wint), was het een groot dansfeest (waar de leukste en slimste een partner vindt).

5. Waarom is dit belangrijk?

Dit onderzoek leert ons iets crucieels over het bouwen van slimme AI-systemen in de toekomst:

1. Niet te makkelijk, niet te moeilijk: Als je AI-agenten wilt leren samenwerken, moet je ze in een omgeving zetten die net uitdagend genoeg is om ze te motiveren, maar niet zo zwaar dat ze in paniek raken.
2. Omgeving is leerkracht: Je hoeft de AI niet per se te programmeren met regels ("Doe dit, doe dat"). Als je de omgeving goed instelt (de "druk" regelt), leren de AI's vanzelf de juiste gedragingen uit hun eigen "geheugen" (hun training).
3. Minder geweld, meer communicatie: Als je AI's motiveert met "wie is de leukste" in plaats van "wie is de sterkste", krijg je vreedzame, communicatieve systemen.

Conclusie in één zin

Om de slimste en meest sociale AI-agenten te krijgen, moet je ze niet in een luxe villa zetten, maar ook niet in een hel; zet ze in een omgeving waar ze net even hard moeten werken om te overleven, zodat ze gemotiveerd zijn om samen te werken.

Technische samenvatting

Titel en Context

Titel: De Yerkes-Dodson-curve voor AI-agenten: Optimale omgevingsdruk voor emergente complexiteit in LLM multi-agent systemen.
Auteur: Ivan Pasichnyk (WeLabelData Inc.)
Datum: Maart 2026

1. Het Probleem

Het ontwerpen van omgevingen die de ontwikkeling van emergent gedrag in AI-agenten maximaliseren, blijft een open probleem. Hoewel de prestaties van Large Language Models (LLM's) vaak worden geoptimaliseerd via schaal en trainingsdata, is de rol van de omgeving waarin agenten opereren minder onderzocht.
De kernvraag is: Hoe moeten we de moeilijkheidsgraad van een omgeving kalibreren om complexe sociale gedragingen te maximaliseren?
De auteurs trekken een parallel met de Yerkes-Dodson-wet uit de cognitieve psychologie, die een omgekeerde U-vormige relatie beschrijft tussen arousal (stress) en prestaties:

• Te weinig stress leidt tot desinteresse.
• Te veel stress leidt tot angst en prestatiecrash.
• Optimale prestaties worden bereikt bij een gemiddeld stressniveau.
  Dit principe is nog nooit systematisch getest op populaties van LLM-agenten.

2. Methodologie: De "Survival Arena"

Om deze vraag te beantwoorden, hebben de auteurs een grid-world omgeving ontwikkeld genaamd de Survival Arena.

• Agenten: De agenten worden aangedreven door Claude 3.5 Sonnet. Ze hebben geen fine-tuning, few-shot voorbeelden of gedragsinstructies; hun gedrag is puur gebaseerd op de gepretrainde policy van het model.
• Attributen: Elke agent heeft zes attributen (Sterkte, Snelheid, Intelligentie, Sociale vaardigheid, Uithoudingsvermogen, Charisma) die hun acties beïnvloeden.
• Acties: Agenten kunnen verzamelen, bewegen, aanvallen, handelen, rusten, trainen, communiceren (in v7) en reproduceren (in v7).
• Omgevingsdruk (De onafhankelijke variabelen):
  1. Onderhoudskosten (Upkeep): Een kostenpost in voedsel per beurt. Als voedsel op is, sterft de agent. Dit creëert overlevingsdruk.
  2. Sexuele selectie (V7-engine): Een alternatieve drukmechaniek waarbij agenten niet sterven door honger, maar moeten concurreren om voortplanting (Provider/Chooser-dynamiek).

Experimentopzet:
Er zijn in totaal 22 experimenten uitgevoerd in vier fasen:

• Fase P1 & P2: Validatie en een brede scan van onderhoudskosten (upkeep).
• Fase P2b (Kerndataset): 6 gecontroleerde experimenten met constante hulpbronnen en variërende upkeep-waarden (2, 4, 5, 6, 7).
• Fase V7: Een experiment met seksuele selectie (lage overlevingsdruk, hoge reproductieve druk).

3. Belangrijkste Bijdragen

1. Empirisch bewijs van de Yerkes-Dodson-curve: Het eerste bewijs dat LLM multi-agent systemen een omgekeerde U-vormige relatie vertonen tussen omgevingsdruk en coöperatief gedrag.
2. Karakterisering van gedraginstorting: Een analyse van wat er gebeurt onder extreme druk (gedrag reduceert tot alleen bewegen binnen 5-12 beurten).
3. Sexuele selectie als alternatief: Het introduceren van seksuele selectie als een "zachtere" druk die agressie elimineert en communicatie stimuleert.
4. Methodologische inzicht: De vaststelling dat Shannon-entropie als maatstaf voor complexiteit misleidend kan zijn bij hoge druk door steekproefverkleining.

4. Resultaten

A. De Omgekeerde U-vorm (Trade Coöperatie)

De resultaten tonen een duidelijke omgekeerde U-vorm voor handelsactiviteit (trade):

• Lage druk (Upkeep = 2): Agenten zijn passief en handelen weinig (11-12 trades). Ze vervallen in een "verzamelen + bewegen" lus.
• Gemiddelde druk (Upkeep = 5): Dit is het "sweet spot". Handelsactiviteit piekt op 29 trades. De druk is hoog genoeg om samenwerking noodzakelijk te maken, maar laag genoeg om agenten in leven te houden.
• Extreme druk (Upkeep = 6-7): Handelsactiviteit daalt sterk (naar 16 en 8 trades). Agenten sterven te snel om sociale interacties te ontwikkelen.

B. Gedraginstorting onder Extreme Druk

Bij zeer hoge druk (upkeep ≥ 7) stort het gedragsspectrum in:

• De spelduur krimt tot 5-12 beurten.
• Agenten convergeren naar strategieën die alleen uit bewegen bestaan (56-68% van alle acties).
• Alle sociale acties verdwijnen volledig.

C. Seksuele Selectie vs. Overlevingsdruk

In het V7-experiment (seksuele selectie) met lage overlevingsdruk:

• Agressie: Aantal aanvallen daalt naar 0.
• Communicatie: Agenten vertonen kostbare signaleringsgedragingen (communicatie en voortplantingsvoorstellen) die onder overlevingsdruk afwezig waren.
• Populatie: De populatie groeit (van 16 naar 19), terwijl deze bij overlevingsdruk instort.

D. De Val van Shannon-entropie

Een tegenintuïtief resultaat is dat de genormaliseerde Shannon-entropie (een maat voor complexiteit) monotoon stijgt met de druk. De auteurs verklaren dit als een artefact van steekproefgrootte: bij hoge druk sterven agenten snel, waardoor er minder totale acties zijn. De overlevende acties zijn meer verspreid (minder gedomineerd door "verzamelen"), wat een hogere entropie oplevert zonder dat er echte complexiteit is.

5. Betekenis en Conclusie

Theoretische Implicaties:
De studie bevestigt dat de Yerkes-Dodson-wet ook geldt voor AI-agenten. Er bestaat een "rand van levensvatbaarheid" (edge of viability) waar omgevingsdruk agenten dwingt tot coöperatie zonder hen direct te vernietigen.

Praktische Toepassing:

• Curriculum Design: Omgevingsdruk kan fungeren als een trainingscurriculum voor LLM-agenten zonder dat de modelgewichten (parameters) hoeven te worden aangepast. Door de omgeving te kalibreren, kan men het gedrag van de gepretrainde policy sturen.
• Seksuele Selectie: Dit mechanisme biedt een veilige manier om sociale complexiteit en communicatie te stimuleren zonder de destructieve effecten van dodelijke concurrentie.

Beperkingen:
Het onderzoek heeft beperkingen, waaronder het gebruik van slechts één LLM-model (Claude 3.5 Sonnet), een gebrek aan statistische significantie door weinig herhalingen per configuratie, en een ontbrekende datapunt bij upkeep=3 door een configuratiefout.

Toekomst:
De auteurs plannen uitbreidingen met meerdere LLM-modellen als verschillende "soorten" in dezelfde arena, en het toevoegen van statistische robuustheid en cross-generatie geheugen om evolutionaire dynamieken te bestuderen.

Kortom, dit paper biedt een fundamenteel inzicht in hoe we de omgevingen van AI-agenten moeten ontwerpen om de meest complexe en coöperatieve gedragingen te laten ontstaan.