Emergence of agriculture in an artificial society of reinforcement learning agents

Technische Samenvatting: Ontstaan van Landbouw in een Kunstmatige Samenleving van Versterkingsleeragenten

Probleemstelling
De oorsprong van landbouw vertegenwoordigt een belangrijke evolutionaire overgang waarbij soorten hun omgeving transformeren om betrouwbare voedselbronnen te verzekeren, een proces dat wordt waargenomen bij mensen en diverse insecten-taxa. Hoewel vergelijkende studies convergente kenmerken identificeren (zaaien, ruimtelijke engineering, gewasbescherming), blijven de specifieke mechanismen die individuele besluitvorming, sociale interacties en ecologische terugkoppelingen met elkaar verbinden en deze overgang aandrijven, onduidelijk. Belangrijke vragen zijn: Onder welke voorwaarden ontstaat landbouw spontaan? Hoe gaan systemen om met "bedriegers" (exploitatieve agenten die profiteren zonder bij te dragen)? Is de landbouwsituatie reversibel, of vertoont deze een "lock-in"-effect? Dit artikel behandelt deze vragen door een populatie kunstmatige agenten te modelleren die interageren met een dynamische ecologische omgeving, om de algemene principes te identificeren die ten grondslag liggen aan de overgang van jagen en verzamelen naar landbouw.

Methodologie
De auteurs maken gebruik van een Multi-Agent Reinforcement Learning (MARL)-framework, ingebed in een gesimuleerd 2D-ruimtelijk landschap ($30 \times 30$ rooster) met complexe ecologische dynamiek.

• Omgeving: Het ecosysteem bevat drie planttypes:
  1. $P_1$ (Gedomesticeerd): Hoog voedzame beloning, maar ecologisch uitgespeeld door $P_2$ en vereist actief beheer (water geven, onkruid verwijderen).
  2. $P_2$ (Onkruid): Veelvoorkomend, levert geen beloning op, maar domineert ecologisch $P_1$.
  3. $P_3$ (Wild/Verzamelen): Spontaan gegenereerd, lage beloning, vereist geen beheer.
  • Dynamiek: De omgeving kent seizoencycli (Zomer/Winter). Water fungeert als meststof en verbetert de groei in een $3 \times 3$-buurt. Zaden ontkiemen op basis van competitieve kansen die $P_2$ begunstigen. Agenten kunnen bewegen, items (zaden, water) oppakken/laten vallen, oogsten en planten beschermen.
• Agenten: Agenten zijn Reinforcement Learning (RL)-entiteiten die een op Transformer gebaseerd neuronaal netwerk gebruiken om sequenties van (observatie, actie, beloning) af te beelden op actiekansen.
  • Doel: Cumulatieve gediskonteerde beloning maximaliseren $G = \sum \gamma^t R_t$. De diskontofactor $\gamma$ controleert de tijds horizon (toekomstvisie) van de agent.
  • Leren: Agenten gebruiken Proximal Policy Optimization (PPO) op een gedecentraliseerde manier. Ze observeren een lokale $11 \times 11$-buurt en handelen om individuele returns te maximaliseren.
• Experimentele Variaties:
  • Hyperparameteranalyse: Variëren van de diskontofactor ($\gamma$) en de spontane groeisnelheid van de verzamelplant ($P_3$).
  • Populatiedynamiek: Testen van stabiliteit in kleine versus grote populaties ($N$).
  • Sociaal Leren (SL): Invoeren van een "kloon"-mechanisme waarbij agenten met hoge cumulatieve beloningen zich voortplanten en hun beleid doorgeven aan nakomelingen, waarmee culturele transmissie wordt gesimuleerd.
  • Hysterese-testen: Geleidelijk variëren van de beschikbaarheid van $P_3$ om reversibiliteit te testen.
  • Theoretische validatie: Een wiskundig gemiddeld-veldmodel afgeleid van RL-resultaten om bifurcatie en hysterese te analyseren.

Belangrijkste Resultaten

1. Voorwaarden voor Ontstaan: Landbouw ontstaat spontaan alleen onder specifieke voorwaarden:

   • Hoge Cognitieve Horizon: Een hoge diskontofactor ($\gamma$) is vereist, waardoor agenten vertraagde beloningen (bijvoorbeeld de toekomstige opbrengst van een gezaaide zaad) kunnen waarderen boven directe verzamelwinsten.
   • Ecologische Stress: Landbouw wordt begunstigd wanneer de spontane groei van de wilde verzamelplant ($P_3$) laag is. In hulpbronnenrijke omgevingen ($P_3$ overvloedig) vormt verzamelen een sterk lokaal optimum waaruit agenten niet kunnen ontsnappen.
   • Gedragsverschuiving: Succesvolle agenten gaan over van een "verzamel-fase" (hoge beweging, exploitatie van $P_3$) naar een "domesticatie-fase" gekenmerkt door sedentair gedrag, selectief verwijderen van het concurrerende onkruid ($P_2$) en actief water geven aan $P_1$.

2. Lock-in en Hysterese:

   • Eenmaal gevestigd, is de landbouwsituatie effectief onomkeerbaar. Het systeem vertoont hysterese: als de omgeving wordt gewijzigd om verzamelbronnen ($P_3$) weer overvloedig te maken, keert de populatie niet terug naar verzamelen.
   • Een wiskundig gemiddeld-veldmodel bevestigt dit en toont een discontinu overgangspunt (bifurcatie) waarbij het systeem blijft vastzitten in de landbouw-aantrekker, zelfs wanneer omgevingscondities theoretisch verzamelen begunstigen.

3. Sociaal Leren als Brandmuur:

   • Kwetsbaarheid voor Bedriegers: In grotere populaties ($N \gtrsim 5$) zonder sociaal leren stort de landbouwstrategie in. "Bedriegers" (agenten die $P_1$ oogsten zonder bij te dragen aan water geven of onkruid verwijderen) vallen binnen en ondermijnen de coöperatieve investering die voor de teelt vereist is.
   • Stabilisatie via SL: Het invoeren van sociaal leren (beleidsovererving via klonen) fungeert als een "brandmuur". Succesvolle landbouwstrategieën worden doorgegeven aan nieuwe generaties, waardoor de populatie coöperatief gedrag kan handhaven ondanks de aanwezigheid van potentiële bedriegers. Dit leidt tot niet-lineaire versterking van gedomesticeerde hulpbronnen en een aanhoudende populatiegroei.

Belangrijkste Bijdragen

• Mechanistische Uitleg: Het artikel identificeert vier universele ingrediënten voor het ontstaan van landbouw: (1) individuele planning (waardering van vertraagde beloningen), (2) sociale kwetsbaarheid voor bedriegers, (3) stabilisatie via sociaal leren, en (4) een emergent lock-in-effect.
• Kunstmatige Samenleving als Platform: Het toont aan dat complexe culturele innovaties (zoals landbouw) kunnen ontstaan uit de koppeling van versterkingsleer en ecologische dynamiek, zonder expliciete instructie of bestaande socioculturele structuren.
• Rol van Sociaal Leren: Het biedt een computationele demonstratie dat sociaal leren niet slechts een transmissiemechanisme is, maar een kritieke stabilisator die het instorten van coöperatieve regimes in grotere groepen verhindert.

Betekenis en Aanspraken
De auteurs beweren dat hun resultaten universele mechanismen onthullen die individuele besluitvorming, sociale interacties en ecologische terugkoppelingen met elkaar verbinden. De studie benadrukt het potentieel van kunstmatige samenlevingen als experimentele platforms om belangrijke evolutionaire overgangen en het ontstaan van culturele innovaties te onderzoeken.

Het artikel merkt nederig beperkingen op, zoals het ontbreken van hulpbronopslag, gebrek aan genetische variabiliteit (wat co-evolutionaire terugkoppelingen uitsluit), en de minimale representatie van sociaal leren (klonen in plaats van complex lesgeven). Het stelt echter dat het kader een hanteerbare aanpak biedt voor het bestuderen van bredere cognitieve overgangen, waaronder het ontstaan van ultrasociaal gedrag bij insecten. Het werk suggereert dat de overgang naar landbouw niet louter een reactie is op ecologische schaarste, maar een complexe wisselwerking van cognitieve vooruitziendheid en sociale transmissiemechanismen die stabiele, zelfversterkende ecologische niches creëren.