Social welfare optimisation under institutional reward and punishment

Technische Samenvatting: Optimalisatie van het Sociaal Welzijn onder Institutionele Beloning en Bestraffing

Probleemstelling
De bestaande literatuur over institutionele prikkels voor het bevorderen van samenwerking in multi-agent-systemen en evolutionaire spellen typeert het ontwerpprobleem doorgaans als een bi-objectieve optimalisatie: het minimaliseren van de institutionele kosten terwijl een doelstelling voor de langetermijnfrequentie van samenwerking wordt behaald. Deze kaders negeren echter grotendeels een holistische metriek: sociaal welzijn, gedefinieerd als de totale opbrengst van de populatie minus de institutionele uitgaven. De auteurs stellen dat schema's die uitsluitend worden geoptimaliseerd voor kostenefficiëntie of samenwerkingsfrequentie suboptimaal of zelfs nadelig kunnen zijn voor het algemene maatschappelijke welzijn. Dit artikel adresseert dit gat door analytisch de optimalisatie van sociaal welzijn te bestuderen onder kostbare institutionele prikkels (zowel beloningen als bestraffingen) in eindige, goed gemengde populaties die sociale dilemma's spelen.

Methodologie
De studie maakt gebruik van evolutionaire speltheorie binnen eindige populaties van omvang $N$.

• Spelmodellen: De analyse beslaat het Donatie-spel (DG) en het Publieke Goederen-spel (PGG).
• Dynamiek: De populatie-evolutie volgt de Fermi-strategie-update-regel met selectie-intensiteit $\beta$. De dynamiek wordt gemodelleerd als een absorberende Markov-keten over toestanden die het aantal coöperatoren vertegenwoordigen.
• Prikkelmechanismen:
  • Beloning: Een instituut betaalt een per-capita kostenpost $\theta$ aan coöperatoren, wat hun opbrengst verhoogt met $a\theta$, waarbij $a$ de efficiëntie van de beloning is.
  • Bestraffing: Een instituut betaalt een per-capita kostenpost $\theta$ om defectoren te bestraffen, wat hun opbrengst verlaagt met $\hat{a}\theta$, waarbij $\hat{a}$ de efficiëntie van de bestraffing is.
• Welzijnsformulering: De auteurs leiden expliciete analytische expressies af voor de verwachte totale sociale welvaart ($SW$ voor beloning, $\widehat{SW}$ voor bestraffing). Deze expressies aggregeren de opbrengsten van alle spelers over transiënte toestanden, gewogen door verwachte visitatiepercentages afgeleid van de fundamentele matrix van de Markov-keten, en trekken de totale institutionele kosten ervan af.
• Optimalisatie: De kern van de wiskundige taak is het maximaliseren van deze welzijnsfuncties met betrekking tot het prikkelniveau $\theta$. De auteurs analyseren het kwalitatieve gedrag van deze niet-convexe functies en leiden voorwaarden af voor monotoniciteit, faseovergangen en de locatie van globale optima.

Belangrijkste Bijdragen en Resultaten

1. Analytische Karakterisering van Sociaal Welzijn:
   Het artikel leidt gesloten vorm-expressies af voor het verwachte sociale welzijn onder zowel beloning als bestraffing. Het identificeert dat het gedrag van de welzijnsfunctie kritisch afhangt van de efficiëntie van de prikkel ($a$ of $\hat{a}$) en de selectie-intensiteit ($\beta$).

   • Faseovergangen: De auteurs identificeren parameterrégimes waar het welzijnsfunctie een enkel optimaal prikkelniveau vertoont versus regimes waar het niet-monotoon wordt met meerdere lokale optima. Specifiek, voor efficiënte beloningen ($a > 1$) en een hoge selectie-intensiteit ($\beta > \beta^*$), kan de welzijnsfunctie complexe faseovergangen vertonen met meerdere extrema.
   • Zero-Sum vs. Non-Zero-Sum: In het geval van zero-sum transfer ($a=1$) is de welvaart unimodaal (toenemend en dan afnemend). In non-zero-sum gevallen ($a \neq 1$) ondergaat de monotoniciteit kwalitatieve verschuivingen op basis van efficiëntie en de sterkte van de selectie.

2. Lokalisatie van Optimale Prikkels:
   Een centraal theoretisch resultaat is dat elke welzijnsmaximaliserende prikkel $\theta^*$ ofwel nul is, ofwel geconcentreerd rond een specifieke, analytisch bepaalde doelwaarde ($\theta_\infty = -\delta/a$ voor beloningen, $\hat{\theta}_\infty = -\delta/\hat{a}$ voor bestraffingen).

   • Convergentiesnelheden: Het artikel bewijst dat naarmate de selectie-intensiteit $\beta \to \infty$, de optimale prikkel convergeert naar deze doelwaarden. Voor beloningen is de convergentiesnelheid $O(1/(a\beta))$. Voor bestraffing is de convergentie iets trager, $O(\log \beta / (\hat{a}\beta))$, door een extra logaritmische factor.
   • Algoritmische Oplossing: Gebaseerd op deze lokalisatie-eigenschappen, bieden de auteurs een efficiënt algoritme (Algoritme 1) met behulp van een beperkte interval-gridzoekopdracht met boven- en ondergrenzen om de optimale prikkel numeriek te berekenen.

3. Vergelijking tussen Beloning en Bestraffing:
   De studie leidt gesloten voorwaarden af waaronder institutionele beloning beter presteert dan bestraffing in termen van sociaal welzijn voor een gegeven budget.

   • Efficiëntiedrempel: De auteurs bewijzen dat als de belonings-efficiëntie $a$ voldoende hoog is ten opzichte van de bestraffings-efficiëntie $\hat{a}$ (specifiek voldoend aan een voorwaarde die harmonische getallen en de populatieomvang betreft), het instituut altijd de investeringskosten kan aanpassen zodat beloning een hoger sociaal welzijn oplevert dan bestraffing.
   • Dominantie: In veel standaard parameterrégimes wordt aangetoond dat beloningsmechanismen domineren over bestraffing bij het maximaliseren van het sociale welzijn, tenzij de bestraffingsefficiëntie uitzonderlijk hoog is in verhouding tot de benefit-to-cost ratio van het spel.

4. Afwijking van Kostenefficiëntie-Optimalisatie:
   Het artikel demonstreert een systematische kloof tussen prikkels die geoptimaliseerd zijn voor kosten of samenwerkingsfrequentie en die welke het sociale welzijn maximaliseren.

   • Trade-offs: Het maximaliseren van sociaal welzijn vereist vaak prikkelniveaus die aanzienlijk verschillen van de minimale kosten die nodig zijn om een samenwerkingsdrempel te halen. In efficiënte transfer-regimes ($a > 1$), bevoordeelt welzijnsmaximalisatie grotere prikkels, wat een conflict creëert met kostenminimalisatie. Omgekeerd, in inefficiënte regimes, komen de doelstellingen overeen, wat de kleinste haalbare prikkel bevoordeelt.

Betekenis en Claims
De auteurs beweren dat hun werk een realistischer en beleidsrelevanter kader biedt voor het technisch ontwerpen van coöperatief gedrag in biologische, sociale en kunstmatige systemen. Door de focus te verleggen van louter samenwerkingsfrequentie of kostenminimalisatie naar sociaal welzijn, daagt de studie de heersende aanname uit dat kostenefficiënte of hoog-coöperatieve schema's inherent optimaal zijn voor de samenleving.

De resultaten suggereren dat:

• Institutionele ontwerpen niet alleen beoordeeld moeten worden op het niveau van de geïnduceerde samenwerking, maar op het netto voordeel voor de populatie na aftrek van de kosten van de interventie.
• Er specifieke parameterrégimes zijn waar het maximaliseren van samenwerking of het minimaliseren van kosten weg leidt van welzijnsmaximaliserende beleid.
• Beloningsmechanismen, wanneer zij voldoende efficiënt zijn, over het algemeen een superieur pad naar sociaal welzijn bieden vergeleken met bestraffing, mits de efficiëntieverhouding aan specifieke theoretische drempels voldoet.

Het artikel concludeert dat hoewel het een rigoureus welzijnsgericht analytisch kader biedt, toekomstig werk nodig is om adaptieve/hybride mechanismen, globale karakteriseringen van welzijnslandschappen en heterogene prikkelontwerpen afhankelijk van individuele rollen of lokale bijdragen te verkennen.