🤖 machine learning

Altruism and Fair Objective in Mixed-Motive Markov games

Dit artikel stelt een nieuw kader voor in mixed-motive Markov-spellen, waarbij de standaard utilitaire benadering wordt vervangen door 'proportionele rechtvaardigheid' en altruïstische nutfuncties om eerlijkere samenwerking in sociale dilemma's te bevorderen.

Oorspronkelijke auteurs: Yao-hua Franck Xu, Tayeb Lemlouma, Arnaud Braud, Jean-Marie Bonnin

Gepubliceerd 2026-02-10

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yao-hua Franck Xu, Tayeb Lemlouma, Arnaud Braud, Jean-Marie Bonnin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je met een groep vrienden een grote pizza bestelt. Er zijn twee manieren om te beslissen hoe je de stukjes verdeelt:

De "Grootste Stapel" methode (Utilitaristisch): Je kijkt alleen naar hoeveel pizza er in totaal wordt opgegeten. Als één hongerige vriend drie pizza's kan opeten en de rest maar een klein beetje, dan geven jullie alles aan die ene vriend. De totale hoeveelheid gegeten pizza is maximaal, maar de rest zit te verhongeren. Dat is efficiënt, maar hartstikke oneerlijk.
De "Iedereen een hapje" methode (Proportional Fairness): Je probeert de totale hoeveelheid pizza zo hoog mogelijk te houden, maar je zorgt er tegelijkertijd voor dat niemand met een lege maag blijft zitten. Je geeft niet alles aan de grootste eter, maar verdeelt het zo dat iedereen een eerlijke kans heeft om verzadigd te raken.

Dit wetenschappelijke artikel gaat precies over dit dilemma, maar dan voor kunstmatige intelligentie (AI).

Waar gaat het onderzoek over?

In de wereld van AI werken vaak veel verschillende robots of computersystemen samen. Dit noemen we "Multi-Agent Systemen". Soms moeten ze samenwerken om een doel te bereiken (zoals het schoonhouden van een rivier of het oogsten van voedsel), maar soms is er ook verleiding: "Als ik een beetje vals speel, krijg ik meer voor mezelf, terwijl de rest het werk doet." Dit noemen we een sociaal dilemma.

Tot nu toe probeerden wetenschappers AI vaak te trainen met het idee: "Zorg dat de groep als geheel zoveel mogelijk scoort." Het probleem? De AI ontdekt dat het heel efficiënt is om één of twee robots al het zware werk te laten doen, terwijl de rest alleen maar de beloningen incasseert. Dat is een "oneerlijke samenwerking".

De oplossing: De "Eerlijke Altruïst"

De onderzoekers van dit paper hebben een nieuwe manier bedacht. Ze hebben een formule gemaakt die twee dingen combineert:

Altruïsme: Een beetje rekening houden met de ander.
Proportionele Rechtvaardigheid: Een wiskundige manier om te zeggen: "Het is belangrijker dat iedereen een beetje krijgt, dan dat één iemand alles krijgt."

Je kunt dit zien als een "Eerlijkheids-thermometer". Als de AI ziet dat de ene robot veel meer punten krijgt dan de andere, krijgt de AI een soort 'sociaal schuldgevoel' (via de wiskunde) en past het zijn gedrag aan om de balans te herstellen.

Wat hebben ze ontdekt? (De test met de appels)

Ze testten dit in een digitale wereld genaamd 'CleanUp'. In deze wereld moeten robots appels oogsten, maar ze moeten ook de rivier schoonmaken zodat er nieuwe appels kunnen groeien. Als ze alleen maar oogsten en niet schoonmaken, gaat de hele boel kapot.

De resultaten waren verrassend:

De oude methode (Alleen maar efficiëntie): De robots werden lui en oneerlijk. Een paar robots deden al het werk, de rest deed niks, en de verdeling van de appels was super scheef.
De nieuwe methode (Eerlijkheid + Efficiëntie): De robots werkten veel beter samen! Omdat de AI werd aangestuurd om eerlijk te zijn, bleven alle robots actief en betrokken. Sterker nog: de groep oogstte in totaal méér appels dan de oude methode!

De moraal van het verhaal

De onderzoekers laten zien dat eerlijkheid niet alleen "aardig" is, maar ook slimmer. Wanneer je AI leert om niet alleen naar de totale winst te kijken, maar ook naar hoe die winst verdeeld wordt, ontstaat er een stabieler en krachtiger team.

In plaats van een groep waarbij één superheld alles doet en de rest toekijkt, creëert deze methode een harmonieus team waar iedereen bijdraagt en iedereen profiteert. Dat is precies hoe we ook een gezonde menselijke samenleving willen!

Technische Samenvatting: Altruïsme en Eerlijke Doelstellingen in Mixed-Motive Markov Games

1. Het Probleem: De spanning tussen efficiëntie en rechtvaardigheid

In multi-agent systemen (MAS) is samenwerking essentieel voor collectief welzijn, maar individuele agenten hebben vaak een prikkel om te "defecteren" (egoïstisch te handelen) om persoonlijke winst te maximaliseren zonder de kosten van collectieve inspanningen te dragen. Dit leidt tot sociale dilemma's (zoals de Tragedy of the Commons).

De huidige standaardmethode om samenwerking te stimuleren is het utilitaristische welzijnsdoel (het maximaliseren van de som van alle individuele beloningen). Hoewel dit de totale efficiëntie kan verhogen, leidt het vaak tot extreme ongelijkheid: sommige agenten kunnen enorme winsten behalen terwijl anderen grote offers brengen. Dit gebrek aan rechtvaardigheid (fairness) kan de stabiliteit van langdurige samenwerking ondermijnen.

2. Methodologie: Proportional Fairness en Fair Markov Games

De auteurs stellen een nieuw raamwerk voor dat Proportional Fairness (PF) combineert met altruïsme.

Proportional Fairness (PF): In plaats van de som van beloningen te maximaliseren, stelt PF voor om de som van de logaritmen van de beloningen te maximaliseren ( $\sum \log u_i$ ). Dit concept biedt een wiskundig evenwicht tussen maximale efficiëntie en een eerlijke verdeling.
Fair Altruistic Utility: De auteurs herdefiniëren de altruïstische uitbreiding van een spel. Voor elke agent $i$ wordt een nieuwe doelstelling $J_i$ gedefinieerd die een gewogen combinatie is van de eigen log-payoff en de collectieve PF-waarde, aangestuurd door een altruïsme-parameter $\alpha$ .
Fair Altruistic Markov Games: De auteurs breiden dit concept uit naar sequentiële besluitvorming (Markov Games). Ze definiëren een nieuwe state-value function gebaseerd op PF en leiden hiervan de Fair Policy Gradient Theorem af.
Algoritmen: Op basis van de afgeleide gradiënten introduceren ze nieuwe Actor-Critic algoritmen:
- Fair MAA2C: Een directe toepassing van de eerlijke policy gradient.
- Fair MAPPO: Een variant van het populaire Multi-Agent PPO, waarbij de traditionele advantage function wordt vervangen door een Fair Altruistic Advantage function.

3. Belangrijkste Bijdragen

Nieuwe Formele Definitie: Een wiskundig kader voor een "eerlijk altruïstisch spel" waarbij de payoff-functie wordt getransformeerd naar een logaritmische ruimte om PF compatibel te maken met altruïsme.
Analytische Voorwaarden: Het bewijzen van de exacte drempelwaarde voor de parameter $\alpha$ die nodig is om samenwerking (Nash-evenwicht) te garanderen in klassieke sociale dilemma's zoals de Prisoner's Dilemma, Stag Hunt en Game of Chicken.
Nieuwe Policy Gradient Theorie: De afleiding van een nieuwe gradiënt-theorema die specifiek rekening houdt met de onderlinge afhankelijkheid van de beloningen van alle agenten via de PF-doelstelling.
Nieuwe Algoritmen: De ontwikkeling van praktische Actor-Critic algoritmen voor het leren van eerlijke en efficiënte strategieën.

4. Resultaten: Experimenten in 'CleanUp'

De methoden werden getest in de 'CleanUp' omgeving (uit de Melting Pot 2.0), een complex sociaal dilemma waarbij agenten appels moeten oogsten maar tegelijkertijd de rivier moeten schoonmaken om de bron duurzaam te houden.

Efficiëntie vs. Rechtvaardigheid: In een volledig coöperatieve setting ( $\alpha=1$ ) presteerde de PF-methode verrassend genoeg beter in totale efficiëntie (meer appels geoogst) dan de utilitaristische methode. De utilitaristische methode leidde tot een zeer hoge Gini-coëfficiënt (hoge ongelijkheid), waarbij slechts enkele agenten werkten terwijl anderen niets deden.
Optimale Altruïsme: Met de Fair-MAPPO methode bleek een waarde van $\alpha = 0.7$ optimaal. Dit zorgde voor een hoge oogst én een zeer lage Gini-coëfficiënt (hoge eerlijkheid).
Gedrag: Wanneer $\alpha$ te laag is (bijv. 0.2), worden agenten te egoïstisch en daalt de collectieve prestatie. Wanneer $\alpha$ optimaal is, worden agenten aangemoedigd om onbalans in de verdeling te corrigeren door actiever deel te nemen aan collectieve taken.

5. Betekenis en Conclusie

Het onderzoek toont aan dat het streven naar rechtvaardigheid (fairness) niet noodzakelijkerwijs ten koste gaat van de collectieve efficiëntie; in complexe, heterogene omgevingen kan het zelfs de efficiëntie verhogen. Door de focus te verleggen van "maximale totale winst" naar "proportionele eerlijkheid", kunnen multi-agent systemen stabielere, duurzamere en meer evenwichtige samenwerkingen ontwikkelen. Dit heeft belangrijke implicaties voor de ontwikkeling van AI-systemen die moeten opereren in menselijke economieën of gedeelde digitale ecosystemen.