Calibrating Artificial Guilt: Neurally Grounded Reward Shaping for Prosocial Multi-Agent Reinforcement Learning

Stel je een wereld voor waarin computers niet alleen spelletjes spelen, maar ook leren hoe ze goede teamgenoten kunnen zijn. Dit is het domein van Multi-Agent Reinforcement Learning, een tak van kunstmatige intelligentie waar computerprogramma's (agenten) ontdekken hoe ze kunnen samenwerken door dingen uit te proberen en punten te krijgen voor goede zetten. Meestal zijn deze agenten egoïstisch; ze geven alleen om hun eigen score. Als ze een partner kunnen bedriegen om een grotere beloning te krijgen, doen ze dat vaak ook. Om dit te stoppen, proberen wetenschappers hen te leren om om anderen te geven door een "sociale bonus" aan hun score toe te voegen. Maar hier komt het lastige deel bij: hoeveel moet die bonus waard zijn? Moet het een zachte fluistering zijn of een luide kreet? Tot nu toe hebben wetenschappers vooral gegokt of handmatig getweakt aan deze getallen, in de hoop op het juiste bedrag te stuiten.

De grote vraag die dit artikel aanpakt is: Kunnen we stoppen met gokken en in plaats daarvan precies meten hoeveel mensen voelen wanneer ze een vriend in de steek laten? De auteurs kijken naar een gevoel dat schuldgevoel wordt genoemd — dat zware gevoel in je maag wanneer jouw keuze iemand anders pijn doet. Ze vragen zich af of ze het "gewicht" van menselijk schuldgevoel kunnen nemen, in een laboratorium kunnen meten, en dat exacte getal vervolgens aan een computer kunnen overhandigen, zodat deze leert om om zijn partner te geven precies zoals een mens dat zou doen. Als ze slagen, kunnen we AI bouwen die niet alleen strikte regels volgt, maar ook de emotionele kosten van haar acties begrijpt.

---

Het Experiment: Robots leren schuldgevoel te voelen

In deze studie besloten twee onderzoekers, Aaditya Mehta en Arya Shah, te stoppen met gokken en te beginnen met meten. Ze wilden zien of ze kunstmatig schuldgevoel konden "kalibreren" met echte menselijke data. Denk aan het afstemmen van een radio: in plaats van aan de knop te draaien tot de muziek oké klinkt, vonden zij de exacte frequentie waarop het menselijk brein het lied van schuldgevoel zingt, en stemden ze de robot vervolgens af op diezelfde zender.

Waar kwamen ze aan de data?
Ze gebruikten een publieke dataset genaamd SoDec, die hersenscans en gedragsgegevens bevat van 40 echte mensen. In het oorspronkelijke experiment speelden deze mensen een spel waarbij ze moesten kiezen tussen een Veilige optie (een gegarandeerde kleine beloning) en een Risicovolle optie (een muntworp die een grote beloning of niets kon opleveren). Soms speelden ze voor zichzelf, en soms speelden ze voor zichzelf én een partner.

De onderzoekers keken naar een specifief moment: wanneer een persoon voor de Risicovolle optie koos, en de partner een slechte uitkomst kreeg. De onderzoekers vroegen zich af: Hoeveel daalt het geluk van de persoon omdat hij zich verantwoordelijk voelt voor het pech van zijn partner? Door de data te analyseren, berekenden ze een specifiek getal dat dit "schuldgevoel-gewicht" vertegenwoordigt. Ze ontdekten dat voor elke eenheid pech die een partner onderging, het geluk van de persoon met een factor 1,118 daalde.

Het Robotspel
Vervolgens bouwden ze een digitale speeltuin genaamd de Social Lottery omgeving. Ze plaatsten twee AI-agenten (met behulp van een slimme leermethode genaamd PPO) in dit spel. De agenten moesten dezelfde Veilige versus Risicovolle keuzes maken. De onderzoekers testten vier verschillende manieren om de agenten te onderwijzen:

1. De Egoïstische Robot: Geen schuldgevoel. Het gaf alleen om de eigen punten.
2. De Gokkende Robot: Het had een schuldstraf, maar het getal was slechts een willekeurige gok (0,5).
3. De "Perfecte" Robot: Het had een schuldstraf van exact 1,0, een standaard, net getal dat wetenschappers vaak gebruiken.
4. De Door Mensen Gemeten Robot (NeuroGuilt): Deze gebruikte het exacte getal afgeleid van de menselijke hersendata: 1,118.

Wat gebeurde er?
Nadat de robots 20.000 rondes van het spel hadden gespeeld, waren de resultaten fascinerend.

• De Egoïstische Robot was een ramp voor teamwork. Het koos bijna altijd voor de Risicovolle optie (slechts 10% veilige keuzes), waarbij de veiligheid van de partner volledig werd genegeerd.
• De Gokkende Robot deed het iets beter, maar was nog steeds niet erg zorgzaam.
• De "Perfecte" Robot (met het nette getal 1,0) deed het oké, maar kwam nog steeds niet helemaal overeen met hoe mensen zich gedragen.
• De Door Mensen Gemeten Robot was de ster van de show. Deze koos 45,9% van de tijd voor de Veilige optie.

Waarom is dit een groot ding?
De onderzoekers vergeleken de keuzes van de robots met de werkelijke keuzes gemaakt door de 40 mensen in de oorspronkelijke studie. Mensen kozen in 48,4% van de gevallen voor de Veilige optie.

De Door Mensen Gemeten Robot kwam ongelooflijk dicht bij het menselijke gedrag. Het verschil tussen de keuzes van de robot en de menselijke keuzes was minuscuul (een wiskundige afstand genaamd KL-divergentie van 0,0012). Ter vergelijking: de andere robots waren ver uit de bocht, met verschillen die honderden keren groter waren.

Nog interessanter: de "Perfecte" Robot gebruikte een schuldgetal van 1,0, terwijl de "Door Mensen Gemeten" Robot een getal van 1,118 gebruikte. Je zou denken dat een groter getal een sterkere straf en dus beter gedrag betekent, maar dat was hier niet het geval. De robot met het iets grotere getal (1,118) maakte minder fouten en ervoer minder "schuldstraf-massa" in totaal, omdat hij vaker het veilige pad koos. Dit bewijst dat het niet alleen gaat om het hebben van een straf; het gaat om het hebben van het juiste bedrag aan straf, exact gekalibreerd aan hoe mensen zich daadwerkelijk voelen.

De Conclusie

Dit artikel suggereert dat we geen nieuwe regels hoeven uit te vinden voor AI om moreel te zijn. In plaats daarvan kunnen we kijken naar hoe mensen zich daadwerkelijk voelen wanneer ze iemand in de steek laten, dat gevoel meten, en het direct in de machine kopiëren. Door een getal te gebruiken dat is afgeleid van echte menselijke hersenen (1,118), leerde de AI om voor zijn partner te zorgen bijna even goed als een mens dat zou doen.

De onderzoekers benadrukken voorzichtig dat dit een simulatie is en dat de menselijke data een "klein tot matig" effect liet zien dat op zichzelf niet statistisch perfect was. Echter, het resultaat is een sterke aanwijzing: als we willen dat AI in lijn is met menselijke waarden, moeten we stoppen met het gokken van de getallen en beginnen met het meten van de menselijke ervaring die erachter zit. Het is een stap naar het bouwen van AI die niet alleen de beste zet berekent, maar ook het gewicht van haar keuzes begrijpt.