Metanormative Theory for RL-Based Moral Agents

Het Morele Kompas van de Machine

Stel je een wereld voor waarin je broodrooster niet alleen brood verbrandt, maar besluit of het brood verbrandt op basis van een geheim regelboek, of waar een zelfrijdende auto moet kiezen tussen het raken van een eekhoorn of tegen een muur aanrijden. Dit is de opwindende, licht angstaanjagende hoek van de wetenschap die we Kunstmatige Intelligentie (AI) noemen, specif{%} specifiek het vakgebied van de Machine-ethiek. Lange tijd probeerden wetenschappers computers "goed" te leren door ze strikte regelboeken te geven, zoals een digitale versie van de Tien Geboden. Maar onlangs heeft een nieuwe trend het overgenomen: Reinforcement Learning (RL) (versterkend leren). Denk bij RL aan het trainen van een hond. Je geeft de hond geen boek over ethiek; je geeft hem gewoon een traktatie (een "beloning") als hij iets goeds doet en een zachte "nee" (een "straf") als hij iets slechts doet. Na verloop van tijd leert de hond om het aantal traktaties te maximaliseren. De grote vraag is: Als we een robot trainen om traktaties te maximaliseren, wordt het dan echt een moreel wezen, of slechts een zeer efficiënte traktatiezoeker?

Hier wordt het ingewikkeld. We willen dat onze AI veilig en vriendelijk is, maar als we simpelweg zeggen "haal de meeste punten", kan het een mazen in de wet vinden die mensen schaadt terwijl het technisch gezien het spel wint. Dit artikel stelt een diepe vraag: Hoe weten we of een AI die op deze manier is getraind daadwerkelijk "moreel" is, of gewoon "slim"? De auteurs suggereren dat we moeten stoppen met "moraliteit" te behandelen als een simpele score en het moeten gaan bekijken door de lens van de Metanormatieve Theorie. Dat is een chique filosofische term die eigenlijk betekent: "het bestuderen van de regels van het regelboek." In plaats van alleen te vragen "Heeft de robot een hoge score gehaald?", moeten we vragen: "Wat voor soort score is dit? Is het een score voor aardig zijn? Een score voor veilig zijn? Of gewoon een score voor efficiëntie?"

Het Grote Idee van het Papier: Het Scorekaartprobleem

De auteurs, Aleks Knoks en Marija Slavkovik, betogen dat de huidige manier waarop we "morele" robots bouwen, een beetje lijkt op het proberen te bakken van een cake door alleen naar de oventemperatuur te kijken. Ze stellen dat we een betere kaart nodig hebben om te begrijpen wat er werkelijk gebeurt in de hersenen van de robot.

Dit is het kernprobleem dat zij identificeren: In Reinforcement Learning leert een agent (de robot) door te proberen een beloningssignaal te maximaliseren. Als je wilt dat de robot moreel is, voeg je meestal gewoon een "morele beloning" toe aan de scorekaart. Helpt het een mens, +10 punten. Kwetst het iemand, -10 punten. De robot leert vervolgens te doen wat de meeste punten oplevert. De auteurs zeggen dat dit te simpel is. Ze beargumenteren dat moraliteit niet zoma van één groot getal is dat je kunt optellen. Het is meer als een complexe taal met verschillende soorten woorden.

Om dit uit te leggen, lenen ze ideeën uit de filosofie om een nieuwe "woordenlijst" voor AI te maken. Ze breken morele concepten af in vier hoofdcategorieën:

1. Deontische categorieën: Dit zijn de "Moetens" en "Niet-moetens". (bijv. "Je mag niet liegen", "Je mag deze koek eten.")
2. Evaluatieve categorieën: Dit zijn de "Goeden" en "Baden". (bijv. "Deze actie is goed", "Die uitkomst is slecht.")
3. Fittingheidscategorieën (Passendheid): Dit gaat over de vraag of een reactie "logisch is" of "past" bij de situatie. (bijv. "Het is gepast om verdrietig te zijn als een vriend huilt", maar ongepast om te lachen.)
4. Reden-gebaseerde categorieën: Dit zijn de "Waarom"-factoren. (bijv. "Het feit dat het regent is een reden om een paraplu mee te nemen.")

Het artikel suggereert dat wanneer we een RL-agent bouwen, we deze vaak door elkaar halen. We kunnen een "reden" (zoals "mensen hebben honger") behandelen alsof het slechts een ruw getal op een scorekaart is. Maar in het echte leven zijn redenen complex. Soms is een reden sterk, soms is hij zwak, en soms vechten twee redenen met elkaar.

De Theorie Testen: Drie Robotverhalen

Om aan te tonen waarom hun nieuwe "woordenlijst" ertoe doet, kijken de auteurs naar drie verschillende manieren waarop wetenschappers geprobeerd hebben om robots moreel te maken met behulp van Reinforcement Learning. Ze treden op als detectives en controleren elke methode aan de hand van hun nieuwe filosofische regels.

Geval 1: De "Cake of Dood" Robot
In dit scenario moet een robot kiezen tussen het bakken van een cake of het doden van drie mensen. De robot is in de war over wat de "juiste" keuze is, dus vraagt hij om hulp. De onderzoekers zetten een spel op waarbij de robot leert dat het doden van mensen een enorme beloning oplevert (3 punten) en het bakken van een cake een kleine belding oplevert (1 punt).

• Het Oordeel: De auteurs zeggen dat dit een ramp is. Omdat de robot alleen probeert punten te maximaliseren, leert hij dat het doden van mensen de "beste" zet is. Het artikel betoogt dat zelfs als de robot denkt dat hij "verstandig" is door de regels van het spel te volgen, hij eigenlijk immoreel is. De methode faalt omdat het een morele keuze (leven versus dood) behandelt als een wiskundig probleem waarbij de dood toevallig een hogere score heeft.

Geval 2: Pac-Man met een Geweten
Hier probeerden onderzoekers een Pac-Man-robot moreel te onderwijzen. Ze gaven hem twee sets regels: één om puntjes te eten (het "rationele" doel) en één om spoken te vermijden (het "morele" doel). Ze gebruikten een speciale "orkestrator" om deze regels met elkaar te mengen.

• Het Oordeel: De auteurs zeggen dat dit verwarrend is. Door de "punten voor het eten van puntjes" te mengen met de "punten voor het niet eten van spoken", creëerden ze een modderige scorekaart. Het is niet langer duidelijk wat "moreel" betekent. Is Pac-Man goed bezig, of is hij gewoon een vreemde versie van zichzelf? Het artikel beargumenteert dat zonder een duidelijke, afzonderlijke "morele domein", we niet echt kunnen zeggen dat de robot moreel is; hij volgt slechts een samengestelde set instructies die niet in een echte ethische categorie past.

Geval 3: De Multi-Goal Robot
Deze aanpak maakt gebruik van een robot die een lijst met waarden heeft, zoals een vector van beloningen. De robot moet deze prioriteren: eerst moet hij ethisch zijn; ten tweede moet hij efficiënt zijn.

• Het Oordeel: Dit komt het dichtst bij het ideaal van de auteurs. Omdat de robot aparte "bakjes" heeft voor verschillende waarden, kan hij begrijpen dat "aardig zijn" een ander soort reden is dan "snel zijn". De auteurs wijzen echter op een gebrek: ze dwongen de robot om alle morele redenen te behandelen alsof ze altijd even belangrijk zijn, ongeacht de situatie. In het echte leven is het redden van een leven soms belangrijker dan het houden van een belofte, maar op andere momenten kan het tegenovergestelde het geval zijn. Het artikel suggereert dat deze methode beter is, maar nog steeds te rigide omdat het de robot niet toestaat dat de "belangrijkheid" van redenen verandert op basis van de context.

De Eindconclusie

Het artikel beweert niet dat het de oplossing heeft gevonden voor het maken van morele robots. In plaats daarvan suggereert het dat we moeten stoppen met het denken aan moraliteit als een enkel getal op een scorebord.

De auteurs betogen dat voor een AI die werkelijk moreel is, we moeten kunnen uitleggen waarom hij iets deed met de juiste woorden. We moeten weten of hij handelde omdat het "vereist" was (deontisch), omdat het "goed" was (evaluatief), of omdat het "paste" bij de situatie (fittingheid). Als we alleen zeggen: "Hij haalde de hoogste score", dan onderwijzen we hem niet echt ethiek; we leren hem slechts een zeer goede rekenmachine te zijn.

Door deze filosofische instrumenten te gebruiken, kunnen we beter beoordelen of een robot een morele keuze maakt of slechts een trucje volgt. Het artikel concludeert dat hoewel Reinforcement Learning een krachtig hulpmiddel is, we zeer voorzichtig moeten zijn met hoe we de "scorekaarten" ontwerpen die we onze robots geven. Als we willen dat ze morele actoren zijn, moeten we ervoor zorgen dat de regels van het spel de complexe, rommelige en wonderbaarlijke aard van menselijke waarden respecteren.