The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback

De weg vooruit voor zelfrijdende auto's gaat niet langer alleen over het vermijden van ongelukken; het gaat over het maken van keuzes wanneer ongelukken onvermijdelijk zijn. Naarmate deze machines volwassen worden tot het punt waarop ze uit zichzelf kunnen rijden zonder menselijke hulp, zullen ze onvermijdelijk situaties tegenkomen waarin een crash zeker is, en de enige vraag is wie er gewond raakt. Dit is de moderne versie van een oude filosofische puzzel die bekend staat als het trolleyprobleem, waarbij een keuze moet worden gemaakt tussen twee slechte uitkomsten. Decennialang hebben filosofen gedebatteerd over hoe een persoon in dergelijke momenten moet handelen, waarbij de waarde van verschillende levens wordt afgewogen en de moraliteit van actie ondernemen versus niets doen. Nu proberen ingenieurs computers te leren deze zelfde keuzes te maken. De uitdaging is niet alleen om een computerprogramma te schrijven dat een reeks rigide regels volgt, maar om een machine te leren menselijke waarden te begrijpen, die vaak rommelig, inconsistent en diep emotioneel zijn.

Een team onderzoekers aan de Stony Brook University zette zich schare om te testen of een machine complexe menselijke waarden direct van mensen kon leren, in plaats van geprogrammeerd te worden met een vaste set instructies. Ze bouwden een systeem dat ze de Ethical Decision Head noemen, een gespecialiseerde softwarelaag die ontworpen is om in te grijpen wanneer een zelfrijdende auto een onmiddellijk dreigend ongeluk ervaart. In deze fracties van seconden moet de auto beslissen of hij zijn koers vervolgt, naar links uitwijkt of naar rechts uitwijkt. De onderzoekers wilden zien of ze dit systeem konden trainen met een methode genaamd reinforcement learning from human feedback. In plaats van de computer precies te vertellen wat hij moet doen, lieten ze hem 200 crashescenario's zien en vroegen ze twee menselijke vrijwilligers om de betere uitkomst te kiezen tussen twee opties. De computer leerde vervolgens deze menselijke keuzes na te bootsen, in de hoop de morele logica erachter te internaliseren.

Om dit idee te testen, creëerden de onderzoekers twee verschillende sets regels voor de computer om te volgen. De eerste was gebaseerd op het utilitarisme, een filosofie die stelt dat de juiste actie degene is die in totaal de meeste levens redt. De tweede was gebaseerd op de ideeën van Immanuel Kant, een filosoof die betoogde dat sommige acties fout zijn, ongeacht de uitkomst, zoals het gebruiken van een persoon als instrument om anderen te redden. De onderzoekers trainden hun systeem om beide benaderingen te leren. Wanneer ze het systeem testten op de Kantiaanse regels, werkte het perfect. De computer leerde snel dat de enige juiste beweging was om nooit een voetganger te raken, wat er ook gebeurde, en hield zich zonder uitzondering aan deze regel. Dit succes bewees dat het trainingssysteem zelf correct werkte en dat de computer in staat was om een strikte morele regel te leren.

Echter, toen de onderzoekers overschakelden naar de utilitaire regels, waren de resultaten verrassend anders. Ze verwachtten dat de computer zou leren hoe hij het totale aantal verwondingen kon minimaliseren door in elk scenario de mathematisch correcte keuze te maken. In plaats daarvan leerde de computer iets heel anders. Na het analyseren van 200 verschillende crashescenario's faalde de computer in bijna de helft van de gevallen om de levensreddende optie te kiezen. In plaats van slachtoffers te minimaliseren, begon de computer een patroon van gedrag te vertonen waarbij hij zichzelf of de passagiers opofferde om te voorkomen dat hij actief een voetganger zou raken. Dit gebeurde omdat de menselijke vrijwilligers die de feedback gaven, niet zo vaak de levensreddende optie kozen als de filosofische regels suggereerden dat ze zouden moeten doen. De mensen hadden de neiging om te verkiezen dat de auto niets deed of zichzelf opofferde, zelfs als dat betekende dat er in totaal meer mensen gewond zouden raken. Ze leken het gevoel te hebben dat actief in iemand sturen erger was dan een tragedie laten gebeuren door een ongeluk, een psychologische neiging die bekend staat als omission bias (verzuimvooroordeel).

De studie onthulde een diepe kloof tussen wat mensen in theorie geloven en wat ze in de praktijk belonen. Wanneer de onderzoekers de menselijke feedback verwijderden en de computer alleen trainden op het strikte wiskundige doel om levens te redden, werd de computer onmiddellijk zeer accuraat en koos hij in meer dan 90 procent van de gevallen het levensreddende pad. Dit bewees dat de computer in staat was om de utilitaire filosofie te leren, maar dat de menselijke feedback hem van dat doel had weggetrokken. De machine faalde niet in het leren van ethiek; het leerde de menselijke ethiek precies zoals mensen die beoefenen, met al hun tegenstrijdigheden en emotionele vooroordelen. De onderzoekers ontdekten dat wanneer we een machine proberen te leren moreel te zijn door mensen te vragen wat zij verkiezen, we de machine wellicht leren inconsistent te zijn, waarbij we onze gevoelens prioriteit geven boven de werkelijke uitkomst.

Deze ontdekking suggereert dat het simpelweg vragen wat mensen willen niet genoeg kan zijn om een werkelijk ethische zelfrijdende auto te bouwen. Als het doel is om een systeem te creëren dat consequent de meeste levens redt, kan het vertrouwen op menselijke feedback de auto in werkelijkheid minder veilig maken, omdat mensen vaak acties verkiezen die op het moment zelf goed voelen, maar die tot slechtere resultaten leiden in het algemeen. De studie beweert niet het probleem te hebben opgelost van hoe men moraliteit in machines programmeert, maar het laat zien dat de weg veel ingewikkelder is dan simpelweg menselijke keuzes kopiëren. Het benadrukt een fundamentele spanning: de waarden die we in ons hoofd houden wanneer we over ethiek nadenken, zijn niet altijd hetzelfde als de keuzes die we maken wanneer we gevraagd worden een echte situatie te beoordelen. Wanneer we bewegen naar een toekomst waarin machines beslissingen over leven en dood nemen, moeten we misschien beslissen of we willen dat ze onze imperfecte menselijke instincten volgen of een strikter, consistenter pakket aan principes.

Het onderzoek maakte gebruik van feedback van slechts twee personen uit een algemene universitaire populatie, wat een kritieke beperking vormt voor de generaliseerbaarheid van de resultaten.