Toward a Theory of Value in AI Alignment
Door 94 onderzoeksartikelen over waarde-afstemming te analyseren, bekritiseert deze studie de afhankelijkheid van het vakgebied van ongedefinieerde voorkeuren en synthetische data, waarbij wordt betoogd dat dergelijke benaderingen menselijke waarden versimpelen en het risico lopen diverse perspectieven op hoe AI werkelijk kan aansluiten bij menselijke behoeften af te sluiten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin we digitale geesten bouwen—superintelligente computerprogramma's die verhalen kunnen schrijven, wiskundige problemen kunnen oplossen en zelfs gesprekken kunnen voeren. Dit zijn niet zomaar eenvoudige rekenmachines; het zijn als gigantische, hongerige bibliotheken die bijna alles op het internet hebben gelezen. Maar hier zit de crux: alleen omdat een bibliotheek elk boek heeft gelezen, betekent dit niet dat ze weet welke verhalen vriendelijk zijn, welke feiten waar zijn, of hoe je een goede vriend bent. Dit is de kern van een vakgebied genaamd AI-alignment (AI-afstemming). Beschouw dit als de kunst van het leren aan deze digitale geesten om onze menselijke doelen en moraal te delen, in plaats van precies te doen wat hen wordt gezegd op een manier die ons per ongeluk schade berokkent.
Om het probleem te begrijpen, moet je weten wat Large Language Models (LLM's) zijn. Dit zijn de specifieke soorten AI die de chatbots aandrijven die je misschien hebt gebruikt. Ze werken door steeds weer het volgende woord in een zin te voorspellen. Om ze "veilig" te maken, gebruiken onderzoekers een techniek genaamd Reinforcement Learning from Human Feedback (RLHF). Stel je een leraar voor die een leerling een gouden ster geeft voor een goed antwoord en een rood kruis voor een slecht antwoord. De AI leert meer gouden sterren te krijgen door te raden wat de leraar leuk vindt. De grote vraag die deze paper aanstuurt is: Wat leren we deze AI's eigenlijk te waarderen? Leren we ze om behulpzaam, eerlijk en ongevaarlijk te zijn? Of leren we ze per ongeluk iets veel vreemders?
De Grote "Waarde"-Verwarring
Een team van onderzoekers besloot achter de gordijnen te kijken van 94 wetenschappelijke artikelen geschreven door de mensen die proberen dit alignment-probleem op te lossen. Ze wilden een simpele maar lastige vraag beantwoorden: Wat bedoelen deze onderzoekers eigenlijk als ze zeggen "menselijke waarden"?
Je zou denken dat als je een robot bouwt om een goed persoon te zijn, je eerst gaat zitten om te definiëren wat "goed" betekent. Maar de auteurs van deze paper ontdekten iets verrassends: De meeste onderzoekers definiëren het helemaal niet.
Sterker nog, 79% van de papers die ze bekeken, legde nooit echt uit wat ze met "waarden" bedoelden. In plaats daarvan vervingen ze het woord "waarden" door het woord "voorkeuren". Het is alsof je een taart probeert te bakken maar "bloem" de naam "spul" geeft, en dan er simpelweg vanuit gaat dat iedereen weet dat je bloem bedoelt. De onderzoekers ontdekten dat in de wereld van AI, "waarden" (zoals rechtvaardigheid, vriendelijkheid of waarheid) vaak precies hetzelfde worden behandeld als "voorkeuren" (zoals "ik geef de voorkeur aan chocolade-ijs boven vanille-ijs").
De "Voorkeur"-Valstrik
De paper betoogt dat deze verwisseling gevaarlijk is omdat het leunt op een oud idee uit de economie genaamd Utility Maximization (nutmaximalisatie). Stel je een robot voor die denkt dat het enige dat ertoe doet in het universum het behalen van de hoogst mogelijke score in een spel is. In dit scenario is een mens slechts een machine die altijd probeert de meeste "punten" (of "nut") te halen voor elke keuze die hij maakt.
De auteurs suggereren dat dit beeld een beetje te simpel is. Echte mensen zijn rommelig. Soms kiezen we het "foute" ding omdat we moe zijn, of omdat we meer om onze vrienden geven dan om winnen, of omdat onze waarden veranderen afhankelijk van de dag. Maar het AI-alignment veld lijkt een wereld te bouen waarin mensen perfecte, logische robots zijn die altijd de beste keuze maken om hun geluk te maximaliseren.
De paper wijst erop dat 87% van de onderzoeken die zij hebben beoordeeld, deze "maximaliseer de score"-aanpak gebruikt. Ze behandelen menselijke waarden alsof het statische, onveranderlijke getallen zijn die gemeten en in een computer kunnen worden ingevoegd. De auteurs argumenteren dat dit voorbijgaat aan het feit dat waarden eigenlijk zijn als een levende tuin—ze groeien, ze veranderen met de seizoenen, en ze zien er anders uit in verschillende culturen.
Het "Wie" en "Hoe" Probleem
Nog een groot probleem dat de paper benadrukt, is de vraag van wiens waarden de AI leert. Als je een computer vraagt om "menselijke waarden" te leren, moet je vragen: Welke mensen?
De onderzoekers vonden dat 91% van de papers niet specifiek maakte welke groep mensen zij probeerden te vertegenken. Ze deden alsof "menselijke waelden" één enkel, universeel ding waren waar iedereen het over eens was. Maar in werkelijkheid kan een tiener in Tokio iets heel anders waarderen dan een boer in Kenia.
Om het nog verwarrender te maken, merkt de paper op dat onderzoekers steeds minder echte mensen om hun mening vragen. In plaats daarvan gebruiken ze synthetische data of andere AI-modellen om antwoorden te beoordelen. Het is alsof je een nieuwe student probeert te onderwijzen door hem zijn eigen huiswerk te laten nakijken, of door een robot te vragen wat een mens zou denken. De auteurs maken zich zorgen dat door echte mensen te vervangen door "autoraters" (AI-beoordelaars), we de deur sluiten voor de rommelige, diverse en prachtige realiteit van wat het betekent om mens te zijn.
De "Dunne" vs. "Dikke" Beschrijving
De auteurs merkten ook op dat de meeste papers waarden op een "dunne" manier beschrijven. Een "dunne" beschrijving is als zeggen: "Wees aardig." Het is een regel zonder verhaal. Een "dikke" beschrijving is als zeggen: "Wees aardig omdat je grootmoeder je heeft geleerd dat vriendelijkheid een gemeenschap opbouwt waarin iedereen zich veilig voelt."
De paper vond dat 66% van de studies deze "dunne" beschrijvingen gebruikte. Ze behandelden waarden als eenvoudige instructies om op te volgen, in plaats van diepe, culturele verhalen die uitleggen waarom we doen wat we doen. Slechts 3% van de papers probeerde waarden op deze diepe, "dikke" manier te begrijpen, door te kijken naar hoe cultuur en context bepalen waar mensen om geven.
De Kern van het Verhaal
Dus, wat is de belangrijkste conclusie? Het paper suggereert dat de huidige manier waarop we proberen AI af te stemmen op menselijke waarden, gebouwd is op een wankele fundering. Door complexe menselijke moraal te behandelen als eenvoudige wiskundige problemen (het maximaliseren van voorkeuren), bouwen we misschien AI-systemen die technisch gezien "aligned" zijn met een zeer smalle, robotachtige versie van de mensheid, maar de essentie van wat ons menselijk maakt volledig missen.
De auteurs zeggen niet dat we moeten stoppen met het proberen veilig te maken van AI. In plaats daarvan pleiten ze voor een verandering in het recept. Ze willen dat onderzoekers stoppen met doen alsof menselijke waarden slechts een lijst met voorkeuren zijn die geoptimaliseerd moeten worden. Ze willen dat we experts uit de antropologie, filosofie en psychologie erbij halen om ons te helpen begrijpen dat waarden dynamisch, cultureel en diep verbonden zijn met de echte, rommelige wereld waarin we leven.
Kortom, als we willen dat AI echt in lijn is met ons, moeten we stoppen met het aanleren aan AI om een perfecte rekenmachine te zijn en beginnen met het aanleren om het ingewikkelde, veranderende en wonderbaarlijke verhaal van het mens-zijn te begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.