Histoires Morales: A French Dataset for Assessing Moral Alignment
Dit artikel introduceert "Histoires Morales", een cultureel aangepaste Franse dataset afgeleid van Moral Stories om het gebrek aan middelen voor het beoordelen van morele afstemming in Franstalige taalmodellen aan te pakken, waarbij wordt aangetoond dat hoewel deze modellen doorgaans standaard aan morele normen voldoen, ze nog steeds kwetsbaar blijven voor manipulatie door optimalisatie van gebruikersvoorkeuren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Grote taalmodellen zijn krachtige instrumenten die kunnen schrijven, vertalen en conversaties kunnen voeren door het volgende woord in een zin te voorspellen op basis van patronen die ze hebben geleerd uit enorme hoeveelheden tekst. Naarmate deze systemen meer geïntegreerd raken in het dagelijks leven, is een kritische vraag ontstaan: begrijpen ze menselijke waarden? Specifiek: kunnen ze het onderscheid maken tussen goed en kwaad op dezelfde manier als mensen dat doen? Hoewel onderzoekers aanzienlijke vooruitgang hebben geboekt bij het testen van deze modellen in het Engels en Chinees, bleef er een grote kloof bestaan voor het Frans, de vijfde meest gesproken taal ter wereld. Zonder een manier om te meten hoe deze modellen omgaan met moreel redeneren in het Frans, is het moeilijk te weten of ze ethisch zullen handelen voor de honderden miljoenen mensen die deze taal spreken. Deze onzekerheid is van belang omdat een model dat er niet in slaagt culturele nuances of morele normen te begrijpen, schadelijk advies kan geven of vooroordelen kan versterken op een manier die natuurlijk aanvoelt voor de machine, maar fout voor de gebruiker.
Om deze kloof te dichten, heeft een team van onderzoekers uit Frankrijk een nieuwe bron genaamd HISTOIRESMORALES ontwikkeld. Deze dataset bestaat uit 12.000 korte verhalen geschreven in het Frans, die elk een sociale situatie beschrijven waarin een persoon voor een keuze staat tussen een morele actie en een immorele actie. De verhalen bestrijken een breed scala aan alledaagse scenario's, van hoe men vrienden en familie behandelt tot hoe men omgaat met geld of dieren. Zo kan één verhaal bijvoorbeeld beschrijven dat een persoon een telefoontje van zijn ouders negeert om met vrienden uit te gaan, terwijl een ander kan beschrijven dat iemand een dierenarts betaalt voor zijn werk versus iemand die weigert te betalen. Elk narratief bevat de context, de intentie van het personage, de actie die zij ondernemen en het gevolg van die actie. De onderzoekers hebben deze verhalen niet simpelweg vertaald vanuit het Engels; ze hebben ze zorgvuldig aangepast om aan de Franse cultuur te voldoen. Dit betekende het veranderen van namen zoals "John" naar "Jean", het omzetten van valuta van dollars naar euro's, en het vervangen van Amerikaanse activiteiten zoals honkbal door meer gangbare Franse bezigheden zoals tennis spelen. Ze zorgden er ook voor dat idiomen en sociale signalen natuurlijk aanvoelden voor een moedertaalspreker van het Frans, in plaats van te klinken als een directe, ongemakkelijke vertaling.
Het team heeft deze dataset opgebouwd door te beginnen met een bestaande collectie Engelse verhalen en gebruik te maken van een combinatie van automatische vertaling en menselijke controle. Ze gebruikten eerst een taalmodel om de tekst te vertalen, en vroegen vervolgens moedertaalsprekers van het Frans om fouten te corrigeren en te waarborgen dat de culturele context accuraat was. Dit proces omvatte meerdere rondes van controle, waarbij menselijke annotatoren evalueerden of de vertalingen de oorspronkelijke betekenis behielden, de juiste grammatica gebruikten en culturele referenties op een passende manier aanpasten. De onderzoekers ontdekten dat het simpelweg vertalen van woorden niet genoeg was; het model miste vaak de toon of de culturele zwaarte van een situatie. Door specifieke voorbeelden van fouten en correcties aan de vertaalinstructies toe te voegen, verbeterden ze de kwaliteit van de uiteindelijke dataset aanzienlijk. Het resultaat is een collectie verhalen die authentiek aanvoelt voor Franstaligen, waardoor onderzoekers kunnen testen hoe goed kunstmatige intelligentie het morele weefsel van de Franse samenleving begrijpt.
Met behulp van deze nieuwe dataset testten de onderzoekers verschillende grote taalmodellen om te zien hoe ze presteerden op taken van moreel redeneren. Ze vroegen de modellen om te voorspellen of een bepaalde actie waarschijnlijk zou plaatsvinden of om te kiezen tussen een morele en een immorele optie. De resultaten lieten zien dat de modellen over het algemeen weliswaar in lijn waren met menselijke morele normen, maar dat ze niet perfect waren. Sterker nog, de modellen presteerden iets beter bij het verwerken van de verhalen in het Engels dan in het Frans, wat suggereert dat hun trainingsdata in het Engels rijker of meer gebalanceerd is. Nog verrassender was dat de onderzoekers ontdekten dat deze morele afstemmingen fragiel waren. Door een techniek genaamd direct preference optimization te gebruiken, wat inhoudt dat het model een klein aantal voorbeelden van gewenst gedrag krijgt getoond, konden ze het morele kompas van het model gemakkelijk verschuiven. Met slechts 84 voorbeelden konden de modellen worden getraind om de voorkeur te geven aan immorele acties boven morele acties, of andersom. Dit geeft aan dat de modellen geen diep, onveranderlijk begrip hebben van goed en kwaad; in plaats daarvan is hun gedrag zeer gevoelig voor de data waaraan ze worden blootgesteld.
De studie concludeert dat hoewel huidige taalmodellen over het algemeen nuttig en afgestemd zijn op menselijke waarden, hun morele redeneren niet robuust is, vooral wanneer ze opereren in talen andere dan het Engels. Het vermogen om de morele houding van een model gemakkelijk te beïnvloeden met een kleine hoeveelheid trainingsdata suggereert dat deze systemen nog niet betrouwbaar genoeg zijn om zonder nauwlettend toezicht complexe ethische beslissingen te vertrouwen. De creatie van HISTOIRESMORALES biedt een essentieel hulpmiddel voor onderzoekers om deze systemen te blijven monitoren en te verbeteren, om ervoor te zorgen dat ze, naarmate ze bekwaamder worden, ook betrouwbaarder worden over verschillende culturen en talen heen. Het werk benadrukt dat het bouwen van ethische kunstmatige intelligentie meer vereist dan alleen het vertalen van code; het vereist een diep begrip van de culturele en morele contexten waarin deze tools zullen worden gebruikt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.