Personalization, Personas, and Forecasting in Value Alignment
Deze studie toont aan dat de framing van prompts — specifiek of modellen worden gevraagd om te personaliseren, een rol te spelen of het perspectief van derden te voorspellen — de culturele waardeverdeling met menselijke populaties significant verandert, waarbij het voorspellen vanuit het perspectief van derden over het algemeen de meest stabiele en nauwkeurige resultaten oplevert over diverse talen en waardedimensies heen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je praat met een superintelligente robot die bijna elk boek heeft gelezen dat ooit geschreven is. Je zou kunnen denken dat deze robot een enkele, vaste persoonlijkheid heeft, zoals een mens met één set overtuigingen. Maar in de wereld van Kunstmatige Intelligentie zijn deze robots meer als kameleon. Ze kunnen hun "stem" en "meningen" veranderen, afhankelijk van hoe je ze een vraag stelt. Dit studieveld wordt waarde-afstemming (value alignment) genoemd, wat gewoon een deftige manier is om te vragen: "Komt het antwoord van deze robot overeen met wat echte mensen werkelijk denken?"
Om dit te begrijpen, moet je weten over drie manieren waarop we met deze robots kunnen praten. Ten eerste is Personalisatie: dat is alsof je tegen de robot zegt: "Hé, ik ben een persoon uit Brazilië; wat vind jij ervan?" De robot probeert een behulpzame vriend voor jou te zijn. Ten tweede is Rolspelen (of Persona's): dat is alsof je een kostuum aantrekt. Je zegt: "Doe alsof je een persoon uit Brazilië bent," en de robot speelt de rol. Ten derde is Voorspellen (Forecasting): dat is als een detective zijn. Je vraagt: "Wat zou een persoon uit Brazilië antwoorden?", zonder de robot te vragen om die persoon te zijn. Lange tijd vroegen wetenschappers zich af of deze drie manieren van praten eigenlijk hetzelfde waren. Als je een robot vraagt om een Braziliaan te zijn, of om met een Braziliaan te praten, of om te raden wat een Braziliaan denkt, zou de robot dan precies hetzelfde antwoord moeten geven?
Een team van onderzoekers besloot dit idee op de proef te stellen met behulp van een enorme, echte enquête genaamd de World Values Survey, die miljoenen mensen over de hele wereld ondervraagt over hun overtuigingen over religie, werk en de samenleving. Ze vroegen vier van de slimste AI-robots ter wereld om 101 van deze enquêtevragen te beantwoorden in 13 verschillende talen en landen. Ze probeerden alle drie de methoden — praten met een gebruiker, rolspelen en voorspellen — om te zien welke methode ervoor zorgde dat de antwoorden van de robot het beste overeenkwamen met echte menselijke gegevens.
Hier is de wending die ze vonden: Hoe je de vraag stelt, verandert het antwoord. De onderzoekers ontdekten dat deze drie methoden niet uitwisselbaar zijn. Sterker nog, de manier waarop je de prompt formuleert, is een enorme factor in de vraag of de robot klinkt als een echte mens uit dat land of niet.
De meest verrassende bevinding was dat voorspellen de duidelijke winnaar was. Wanneer de onderzoekers de robots vroegen: "Wat zou een persoon uit [Land X] zeggen?", kwamen de robots veel dichter bij de echte menselijke antwoorden dan wanneer ze werden gevraagd om die persoon te zijn of om met die persoon te praten. Het is alsof de robots beter zijn in het zijn van een slimme waarnemer die raadt wat iemand anders denkt, dan in het daadwerkelijk spelen van die persoon. Voor drie van de vier robots die ze testten, was deze "raden"-methode de sterkste manier om cultureel accurate antwoorden te krijgen.
De robots deden het echter niet overal goed. De onderzoekers vonden dat de robots erg goed waren in het oppikken van grote, duidelijke culturele verschillen, zoals hoe belangrijk religie is of hoe mensen naar genderrollen kijken. Maar wanneer het kwam bij lastigere, complexere onderwerpen zoals vertrouwen in de overheid, democratie of hoe goed instituties functioneren, hadden de robots moeite. Zelfs wanneer ze probeerden te raden, misten ze de plank vaak bij deze subtiele kwesties.
De studie toonde ook aan dat de robots hun antwoorden niet zomaar willekeurig verschoven; ze verschoven ze in specifieke richtingen. Bijvoorbeeld, wanneer het ging over religie, bewogen de antwoorden van de robots sterk richting de echte menselijke data. Maar voor vragen over corruptie of politiek vertrouwen bleven de antwoorden vaak steken in de standaard "globale" modus van de robot of bewogen ze zelfs weg van wat echte mensen denken.
Dus, wat betekent dit? Het suggereert dat als je wilt dat een AI een specifieke cultuur begrijpt, je de AI niet alleen kunt vertellen om zich als een lokale bewoner te "gedragen". Je krijgt misschien betere resulten door het te vragen om te voorspellen wat een lokale bewoner zou denken. Maar zelfs dan is de robot geen perfecte spiegel van de mensheid; hij is beter in het zien van de grote, luidruchtige culturele signalen dan in de stille, complexe signalen. De onderzoekers concluderen dat hoe we deze vragen stellen niet slechts een cosmetische keuze is — het verandert fundamenteel wat de robot zegt en hoe goed hij aansluit bij de echte wereld.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.