Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models
Dit artikel introduceert het PACT-framework om te evalueren hoe grote taalmodellen culturele normen afwegen tegen persoonlijke voorkeuren, waarbij wordt onthuld dat modellen een rigide, contextafhankelijke culturele handhaving vertonen en er niet in slagen de genuanceerde pluraliteit en onzekerheid te vatten die aanwezig zijn in menselijke sociale oordelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Idee: Het "Sociale Dans"-dilemma
Stel je voor dat je op een dinerfeestje bent in een vreemd land. De gastheer verwacht dat iedereen met de rechterhand eet (een culturele norm). Echter, je bent het meest comfortabel met je linkerhand, en je wilt die eigenlijk heel graag gebruiken (een persoonlijke voorkeur).
Wat moet je doen?
- De regels volgen: Met je rechterhand eten om beleefd te zijn en de cultuur van de gastheer te respecteren.
- Je intuïtie volgen: Met je linkerhand eten omdat dat natuurlijker voor je voelt.
Dit paper vraagt zich af: Wanneer Large Language Models (LLM's) optreden als adviseurs in deze lastige situaties, vertellen ze je dan dat je de regels moet volgen, of vertellen ze je dat je je intuïtie moet volgen?
De onderzoekers noemen dit het PACT-framework (Personal-Preference and Cultural-Norm Trade-off). Ze bouwden een enorme "test" met honderden scenario's, zoals het dinerfeestje, om te zien hoe verschillende AI-modellen omgaan met dit touwtrekken.
Belangrijkste Bevindingen (De "Plotwendingen")
1. Niet alle AI's zijn hetzelfde (De "Persoonlijkheidstest")
Net zoals mensen verschillende persoonlijkheden hebben, hebben AI-modellen ook verschillende "morele kompassen."
- De "Regelvolgers": Sommige modellen (zoals Mistral en Qwen) zijn als strenge leraren. Ze zeggen bijna altijd: "Volg de culturele norm!" Ze laten persoonlijke voorkeuren zelden winnen.
- De "Vrije Geesten": Andere modellen (zoals Llama en GPT) zijn meer als openhartige vrienden. Ze zijn veel eerder geneigd om te zeggen: "Het is oké om te doen wat goed voelt voor jou," zelfs als dat een lokale regel overtreedt.
- De "Middenweg": Sommige modellen zitten er precies tussenin, afhankelijk van de situatie.
Analogie: Stel je een groep reizigers voor. De ene reiziger (Mistral) volgt de gids altijd strikt op. Een andere reiziger (Llama) zegt: "Laten we gewoon doen wat leuk voelt." Het paper vond dat de AI-modellen zich precies gedragen als deze verschillende soorten reizigers.
2. Waar je bent, is belangrijker dan wie je bent
De onderzoekers testten of de AI gaf om de leeftijd of het geslacht van de betrokken personen (bijv. "Moet een oudere man de regel volgen, maar een jonge vrouw de regel breken?").
- Het resultaat: De AI gaf nauwelijks om leeftijd of geslacht.
- De echte drijfveer: Het land matterde het meest.
- Als het scenario zich afspeelde in de VS of het VK, was de AI eerder geneigd om te zeggen: "Doe wat je wilt."
- Als het scenario zich afspeelde in delen van Azië, het Midden-Oosten of Afrika, was de AI veel strenger en zei: "Volg de lokale regels."
Analogie: Denk aan de AI als een weervoorspeller. Het geeft niet echt om het feit of je een rood of blauw shirt draagt (demografie); het geeft alleen om het feit of je in een woestijn of in een regenwoud staat (het land). De locatie bepaalt het "weer" van het advies.
3. De "Training" verandert de persoonlijkheid
Het paper keek naar "Base" modellen (de ruwe AI) versus "Instruct" modellen (de AI nadat deze getraind is om met mensen te chatten).
- De verrassing: Training maakte niet alle AI's op dezelfde manier "menselijker".
- Voor sommige modellen maakte training hen bereidwilliger om de regels te breken.
- Voor andere modellen maakte training hen juist strenger in het volgen van de regels.
- Waarom? Het hangt ervan af wat de ontwikkelaars de AI tijdens de training lieten prioriteren (bijv. "Wees behulpzaam" versus "Wees veilig").
Analogie: Stel je twee studenten voor die hetzelfde eindexamen maken. De ene student studeert hard en wordt een strikte regelvolger. De andere student studeert hard en wordt een creatieve probleemoplosser. De "training" veranderde hen, maar in tegenovergestelde richtingen.
4. De AI begrijpt "Misschien" niet
Dit is misschien wel de belangrijkste bevinding. In het echte leven, wanneer mensen voor deze dilemma's staan, zijn ze vaak het oneens. Sommige mensen in de kamer kunnen zeggen: "Volg de regel," terwijl anderen zeggen: "Doe wat je wilt." Er is geen enkel "juist" antwoord.
- Het probleem van de AI: De AI probeert één "winnaar" te kiezen. Het kiest de optie die de meeste mensen zouden kiezen (de meerderheid).
- De gemiste nuance: De AI slaagt er niet in om de onzekerheid te vangen. Het realiseert zich niet dat mensen eigenlijk verdeeld zijn. Het gedraagt zich alsof het het antwoord weet, zelfs wanneer mensen verward zijn.
Analogie: Stel je een muntworp voor. Als 51% van de mensen "Kop" zegt en 49% "Munt", weet een mens dat het een beslissing op het nippertje is. De AI roept echter zelfverzekerd "Kop!" en doet alsof het een feit is. Het mist het feit dat de kamer eigenlijk verdeeld is.
5. Het "Thuisvoordeel"
Wanneer de onderzoekers mensen vroegen om scenario's uit hun eigen land te beoordelen, waren de mensen onderling het meest oneens.
- Waarom? Wanneer je in je eigen cultuur bent, weet je dat de regels flexibel zijn. Je weet dat er uitzonderingen zijn.
- De blinde vlek van de AI: De AI behandelt culturele normen vaak als rigide wetten, zelfs in de culturen waar mensen weten dat ze eigenlijk flexibel zijn.
Analogie: Als je een lokale bewoner naar de verkeersregels in hun stad vraagt, zullen ze misschien zeggen: "Nou, iedereen rijdt om 2 uur 's nachts wel eens door rood, maar technisch gezien mag het niet." Als je een toerist (of een AI) vraagt, zeggen ze: "Rood licht betekent stoppen, punt uit." De AI mist de "lokale nuance."
Samenvatting: Wat betekent dit?
Het paper concludeert dat we niet simpelweg een AI kunnen vragen: "Wat is het juiste om te doen in deze cultuur?", omdat:
- Verschillende AI's geven verschillende antwoorden gebaseerd op hun interne "persoonlijkheden."
- AI's zijn te rigide. Ze behandelen culturele normen als onbreekbare wetten, terwijl mensen weten dat normen vaak onderhandelbaar zijn.
- AI's missen de onenigheid. Ze kiezen één antwoord, maar in echte sociale situaties zijn mensen het vaak niet eens over wat het antwoord is.
De les: Als we willen dat AI een goede adviseur is voor sociale situaties, moeten we stoppen met het vragen om één enkel "correct" antwoord. In plaats daarvan moeten we de AI leren dat er soms geen enkel juist antwoord is — alleen een rommelig, menselijk debat.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.