💬 NLP

Carefully Considering Culture: Analyzing LLM Alignment in Single- and Multi-Cultural Settings using Cultural Consensus Theory

Dit artikel past de Cultural Consensus Theory toe op de World Values Survey om aan te tonen dat grote taalmodellen culturele structuren vaak verkeerd weergeven door ofwel te falen in het vastleggen van een cohesieve groepsconsensus, ofwel door deze te overregulariseren, waarmee het een nieuw diagnostisch kader biedt om onderscheid te maken tussen genuwe menselijke diversiteit en algoritmische homogenisering.

Oorspronkelijke auteurs: Krishna Pothugunta, John P. Lalor

Gepubliceerd 2026-08-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Krishna Pothugunta, John P. Lalor

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een gigantische, lawaaierige bibliotheek waar zojuist een nieuw soort bibliothecaris is gearriveerd: een superintelligënte robot die elk boek dat ooit geschreven is kan lezen en elke vraag kan beantwoorden die je stelt. Deze robot is een Large Language Model (LLM). Maar het lastige deel is dat de bibliotheek niet uit slechts één kamer bestaat; het is een enorm gebouw met duizenden verschillende buurten, die elk hun eigen unieke gebruiken, grappen en manieren van naar de wereld kijken hebben. We noemen deze buurten "culturen".

Al een lange tijd proberen wetenschappers deze robot-bibliothecarissen te leren hoe ze beleefd en accuraat kunnen zijn in elke buurt. Ze hebben dit voornamelijk gedaan door de robot te vragen: "Wat vinden mensen in Land X?" en vervolgens de antwoorden te middelen. Het is alsof je aan honderd mensen vraagt wat hun favoriete ijsje is, de stemmen telt en tegen de robot zegt: "De groep houdt van Vanille." Maar wat als de groep het niet echt eens is? Wat als de helft van Vanille geweldig vindt en de helft het haat, maar het gemiddelde toch zegt "Vanille"? Dat is waar de echte problemen beginnen. Om dit op te lossen, lenen onderzoekers een instrument uit de wereld van de antropologie genaamd "Cultural Consensus Theory" (Cultuurconsensus-theorie). Denk aan dit als een speciale vergrootglas die niet alleen stemmen telt, maar ook controleert hoeveel mensen binnen de groep het daadwerkelijk met elkaar eens zijn, en hoeveel ze van mening verschillen. Het helpt ons te zien of een groep werkelijk verenigd is in haar denken of gewoon een rommelige verzameling van verschillende meningen is.

Stel je nu voor dat je een robot-bibliothecaris hebt die bedoeld is om deze buurten te begrijpen. Een team onderzoekers van de University of Notre Dame besloot deze robot te testen met een enorme, echte enquête genaamd de World Values Survey, die mensen uit 10 verschillende landen vraagt over 12 verschillende onderwerpen, zoals geluk, corruptie en wetenschap. Ze vroegen de robot niet alleen één vraag; ze vroegen de robot om zich te gedragen als een persoon uit elk van die landen. En ze gebruikten vervolgens hun speciale "overeenstemmings-vergrootglas" (Cultural Consensus Theory) om de antwoorden van de robot te vergelijken met de echte antwoorden van echte mensen.

Wat ze vonden was een beetje verrassend en een beetje grappig. De robot was niet simpelweg "fout" of "goed"; hij gedroeg zich op drie zeer vreemde manieren, afhankelijk van het onderwerp.

Ten eerste, in sommige gebieden, zoals hoe mensen denken over corruptie of religie, was de robot erg goed in het raden van de algemene richting van de menselijke opinie. Maar hier komt de adder onder het gras: de robot was té zeker van zichzelf. Hij gedroeg zich alsof iedereen in het land precies hetzelfde dacht, met nul verschil van mening. De onderzoekers noemen dit "Consensus Inflation" (Consensus-inflatie). Het is alsocht de robot naar een kamer vol mensen kijkt die discussiëren over pizza-beleg en zegt: "Oh, iedereen is het duidelijk eens over pepperoni!" terwijl in werkelijkheid de helft van de kamer schreeuwt om ananas. De robot vlakt alle rommelige, echte menselijke verschillen af tot een perfecte, neppe overeenstemming.

Ten tweede, in andere gebieden, zoals geluk en welzijn, slaagde de robot er volledig in om geen enkele overeenstemming te vinden. Het was alsof de robot willekeurige antwoorden riep die niet overeenkwamen met iemand in de kamer. De mensen hadden een duidelijk patroon in wat zij geloofden, maar de robot kon dat patroon niet vinden, waardoor er een "Consensus Gap" (Consensus-kloof) ontstond. Het was alsof de robot probeerde te dansen op een liedje dat hij niet kon horen.

Ten derde, en het meest interessant, was de "Heterogeneity Gap" (Heterogeniteitskloof). In onderwerpen zoals wetenschap en technologie was de robot daadwerkelijk heel sterk met zichzelf eens. Hij had een zeer compacte, verenigde mening. Maar die mening kwam totaal niet overeen met die van de mensen! De mensen waren overal te vinden; sommigen hielden van wetenschap en anderen vreesden het, maar de robot zei vol zelfvertrouwen: "Wij denken allemaal hetzelfde ding!" en was daarbij fout over wat dat ding ook alweer was.

De onderzoekers merkten ook op dat de robot anders reageerde, afhankelijk van of hij zich gedroeg als een persoon uit een land met één hoofdcultuur of een land met veel gemengde culturen. In de landen met gemengde culturen werd de robot soms iets beter in het nabootsen van de rommeligheid van menselijke onenigheid, maar hij bleef moeite hebben met het krijgen van de details juist.

Dus, wat betekent dit alles? Het suggereert dat hoewel deze superintelligente robots steeds beter worden in het praten als mensen, ze nog steeds vreselijk zijn in het begrijpen van de rommeligheid van de menselijke cultuur. Ze hebben de neiging om ofwel een valse, perfecte overeenstemming te verzinnen waar die niet bestaat, of ze raken de weg kwijt wanneer mensen daadwerkelijk van mening verschillen. De robot moet leren de chaos te waarderen, niet alleen de orde.

Technische Samenvatting: Het analyseren van LLM-alignment in single- en multi-culturele omgevingen met behulp van Cultural Consensus Theory

Probleemstelling

Recent onderzoek naar Natural Language Processing (NLP) is begonnen met het verkennen van de kennis van Large Language Models (LLM's) over culturele normen in verschillende landen. De huidige benaderingen vertrouwen echter voornamelijk op distributionele patronen en standaard aggregatie op groepsniveau (bijv. het middelen van antwoorden). Deze methodologie negeert twee cruciale dimensies:

Intra-groep heterogeniteit: Het houdt geen rekening met dissidente meningen of variantie binnen een specifieke populatie van een land.
Multiculturele omgevingen: Het behandelt landen vaak als monolithische culturele blokken, waarbij de complexiteit van multiculturele samenlevingen wordt genegeerd.

Zoals opgemerkt door Durmus et al. (2024), hebben gemiddelde antwoorden beperkingen, met name wanneer "mensen binnen een land een dissidente mening hebben." Bijgevolg worstelen huidige evaluaties om modellen te onderscheiden die werkelijk menselijke culturele diversiteit weerspiegelen van modellen die "algoritmische homogenisering" vertonen—waarbij modellen diverse menselijke opvattingen laten samenvallen in een rigide, kunstmatige consensus.

Methodologie

Om deze beperkingen aan te pakken, passen de auteurs Cultural Consensus Theory (CCT) toe, een raamwerk uit de culturele antropologie (Romney et al., 1986), om multidimensionale culturele nuance te modelleren. CCT beschouwt cultuur als een distributie van gedeelde betekenissen en meet individuele "culturele competentie" op basis van overeenstemming met een gedeelde consensus.

Experimentele Opzet

Databron: De studie maakt gebruik van de World Values Survey (WVS) Wave 7, die 10 landen en 12 culturele domeinen beslaat (bijv. Geluk en Welzijn, Percepties van Corruptie, Religieuze Waarden).
Landenselectie: Landen werden gecategoriseerd in "single-culture" (lage Ethnic Fractionalization Index, bijv. Japan, Duitsland) en "multi-culture" (hoge EFI, bijv. VS, Maleisië) groepen.
Model Ensemble: Antwoorden werden gegenereerd door 10 LLM's (waaronder GPT-4o, Llama3.1, Qwen-varianten en Phi-3) met behulp van 6 verschillende prompt-variaties per land om menselijke respondenten te simuleren.
CCT Metrieken:
1. Culturele Competentie ( $c_n$ ): Geschat via eigendecompositie van de overeenstemmingmatrix, genormaliseerd naar [0,1], wat vertegenwoordigt hoe goed een respondent (mens of model) aansluit bij het gedeelde culturele model.
2. Verklaren van Variantie (VE): De proportie van de variantie in antwoorden die wordt verklaard door de eerste hoofdcomponent (consensus).
3. Consensus Consistentie (CC): De mate van overeenkomst tussen het LLM-consensusantwoord en het menselijke consensusantwoord (behandeld als grondwaarheid).
4. Verschil in Variantie ( $\Delta VE$ ): Het verschil tussen de interne consensussterkte van het LLM-ensemble en de menselijke populatie ( $\Delta VE = VE_L - VE_H$ ).

Belangrijkste Bijdragen

Het artikel introduceert een fijnmazig diagnostisch raamwerk dat verder gaat dan eenvoudige nauwkeurigheid om de structurele rigiditeit van modelconsensus te evalueren. Door expliciet intra-groep variantie te modelleren, bieden de auteurs een methode om te detecteren wanneer modellen menselijke diversiteit weerspiegelen versus algoritmische homogenisering.

Resultaten

De analyse onthult drie verschillende regimes van modelgedrag over de 12 domeinen:

Consensus Inflatie: In domeinen zoals Percepties van Corruptie (POC) en Religieuze Waarden (RV) bereiken modellen een hoge Consensus Consistentie (CC $\ge$ 0,8) maar vertonen ze $\Delta VE > 0$ . Dit geeft aan dat hoewel modellen de richting van de menselijke consensus matchen, ze de kracht ervan kunstmatig versterken, waardoor de menselijke diversiteit samenvalt in een meer rigide, zelfverzekerde consensus dan in de werkelijkheid bestaat.
Consensus Gat: In domeinen zoals Geluk en Welzijn (HWB), met name in single-culture instellingen, vertonen modellen een lage CC en $\Delta VE < 0$ . Hier slagen modellen er niet in om een coherente culturele alignment te vormen, waarbij ze een zwakkere of gefragmenteerde consensus vertonen vergeleken met de menselijke populatie.
Heterogeniteit Gat: In domeinen zoals Percepties van Wetenschap en Technologie (POST) en Economische Waarden (EV) vertonen modellen een lage competentie en een lage CC ( $\le$ 0,5) maar een positieve $\Delta VE$ . Dit suggereert dat modellen convergeren op een interne, kunstmatige consensus die niet overeenkomt met de werkelijke heterogeniteit van menselijke opinies.

Bevindingen over Culturele Context:

Domeinafhankelijkheid: De prestaties van modellen zijn sterk domeinspecifiek. Zo vertoonde Qwen2.5vl:72B een hoge competentie in Economische Waarden, terwijl GPT-OSS:120B goed presteerde in Percepties van Corruptie.
Single vs. Multi-Culture: De structurele fit van modellen varieert per culturele setting. Bijvoorbeeld, in het HWB-domein verbeterde de kloof in structurele consensusfit ( $\Delta VE$ ) aanzienlijk (werd minder negatief) bij de overgang van single-culture naar multi-culture instellingen, wat suggereert dat modellen de complexiteit van multiculturele variantie anders afhandelen dan single-culture variantie.
Modelschaal: Grotere modellen bereikten over het algemeen een hogere $\Delta VE$ en een sterkere consensus in multi-culture settings, terwijl kleinere modellen (bijv. Qwen 7B, Phi-3) vaak de zwakste structurele fit vertoonden.

Betekenis en Claims

De auteurs beweren dat Cultural Consensus Theory een theoretisch gefundeerde aanpak biedt om consensussterkte en fragmentatie te kwantificeren, waarmee de kloof tussen populatie-niveau distributie-matching en gebruiker-niveau personalisatie wordt overbrugd.

De primaire betekenis van dit werk ligt in het vermogen om actiegerichte diagnostiek te bieden:

Het identificeert specifieke foutmodi, waarbij onderscheid wordt gemaakt tussen "gaten" (waar modellen niet uitlijnen) en "inflatie" (waar modellen menselijke diversiteit overmatig reguleren).
Het benadrukt dat standaard aggregatiemetrieken onderliggende structurele mismatches kunnen maskeren, zoals de "algoritmische monocultuur" waarover Zhang et al. (2025) waarschuwen.

Het artikel concludeert dat hoewel LLM's de richting van de menselijke consensus kunnen matchen, ze vaak falen in het repliceren van de natuurlijke variantie van menselijke populaties. De auteurs pleiten voor het integreren van CCT in promptselectie en post-training kalibratie om consensusinflatie en heterogeniteitsinstorting te mitigeren, en dringen aan op een verschuiving in de onderzoekscommunity van brede culturele evaluaties naar genuanceerde, domeinspecifieke beoordelingen.

Beperkingen

De auteurs erkennen dat de interpreteerbaarheid van CCT begrensd wordt door extreme responspatronen (perfecte homogeniteit of totale divergentie), waarbij het model de individuele variantie niet betekenisvol kan schatten. Bovendien sluit deze studie geaggregeerde metrieken zoals de culturele dimensies van Hofstede uit, en richt zij zich strikt op gegevens op individueel respondentenniveau. De Consensus Consistentie metriek vertrouwt op een heuristische afrondingsmethode in plaats van een formeel Thurstoniaans ordinaal model.