Computational Orientalism: Measuring Structural Discourse Bias in Large Language Models Using the Middle East Cultural Sensitivity Score (MECSS)
Dit artikel introduceert de Middle East Cultural Sensitivity Score (MECSS) om aan te tonen dat grote taalmodellen, inclusief die ontwikkeld in het Midden-Oosten, systematisch structurele oriëntalistische vooroordelen reproduceren door middel van "Said-washing" en het kaderen van westerse kennis als universeel, wat onthult dat standaard eerlijkheidsmetrieken niet in staat zijn deze diepgewortelde epistemische vertekeningen te detecteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer we een computer vragen om een cultuur uit te leggen, gaan we er vaak van uit dat we een neutrale samenvatting van feiten krijgen. Maar de systemen die deze vragen beantwoorden, zijn geen onbeschreven bladen. Ze zijn gebouwd op enorme bibliotheken van teksten, geschreven voornamelijk door mensen in het Westen, in het Engels, en ze leren spreken door de patronen na te bootsen die in die bibliotheken te vinden zijn. Dit betekent dat wanneer een gebruiker vragen over het Midden-Oosten stelt, de computer niet simpelweg informatie ophaalt; het construeert een verhaal gebaseerd op de aannames die in de training zijn ingebed. Decennialang hebben wetenschappers een specifieke manier van verhalen vertellen over het Oosten beschreven, bekend als Oriëntalisme. Dit gaat niet alleen over onbeleefdheid of het gebruik van stereotypen. Het is een diepere, structurele gewoonte van schrijven die het Westen behandelt als de normale, actieve waarnemer en het Oosten als een passief, mysterieus object dat door westerse regels moet worden verklaard. Het gaat ervan uit dat westerse ideeën universele waarheden zijn, terwijl lokale ideeën slechts "culturele eigenaardigheden" zijn. De vraag die onderzoekers nu stellen is of moderne kunstmatige intelligentie, die een primaire bron van informatie is geworden voor honderden miljoenen mensen, deze oude patronen stilletjes herhaalt, zelfs wanneer het probeert beleefd te zijn.
Een onderzoeker zette zich scharpe schijnwerpers op deze onzichtbare bias in twee verschillende grote taalmodellen. Eén was een krachtig systeem ontwikkeld in de Verenigde Staten, en de andere was een model gebouwd in de Verenigde Arabische Emiraten, getraind met een aanzienlijke hoeveelheid Arabische inhoud. De onderzoeker wilde een hoopvolle gedachte testen: dat het bouwen van een kunstmatige intelligentie in het Midden-Oosten, met gebruik van lokale talen en regionale data, van nature een eerlijker, minder bevooroordeeld beeld van de regio zou produceren. Om het antwoord te vinden, creëerde de onderzoeker een nieuw meetinstrument genaamd de Middle East Cultural Sensitivity Score. In plaats van alleen te zoeken naar overduidelijke beledigingen of kwetsende woorden, onderzocht dit instrument de zeer eigen structuur van de zinnen die de modellen genereerden. Het controleerde op zeven specifieke gewoonten, zoals of het model het hele Midden-Oosten als één enkel, ongedifferentieerd blok behandelde, of het lokale mensen beschreef als passieve slachtoffers in plaats van actieve besluitvormers, en of het westerse politieke theorieën gebruikte als de standaardmanier om gebeurtenissen te verklaren, terwijl het lokale kennis als iets behandelde dat een speciale rechtvaardiging nodig had.
De onderzoeker voerde 280 gesprekken uit, waarbij een breed scala aan vragen over politiek, cultuur en geschiedenis aan de modellen werd gesteld. Vervolgens analyseerde de onderzoeker de reacties om te zien hoe vaak de modellen in deze structurele vallen trapten. De resultaten lieten zien dat beide modellen, ongeacht waar ze gebouwd waren, deze bevooroordeelde patronen systematisch reproduceerden. Het Amerikaanse model vertoonde weliswaar enige bias, maar het model dat in de VAE was gebouwd, scoorde daadwerkelijk hoger op de bias-schaal, wat betekende dat het de problematische patronen vaker en intenser reproduceerde. Deze bevinding daagt de aanname uit dat het simpelweg veranderen van de locatie van de ontwikkelaars of het toevoegen van lokale talen aan de trainingsdata voldoende is om het probleem op te lossen. De onderzoeker stelde vast dat het VAE-model, ondanks zijn regionale oorsprong, nog steeds zwaar leunde op westerse kaders om de wereld te verklaren, waarbij deze werden behandeld als de standaard lens waardoor alles bekeken moet worden.
Een van de meest opvallende ontdekkingen was een fenomeen dat de onderzoeker "Said-washing" noemde. Dit gebeurt wanneer een model een reactie begint door expliciet te vermelden dat de regio divers en complex is, om vervolgens direct diezelfde verklaring te volgen met een generalisatie die die complexiteit negeert. Bijvoorbeeld, een model kan zeggen: "Natuurlijk heeft het Midden-Oosten veel verschillende culturen en geschiedenissen," om vervolgens direct te beschrijven hoe de "Midden-Oosterse samenleving" een enkele, verenigde entiteit is met een enkele set motivaties. Dit patroon kwam voor in bijna 8k 8 procent van de gesprekken met het Amerikaanse model en in ongeveer 63 procent van de gesprekken met het VAE-model. Het suggereert dat de modellen hebben geleerd om de schijn van sensitiviteit te veinzen zonder de onderliggende structuur van hun denken daadwerkelijk te veranderen. Ze kunnen de juiste woorden gebruiken om eerlijk te klinken, maar de manier waarop ze de informatie organiseren, blijft diep geworteld in oude, koloniale manieren van de wereld zien.
De studie onthulde ook dat de bias niet alleen ging over wat de modellen zeiden, maar over hoe zij de wereld organiseerden. Beide modellen behandelden westerse analytische kaders consequent als de standaard, ongemerkte manier om de realiteit te begrijpen, terwijl ze niet-westerse kennis behandelden als iets specifieks dat een speciale uitleg vereist. Dit was de meest consistente bevinding bij beide systemen en kwam in bijna elk gesprek voor. De onderzoeker merkte op dat het verschil in de prestaties van de modellen deels te wijten kon zijn aan hun omvang, aangezien het Amerikaanse model aanzienlijk groter en geavanceerder was dan het VAE-model. Kleinere modellen hebben de neiging om eenvoudigere, minder genuanceerde tekst te produceren, wat meer kan lijken op de brede generalisaties die de onderzoeker mat. Echter, het feit dat beide modellen convergeren op hetzelfde hoge niveau van bias met betrekking tot het gebruik van westerse kaders, suggereert dat het probleem dieper ligt dan alleen de grootte van de computer of de locatie van de ontwikkelaars.
Uiteindelijk concludeert het artikel dat de bias geen eenvoudige fout is die kan worden opgelost door meer talen toe te voegen of de servers naar een ander land te verplaatsen. Het probleem is epistemologisch, wat betekent dat het gaat over de aard van de kennis die de modellen hebben geleerd. De trainingsdata zelf is doordrenkt van westerse perspectieven die het Midden-Oosten behandelen als een object om te bestuderen in plaats van een subject met een eigen handelingsbekwaamheid. Om dit werkelijk te veranderen, betoogt de onderzoeker dat de trainingsdata getransformeerd moet worden door een veel groter volume aan wetenschappelijke werken van geleerden uit de regio op te nemen, in hun eigen talen en volgens hun eigen intellectuele tradities. Totdat de data verandert, zullen deze systemen antwoorden blijven genereren die zelfverzekerd en gezaghebbend klinken, maar die stilletjes een wereldbeeld versterken waarin het Westen de verteller is en de rest van de wereld slechts het verhaal.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.