Arabic Author Gender Profiling with Large Language Models: An Empirical Investigation of Capability, Calibration, Bias, and Prompt Sensitivity
Deze studie presenteert de eerste uitgebreide evaluatie van grote taalmodellen voor het profileren van het geslacht van Arabische auteurs, waarbij wordt onthuld dat zij onderpresteren ten opzichte van klassieke systemen, een goed gekalibreerd onthoudingsgedrag vertonen en prompt-afhankelijke vooroordelen en specifieke morfologische foutmodi vertonen die uniek zijn voor de Arabische taal.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Elke keer dat we een bericht lezen, proberen we instinctief te raden wie de pen vasthoudt. Is het een vriend, een vreemde, een man of een vrouw? Decennialang hebben informatici machines geleerd om precies hetzelfde te doen, een veld dat bekend staat als auteursprofielering. Door het analyseren van woordkeuze, zinsstructuren en onderwerpen, proberen algoritmen de demografie van een schrijver af te leiden. Deze vaardigheid is essentieel voor beveiliging, marketing en het begrijpen van menselijk gedrag online. In de afgelopen jaren is er een nieuw soort kunstmatige intelligentie ontstaan, genaamd een groot taalmodel (large language model). Dit zijn systemen die getraind zijn op enorme hoeveelheden tekst van het internet, in staat om menselijke taal met opmerkelijke vloeiendheid te begrijpen en te genereren. In het Engels zijn deze systemen zo bekwaam geworden in het raden van het geslacht van een auteur dat ze oudere, meer traditionele computerprogramma's hebben ingehaald. Ze kunnen naar een blok tekst kijken en een gok doen met een hoge nauwkeurigheid, vaak zonder dat daarvoor speciale training voor die specifieke taak nodig is.
Maar vertaalt deze genialiteit zich naar andere talen? Arabisch wordt gesproken door meer dan 400 miljoen mensen en staat bekend om zijn complexe grammatica, waarbij woorden van vorm veranderen om geslacht, tijd en naar wie er wordt gesproken aan te geven. Deze rijkdom maakt het een moeilijke test voor computers. Tot nu toe was het onduidelijk of deze krachtige nieuwe AI-systemen de nuances van de Arabische schrijfwijze net zo goed aankunnen als de Engelse. Een onderzoeker zette zich scharpe om het antwoord te vinden, niet door een nieuw hulpmiddel te bous, maar door de meest geavanceerde bestaande systemen op de proef te stellen. De onderzoeker wilde zien of de AI het geslacht van Arabische auteurs correct kon identificeren, hoe vaak het zou toegeven wanneer het onzeker was, en of het verborgen vooroordelen met zich meed die ertoe zouden kunnen leiden dat het onrechtvaardige of onjuiste gokken doet.
De onderzoeker verzamelde een grote collectie real-world data: duizend Twitter-profielen uit het jaar 2018, elk met honderd tweets. De helft van deze accounts behoorde tot mannen en de andere helft tot vrouwen. Deze data werden ingevoerd in drie verschillende state-of-the-art taalmodellen, waaronder twee enorme wereldwijde systemen en één die specifiek voor het Arabisch is ontworpen. De computers kregen de opdracht om naar de volledige profielen te kijken en het geslacht van de auteur te raden. De resultaten waren verrassend. In tegenstelling tot in het Engels, waar de nieuwe AI-systemen de oude gemakkelijk verslaan, schoten ze hier tekort. Geen van de drie modellen slaagde erin om het beste traditionele computerprogramma uit 2018 te overtreffen. Sterker nog, de twee wereldwijde modellen scoorden lager dan de oude benchmark, en het specifiek voor het Arabisch ontworpen model scoorde nog aanzienlijk lager. Dit suggereert dat het ongelooflijke succes van deze systemen in het Engels niet automatisch doorvloeit naar het Arabisch, althans niet zonder extra hulp.
De studie keek ook naar hoe de modellen zich gedroegen wanneer ze onzeker waren. De onderzoeker gaf de computers twee soorten instructies: één die hen toestond om "Ik weet het niet" te zeggen als de tekst te vaag was, en een andere die hen dwong toch te gokken. Wanneer ze de mogelijkheid kregen om te onthouden, waren de modellen verrassend eerlijk. Ze weigerden te gokken op ongeveer 84 procent van de individuele tweets, in het besef dat een kort enkel bericht vaak onvoldoende aanwijzingen bevat om een betrouwbare conclusie te trekken. Wanneer de onderzoeker de modellen dwong om toch op deze moeilijke, individuele tweets te gokken, stortte hun nauwkeurigheid in tot bijna willekeurige niveaus, nauwelijks beter dan het opgooien van een munt. Dit toonde aan dat de modellen niet overdreven voorzichtig waren; ze identificeerden correct wanneer de informatie onvoldoende was.
Misschien wel de meest onthullende ontdekking betrof vooroordelen. Wanneer de modellen werden gevraagd te raden met Engelse instructies, neigden ze consequent naar het raden van "vrouw", zelfs wanneer de auteur een man was. Dit gebeurde bij alle drie de systemen, wat wijst op een diepgewortelde neiging om bepaalde schrijfstijlen met vrouwen te associëren. De onderzoeker vond echter een manier om dit te neutraliseren. Wanneer de modellen werden gedwongen een binaire keuze te maken zonder de mogelijkheid om onzekerheid te uiten, verdween het vooroordeel grotendeels voor twee van de modellen. Dit geeft aan dat het vooroordeel geen vaste regel in de geest van de computer was, maar eerder een resultaat van hoe het model zijn vertrouwen afweegt. Wanneer het zich onzeker voelde, verviel het in een stereotype; wanneer het werd gedwongen zich vast te leggen, werd het evenwichtiger.
De studie bracht ook een unieke, specifiek voor het Arabisch geldende uitdaging aan het licht. De onderzoeker merkte op dat de modellen vaak in de war raakten door de grammatica zelf. In het Arabisch kan een man die tegen een vrouw spreekt, vrouwelijke werkwoordsvormen gebruiken om haar aan te spreken. De computers interpreteerden deze grammaticale markeringen onterecht als bewijs dat de auteur een vrouw was, in plaats van te beseffen dat de auteur simpelweg tegen een vrouwelijke vriend sprak. Dit is een type fout dat in het Engels niet voorkomt, wat wijst op een specifiek blinde vlek in hoe deze systemen de Arabische grammatica begrijpen.
Ten slotte testte het team of de taal van de vraag uitmaakte. De onderzoeker vroeg het Arabisch-specifieke model om de taak uit te voeren met instructies geschreven in het Arabisch in plaats van het Engels. Hoewel dit de nauwkeurigheid van de gokken die het model maakte enigszinnig verbeterde, ging dit gepaard met een hoge prijs: het model weigerde veel meer tweets te raden, en wanneer het wel gokte, draaide het vooroordeel om. In plaats van naar "vrouw" te neigen, begon het zwaar naar "man" te neigen. Deze omkering suggereert dat het interne begrip van geslacht in het model diep verbonden is met de taal van de prompt, en dat noch Engelse noch Arabische instructies vrij zijn van vooroordelen.
De onderzoeker concludeerde dat hoewel deze grote taalmodellen krachtige hulpmiddelen zijn, ze nog niet klaar zijn om menselijk oordeel of oudere methoden voor het analyseren van Arabische teksten te vervangen zonder zorgvuldig toezicht. De onderzoeker stelde vast dat de modellen goed zijn in weten wanneer ze het niet weten, maar dat ze worstelen met de complexe grammatica van het Arabisch en aanzienlijke vooroordelen met zich meedragen die veranderen afhankelijk van hoe ze worden gevraagd. De studie dient als een herinnering dat naarmate we deze geavanceerde systemen inzetten, we hun specifieke beperkingen en de unieke manieren waarop ze de rijke, complexe talen van de wereld interpreteren, moeten begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.