Technische Samenvatting: Het Onderzoeken van Bias in Sociale Identiteit in Chinese LLM's met Geslachtsgebonden Voornaamwoorden en Sociale Groepen

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet in gebruikersgerichte toepassingen, wat zorgen oproept dat ze bestaande sociale vooroordelen kunnen weerspiegelen en versterken. Hoewel eerdere onderzoek uitgebreid categorische vooroordelen (bijvoorbeeld geslacht, etniciteit) heeft gedocumenteerd in op het Engels gerichte LLM's met behulp van benchmarks zoals CrowS-Pairs of analyses op basis van embeddings, bestaat er een aanzienlijke lacune in het begrijpen van bias in sociale identiteit binnen de Chinese taalkundige context. De theorie van sociale identiteit stelt dat individuen een voorkeur hebben voor hun "eigen groep" (ingroup) en negatieve houdingen hebben ten opzichte van "vreemde groepen" (outgroups). Het blijft echter onduidelijk of Chinese LLM's deze dynamieken reproduceren en hoe specifieke taalkundige kenmerken van het Mandarijn – met name het onderscheid tussen het standaard meervoudsvorm 他们 (tāmen, gebruikt voor gemengde geslachten of niet-gespecificeerde groepen) en het expliciet vrouwelijke meervoud 她们 (tāmen) – deze vooroordelen moduleren. Huidige evaluatiestrategieën negeren vaak het relationele mechanisme van intergroepsgevoelens en de unieke morfologische structuren van het Chinees.

Methodologie

De studie hanteert een gecontroleerd generatief kader over tien representatieve Chinese LLM's, waarbij zowel basis (voorgetrainde) als instructie-geoptimaliseerde varianten van grote ontwikkelaars (bijvoorbeeld Alibaba, Baidu, Tencent, DeepSeek) worden bestreken.

1. Promptontwerp en Dataverzameling

• Kadercondities: De auteurs hebben zinsvoltooiingsprompts geconstrueerd met twee primaire kaders:
  • Eigen groep (Ingroup): Eerste persoon meervoud ("我们", "Wij").
  • Vreemde groep (Outgroup): Derde persoon meervoud, verder opgesplitst in:
    • Standaard Meervoud: "他们" (ongemarkeerd/gemengd geslacht).
    • Vrouwelijk Meervoud: "她们" (expliciet gemarkeerd vrouwelijk).
• Sociale Groepen: Prompts werden geïnstancierd met 240 sociale groepen die relevant zijn in de Chinese context (bijvoorbeeld leeftijd, handicap, nationaliteit, opleidingsniveau) met de formulering "Als [Groep], zijn wij/zij..."
• Beperken van Weigeringen: Om stabiele generatie van instructie-geoptimaliseerde modellen te waarborgen, werd een neutrale context-scaffolding-strategie gebruikt, waarbij hoogwaardige, neutrale zinnen uit het ChineseWebText-corpus aan de prompts werden voorafgeplaatst.
• Dataset: De studie genereerde 297.600 antwoorden van de tien modellen. Daarnaast werd een aanvullende exploratieve analyse uitgevoerd op 4.079 gebruikers-assistent-interacties uit het WildChat-corpus om de validiteit in de echte wereld te beoordelen.

2. Meetkader

Een tweeledig meetkader werd aangenomen om zowel sentiment als toxiciteit te beoordelen:

• Sentimentanalyse: Drie classifiers (Aliyun, Baidu NLP en DeepSeek-V3) werden gebruikt om antwoorden te labelen als positief, negatief of neutraal. Consensuslabels werden afgeleid via meerderheidsstemming, met handmatige validatie op een subset van 200 zinnen die 83,5% overeenkomst toonde.
• Toxiciteitsanalyse: De Perspective API werd gebruikt om continue toxiciteitsscores (0–1) te genereren, waarbij veiligheidsrelevante signalen (onbeleefd, respectloos of onredelijk commentaar) werden vastgelegd die door sentimentanalyse alleen mogelijk zouden worden gemist.
• Statistische Modellering: Regressiemodellen (logistisch voor binair sentiment, lineair voor toxiciteit) werden geschat om solidariteit binnen de eigen groep en vijandigheid tegenover vreemde groepen te testen, waarbij werd gecontroleerd voor zinslengte en lexicale diversiteit (Type-Token Ratio).

Belangrijkste Resultaten

1. Systematische Asymmetrieën tussen Eigen en Vreemde Groep

Bij bijna alle modellen vond de studie systematische asymmetrieën:

• Solidariteit binnen de Eigen Groep: Antwoorden onder "Wij"-kaders waren over het algemeen positiever dan onder "Zij"-kaders.
• Vijandigheid tegenover de Vreemde Groep: Antwoorden onder "Zij"-kaders vertoonden een hogere negatieve sentiment en toxiciteit.
• Modelvariatie: Voorgetrainde modellen vertoonden een bijzonder sterke vijandigheid tegenover vreemde groepen. Instructie-geoptimaliseerde modellen toonden meer gebalanceerde patronen, waarbij sentimentasymmetrieën vaak werden afgezwakt, hoewel toxiciteitsgaten persistent bleven.

2. De Impact van Geslachtsgebonden Taalkundige Markering

Het onderscheid tussen 他们 en 她们 onthulde specifieke vooroordeelpatronen:

• Met Geslacht Verbonden Toxiciteit: Bij meerdere modellen werd het expliciet vrouwelijke meervoud (她们) geassocieerd met hogere toxiciteitsscores in vergelijking met het standaard meervoud (他们), zelfs wanneer sentimentasymmetrieën bescheiden waren.
• Effecten van Instructie-Optimalisatie: Hoewel instructie-optimatie sentimentverschillen verminderde, bleef de toxiciteitskloof die gepaard ging met de vrouwelijk-gemarkeerde vorm zichtbaar in sommige systemen, wat suggereert dat veiligheidsuitlijning gendergebonden vooroordelen niet volledig elimineert.

3. Variatie over Sociale Categorieën

De uitdrukking van vooroordelen was niet uniform over de 240 sociale groepen:

• Hoge Sensitiviteit: Groepen gerelateerd aan Geslacht, Nationaliteit en Ras vertoonden de meest uitgesproken asymmetrieën tussen eigen en vreemde groep (odds ratios > 1,4).
• Afgezwakte Effecten: Categorieën zoals Etniciteit en Opleidingsniveau vertoonden afgezwakte of omgekeerde effecten, wat wijst op selectieve veiligheidsuitlijnmechanismen die negatieve output voor bepaalde gevoelige categorieën temperen terwijl andere vatbaar blijven.

4. Bewijs uit Dialoog in de Echte Wereld

De aanvullende analyse van WildChat-dialogen leverde exploratief bewijs dat vergelijkbare patronen van eigen en vreemde groepen bestaan in naturalistische interacties, hoewel de auteurs waarschuwen dat deze bevindingen niet direct vergelijkbaar zijn met de gecontroleerde experimenten vanwege het gebruik van op het Engels gerichte modellen in het WildChat-corpus en onbalans in identiteitsmarkeringen.

Belangrijkste Bijdragen

1. Taalbewaard Evaluatiekader: De studie introduceert een methodologie die specifiek is ontworpen voor Chinese LLM's en die gebruikmaakt van het morfologische onderscheid tussen standaard en vrouwelijke meervoudsvormen om vooroordelen te onderzoeken, een dimensie die niet direct waarneembaar is in Engelstalige omgevingen.
2. Empirisch Bewijs in Chinese Context: Het bevestigt dat vooroordelen in sociale identiteit (favoritisme voor de eigen groep en vijandigheid tegenover vreemde groepen) die eerder in het Engels zijn gedocumenteerd, ook voorkomen in Chinese LLM's over een breed spectrum van 240 sociale groepen.
3. Inzicht in Twee Maatstaven: Door sentiment- en toxiciteitsanalyse te combineren, onthult het artikel dat instructie-optimatie positieve/negatieve sentimentasymmetrieën kan verminderen, maar vaak faalt in het elimineren van toxiciteitsgaten, met name die welke zijn gekoppeld aan geslachtsgebonden taalkundige markeringen.
4. Aanvullende Analyse van de Echte Wereld: Het biedt voorlopig bewijs dat deze synthetische benchmarkbevindingen kunnen worden uitgebreid naar implementatie-achtige omgevingen, wat de noodzaak benadrukt van cultureel onderbouwde uitlijnstrategieën.

Betekenis en Aanspraken

Het artikel stelt dat bias in sociale identiteit in Chinese LLM's een systemisch probleem is dat verder gaat dan specifieke categorieën tot een algemene relationele dynamiek tussen "wij" en "zij". Cruciaal is dat het betoogt dat specifieke taalkundige structuren van het Mandarijn (met name geslachtsgebonden voornaamwoorden) vooroordeelpatronen kunnen onthullen die onzichtbaar zijn in op het Engels gerichte evaluaties.

De auteurs stellen dat instructie-optimatie deze vooroordelen weliswaar gedeeltelijk kan mitigeren, maar ze niet elimineert, met name wat toxiciteit en geslachtsgebonden kaders betreft. Dit suggereert dat huidige uitlijnstrategieën mogelijk ontoereikend zijn om rechtvaardigheid te waarborgen in interactieve, gebruikersgerichte toepassingen. De studie roept op tot systemische monitoring van het gedrag van LLM's in domeinen met hoge risico's en tot de ontwikkeling van mitigerende strategieën die gevoelig zijn voor zowel de culturele context als de specifieke taalkundige eigenschappen van de Chinese taal.

De auteurs handhaven een bescheiden toon met betrekking tot hun aanspraken, waarbij ze beperkingen erkennen zoals de uitsluiting van sommige modellen vanwege computergrenzen, de afhankelijkheid van geautomatiseerde sentimentproxies in plaats van volledige menselijke gouden standaarden, en het exploratieve karakter van de analyse van dialoog in de echte wereld. Ze benadrukken dat hun bevindingen modelgedrag documenteren en geen reflectie zijn van de meningen van de auteurs of accurate representaties van de betrokken sociale groepen.