Framing Political Bias in Multilingual LLMs Across Pakistani Languages

Technische Samenvatting: Het inkaderen van politieke bias in meertalige LLM's over Pakistaanse talen

Probleemstelling
Hoewel Large Language Models (LLM's) in toenemende mate het publieke debat vormgeven, richten evaluaties van politieke en economische bias zich voornamelijk op hoog-resource, Westerse talen. Dit creëert kritieke blinde vlekken in laag-resource, meertalige regio's zoals Pakistan, waar linguïstische identiteit onlosmakelijk verbonden is met politieke, religieuze en regionale ideologieën. Bestaande tools voor bias-detectie vertrouwen vaak op Westerse politieke taxonomieën en falen om de inkadering van ideologieën in laag-resource talen te verklaren. Gevolgelijk kunnen LLM's cultureel gewortelde uitspraelingen (bijv. traditionele rechtvaardigheidsprincipes) verkeerd interpreteren als steun voor geweld of bias, wat het burgerlijk discours vertekent en minderheidsperspectieven marginaliseert. Er is een gebrek aan systematische kaders om politieke bias te auditeren over de vijf grote Pakistaanse talen: Urdu, Punjabi, Sindhi, Pashto en Balochi.

Methodologie
De auteurs stellen een nieuw, cultureel geworteld kader voor dat ideologische standpuntdetectie integreert met narratieve inkaderingsanalyse op meerdere niveaus. De methodologie bestaat uit drie primaire componenten:

1. Cultureel aangepaste Politieke Kompas Test (PCT):

   • De studie past de standaard 62-stating PCT aan, vertaalt en valideert deze cultureel voor vijf Pakistaanse talen.
   • Het kader brengt de modelresponsen in kaart op een tweedimensionale ideologische ruimte: Economische waarden (Links vs. Rechts) en Sociale waarden (Libertair vs. Autoritair).
   • Een computationele aanpak in twee fasen kwantificeert het standpunt: eerst door een scalaire score te berekenen op basis van de classificatie-betrouwbaarheid (Helemaal mee eens tot Helemaal niet mee eens), en vervolgens door deze score te discretiseren in ordinale categorieën om modellen te projecteren op het $(S_{eco}, S_{soc})$ vlak.
   • De dataset bevat 4.030 responsen gegenereerd door 13 state-of-the-art LLM's (zowel open- als closed-source) in de vijf talen, geverifieerd door moedertaalsprekers met een Fleiss' kappa van 0,99.

2. Ideologische Inkaderingsanalyse:

   • Om te vangen hoe modellen bias uiten, genereren de auteurs een corpus van ongeveer 444.340 nieuws koppen over 11 politiek relevante onderwerpen (bijv. Blasphemy Laws, Doodstraf, LGBTQ Rechten, Minderheidsrechten).
   • Inhoudelijke Inkadering: Nieuwskoppen worden geclassificeerd met behulp van Boydstun's 15 kruisende frame-dimensies (bijv. Moraliteit, Economie, Culturele Identiteit) via GPT-3.5-turbo om dominante narratieve strategieën te bepalen.
   • Entiteitsgebaseerde Analyse: Named Entity Recognition (met behulp van een meertalig BERT-model) extraheert politieke figuren en instituten. De studie berekent entiteitsprominentie en sentiment-polariteit (met behulp van fine-tuned XLM-RoBERTa) om te identificeren welke actoren worden benadrukt en hoe zij worden afgebeeld (positief/negatief/neutraal).

3. Experimentele Opzet:

   • De studie evalueert 13 LLM's met behulp van zero-shot prompting.
   • Het bevat een specifieke analyse van "cultureel adaptieve" modellen (fine-tuned op Urdu) om hun bias-scores te vergelijken met standaard SOTA-baselines.
     el Robustheid wordt getest met vijf semantisch equivalente maar instructioneel verschillende prompt-varianten.

Belangrijkste Bijdragen

• Eerste Grootschalige Evaluatie: Dit is de eerste studie die een grootschalige politieke bias-evaluatie uitvoert over vijf Pakistaanse talen (Urdu, Punjabi, Sindhi, Pashto, Balochi).
• Nieuw Kader: De auteurs introduceren het eerste kader dat de PCT combineert met narratieve inkaderingsanalyse (inhoud, stijl en focus op entiteiten), specifiek voor het Pakistaanse politieke discours.
• Culturele Adaptatie: Het werk biedt een cultureel aangepaste PCT met door mensen geverifieerde vertalingen die 11 onderwerpen dekken die geworteld zijn in het lokale discours, waarmee verder wordt gegaan dan generieke Westerse instrumenten.
• Omvattende Dataset: De release van een gold-standard meertalige dataset bestaande uit PCT-vertalingen en een massaal corpus voor het genereren van koppen voor bias-analyse.

Resultaten

• Taalgeconditioneerde Ideologische Modulatie: Hoewel LLM's voornamelijk liberaal-linkse oriëntaties reflecteren die consistent zijn met Westerse trainingsdata in het Engels, vertonen ze significante verschuivingen in Pakistaanse talen. Bijvoorbeeld, GPT-modellen neigen in het Engels naar libertair-linkse posities, maar verschuiven naar autoritair-linkse of autoritair-rechtse standpunten in regionale talen zoals Urdu en Punjabi.
• Autoritaire Inkadering in Regionale Talen: Modellen vertonen meer autoritaire inkadering in regionale talen vergeleken met Engels, wat benadrukt dat de taalkeuze een cultureel specifieke ideologische verschuiving activeert.
• Modelspecifieke Patronen:
  • Claude demonstreert consequent de sterkste libertaire houding over de talen heen.
  • GPT-4-turbo neigt het meest economisch links.
  • Open-source modellen (bijv. Mistral, DeepSeek) blijven over het algemeen meer liberaal-libertair, terwijl fine-tuned Urdu-modellen in sommige contexten de neiging vertoonden om naar autoritair-rechtse standpunten te verschuiven.
  • BERT-varianten neigden over de talen heen meer naar rechts.
• Inkadering en Sentiment:
  • Modellen vertonen variërende gebruiken van "Culturele Identiteit" frames bij het bespreken van religieuze minderheden. Autoritaire modellen hebben de neiging om minderheidsrechten te inkaderen via institutionele en geografische hiërarchieën (nadruk op de Staat), terwijl libertaire modellen bredere juridische kaders en regionale ervaringen integreren.
  • Sentimentanalyse laat zien dat gevoelige onderwerpen zoals de Blasphemy Laws en de Doodstraf overwegend negatief sentiment oproepen, terwijl onderwerpen zoals Onderwijs en Taalbeleid meer positieve of hoopvolle tonen laten zien.
• Impact van Fine-tuning: Cultureel aangepaste (fine-tuned) modellen produceerden meer gebalanceerde, gecentreerde reacties met lagere bias-scores vergeleken met SOTA-baselines, wat suggereert dat culturele-naar-linguïstische adaptatie politieke neutraliteit kan bevorderen.

Betekenis
Het artikel betoogt dat politieke bias in LLM's niet louter een vertaalprobleem is, maar een complexe interactie tussen linguïstische context en culturele ideologie. De bevindingen laten zien dat Westerse politieke kaders lokale denkbeelden verkeerd kunnen karakteriseren, wat potentieel ongelijkheid voor sprekers van laag-resource talen vergroot. Door de PCT te verbinden met narratieve inkaderingsdimensies, biedt de studie een reproduceerbare methodologie voor het diagnosticeren van politieke bias in meertalige LLM's. De auteurs concluderen dat het bouwen van eerlijke, inclusieve AI-systemen voor linguïstisch diverse samenlevingen cultureel gewortelde evaluatiekaders vereist die verder gaan dan Westerse, gecentreerde aannames om een rechtvaardige en verantwoorde inzet van AI te waarborgen.