Do Political Opinions Transfer Between Western Languages? An Analysis of Unaligned and Aligned Multilingual LLMs

Technische Samenvatting: Dragen Politieke Opinies Over tussen Westerse Talen?

Probleemstelling
Publieke opiniepeilingen tonen consequent sociaal-linguïstische verschillen in politieke standpunten over culturen heen. Het blijft echter onduidelijk of deze menselijke variaties vertalen naar cross-linguale verschillen in Multilinguale Large Language Models (MLLM's). Terwijl eerder onderzoek uitgebreid de politieke vooroordelen in Engelstalige LLM's heeft geëvalueerd, is het gedrag van MLLM's over verschillende Westerse talen onderbelicht gebleven. De centrale onderzoeksvraag is of MLLM's voor elke taal die ze ondersteunen een onderscheidende sociaal-culturele politieke opinie weerspiegelen, of dat politieke opinies uniform over talen worden overgedragen vanwege de dominantie van het Engels in pretraining- en alignment-data.

De auteurs definiëren twee concurrerende hypothesen:

• H1 (Opinieoverdracht): Politieke opinies dragen over tussen talen; het afstemmen (aligning) van een model in één taal beïnvloedt alle ondersteunde talen uniform.
• H2 (Gescheiden Opinies): MLLM's behouden voor elke taal een onderscheidende politieke opinie, wat sociaal-culturele divergentie mogelijk maakt.

Methodologie
De studie maakt gebruik van een experimenteel ontwerp in twee fasen met 15 niet-afgestemde (unaligned) instructie-getunede MLLM's van variërende groottes (variërend van 1B tot 35B parameters) over vijf West-Europese talen: Engels, Duits, Frans, Spaans en Italiaans.

1. Robuustheidsfiltering (RQ1):

   • Data: De auteurs maken gebruik van ProbVAA, een dataset van 239 stellingen uit Europese stemadvies-applicaties (VAAs), gecategoriseerd in acht beleidsthema's (bijv. milieubescherming, wet en orde) met bekende links-rechts standpunten.
   • Robuustheidscontrole: Om de betrouwbaarheid van het model te waarborgen, passen de auteurs een robuustheidskader toe (geadapteerd van Ceron et al., 2024) dat de consistentie test tegen prompt-variaties, inclusief parafrasering, negatie, antwoordinversie en veranderingen in de formulering van templates. Alleen modellen die ten minste 50% van deze tests doorstonden, werden behouden voor de cross-linguale analyse (zes modellen: Phi3.5-3B, Llama3.1-8B, Aya23-8B, Mixtral8x7B, CommandR-35B, GPT3.5-turbo).
   • Analyse: Een bètagressiemodel kwantificeert de effecten van taal en model op politieke standpunten, waarbij Engels als referentietaal dient. Niet-parametrische Kruskal-Wallis-testen beoordelen significante verschillen tussen talen.

2. Politieke Alignment en Overdracht (RQ2):

   • Alignment Strategie: Twee robuuste modellen (Phi3.5-3B en Llama3.1-8B) werden afgestemd om meer links- of rechts-georiënteerde standpunten te vertonen met behulp van Direct Preference Optimization (DPO).
   • Databron: Alignment-datasets werden geconstrueerd uit de Manifesto Project (MARPOR) corpus, waarbij specifiek werd gefilterd op Engelstalige partijprogramma's. Twee annotatiebenaderingen werden gebruikt:
     • RiLe-benadering: Gebruikmakend van bestaande links-rechts scores gebaseerd op MARPOR-codes.
     • Beleidsthema-benadering: Het annoteren van partijprogramma-zinnen specifiek op instemming/onenigheid met de acht doelstellingen van de beleidsthema's.
   • Evaluatie: De afgestemde modellen werden opnieuw geëvalueerd op de ProbVAA-dataset in alle vijf de talen. Daarnaast werd een open-ended evaluatietaak uitgevoerd waarbij de modellen opiniegerichte samenvattingen genereerden over vier beleidsthema's, waarbij de standpunten werden gedetecteerd door een apart LLM (Llama-3.1-70B-Instruct).

Belangrijkste Resultaten

• RQ1: Niet-afgestemde Modellen:

  • Robuustheid: De meeste talen vertoonden vergelijkbare robuustheidsniveaus, wat aangeeft dat politieke opinies in niet-Engelse talen niet louter artefacten zijn van slechte generatie, maar stabiel zijn.
  • Cross-Linguale Verschillen: De regressieanalyse toonde geen significante verschillen in algemene politieke standpunten tussen het Engels en andere Westerse talen. Hoewel er kleine, statistisch significante verschillen verschenen op specifieke beleidsthema's (bijv. Duits, Spaans en Italiaans toonden iets meer steun voor milieubescherming dan het Engels), waren deze niet systematisch over de hele linie.
  • Modelvariantie: Er werden significante verschillen gevonden tussen modellen (bijv. Mixtral8x7B was het meest links-georiënteerd), maar niet systematisch tussen talen binnen hetzelfde model.

• RQ2: Afgestemde Modellen:

  • Uniforme Verschuiving: Wanneer modellen werden afgestemd met behulp van alleen Engelstalige data, trad de resulterende politieke verschuiving bijna uniform op in alle vijf de talen.
  • Validatie van H1: De afgestemde modellen bewogen consistent naar de doelideologie (links of rechts) in het Duits, Frans, Spaans en Italiaans, wat de verschuiving in het Engels weerspiegelde. Dit bevestigt dat het afstemmen van een MLLM in het Engels die alignment effectief overdraagt naar andere Westerse talen.
  • Open-Ended Bevestiging: De open-ended evaluatie bevestigde deze bevindingen, waarbij bleek dat de "Links-score" van de gegenereerde tekst consistent over talen heen verschoof op basis van de richting van de alignment.

Belangrijkste Bijdragen

1. Robuuste Cross-Linguale Evaluatie: Het artikel biedt een gedetailleerde, robuustheidsbewuste evaluatie van politieke opinies in meerdere niet-afgestemde MLLM's over vijf Westerse talen, waarbij modellen die geen consistente standpunten kunnen bieden, worden gefilterd.
2. Analyse van Alignment-Overdracht: Het biedt een grondige analyse van hoe politieke alignment in het Engels voortplant naar andere talen, waarbij wordt aangetoond dat Engelstalige alignment-data een uniforme ideologische verschuiving induceert over de gehele meertalige capaciteit van het model.
3. Methodologisch Inzicht: De studie benadrukt dat het bereiken van onderscheidende sociaal-linguïstische of culturele alignment in MLLM's uitdagend is, omdat de interne representaties van de modellen schijnbaar gedomineerd worden door het Engels, wat leidt tot een "eerste taal"-effect waarbij alignment in één taal het gedrag in andere talen dicteert.

Betekenis en Claims
De auteurs concluderen dat in Westerse taalcontexten politieke opinies overdragen tussen talen binnen MLLM's. Deze bevinding daagt de aanname uit dat MLLM's gemakkelijk onderscheidende sociaal-culturele politieke nuances voor elke taal die ze ondersteunen kunnen vertegenwoordigen.

De betekenis van dit werk ligt in het identificeren van een fundamentele methodologische beperking: het creëren van alignment-datasets voor individuele talen in isolatie is onvoldoende, omdat talen binnen MLLM's onderling afhankelijk zijn. Bijgevolg is het bereiken van expliciete sociaal-linguïstische, culturele en politieke alignment die regionale verschillen respecteert, inherent moeilijk. Het artikel suggereert dat toekomstig werk rekening moet houden met deze cross-linguale interactie-effecten bij het inzetten van MLLM's voor politieke taken in diverse sociaal-linguïstische contexten. De auteurs blijven bescheiden over de causale mechanismen en merken op dat hoewel de overdracht evident is, de specifieke architecturale of trainingsdynamieken die dit drijven (bijv. de dominantie van het Engels in pretraining versus post-training alignment) verder onderzoek vereisen.