Large Language Models are Perplexed by some Political Parties

Technische Samenvatting: Large Language Models zijn perplex door bepaalde politieke partijen

Probleemstelling
Hoewel Large Language Models (LLM's) steeds vaker worden ingezet in politieke toepassingen, blijft hun politieke eerlijkheid onderbelicht. Bestaande literatuur beoordeelt voornamelijk "politieke vooroordelen" in Instruction-Tuned (IT) LLM's met behulp van enquêtegebaseerde methoden (bijv. het vragen aan modellen om vragen over het politieke kompas te beantwoorden). Deze methoden lijden vaak aan kwetsbaarheid wat betreft de formulering van de prompt en zijn over het algemeen niet toepasbaar op base LLM's. Bovorm bovendien suggereert eerder werk over vertaalrechtvaardigheid (Lerner en Yvon, 2025) dat de kwaliteit van vertaling varieert afhankelijk van de politieke affiliatie van de spreker, maar dit leunt op parallelle corpora en downstream-metrieken. De auteurs stellen dat een eerlijk model een gelijke waarschijnlijkheid (perplexity) zou moeten toekennen aan teksten, ongeacht hun partijpolitieke inhoud, maar het is onbekend of base LLM's systematische oneerlijkheid vertonen in hun pretraining-distributies over diverse politieke groepen en talen heen.

Methodologie
De auteurs stellen een methode voor om politieke eerlijkheid te beoordelen met behulp van perplexity (en gerelateerde informatie-theoretische metrieken zoals Negative Log-Likelihood, Bits Per Character, en Bits Per English Character) op monolinguale corpora. De kernhypothese is dat een eerlijk model een gelijke perplexity moet vertonen voor teksten van alle politieke groepen.

• Datasets: De studie maakt gebruik van drie datasets die 37 talen beslaan:
  1. Manifesto: Politieke partijprogramma's (2018–heden).
  2. Parlamint: Nationale parlementaire debatten (2022–heden).
  3. 21-EuroParl: Een multi-parallel corpus van Europese Parlement-verslagen (2009–2011) uitgelijnd op zinsniveau over 21 talen.
• Modellen: De experimenten bestrijken tien LLM's uit drie families (Gemma-3, Qwen3, Llama-3.1) in twee formaten (4B/8B en 8B/70B), waarbij zowel Base LLM's als hun Instruction-Tuned (IT-LLM) tegenhangers worden geëvalueerd.
• Metrieken & Analyse:
  • Beoordeling van eerlijkheid: De auteurs berekenen perplexity (PPL), BPC en BPEC voor teksten die gestratificeerd zijn per politieke partij. Om te bepalen of de perplexity significant varieert per partij, gebruiken zij de Kruskal-Wallis analyse (een non-parametrische ANOVA).
  • Aggregatie: Voor cross-language vergelijking gebruiken zij Borda count aggregatie om politieke partijen of families (bijv. Sociaaldemocratisch versus Nationalistisch) te rangschikken op basis van hun perplexity-scores.
  • Correlatie: Om de pretraining-eerlijkheid te koppelen aan downstream prestaties, berekenen zij de Spearman correlatie tussen de perplexity van de base LLM en de downstream vertaalmetrieken (sBLEU en COMET) van de overeenkomstige IT-LLM.

Belangrijkste Resultaten

1. Systematische Oneerlijkheid in Pretraining: Over tien LLM's en datasets die 37 talen beslaan, zijn LLM's consequent meer perplex door de teksten van extreemrechtse en nationalistische partijen vergeleken met sociaaldemocratische partijen.
   • In de Portugese casestudy hadden radicaal-linkse en extreemrechtse partijen de hoogste (slechtste) NLL, terwijl de linksgeoriënteerde Socialistische partij de laagste (beste) NLL had.
   • Geaggregeerd over 10 talen in de Manifesto-dataset ontvingen Nationalistische/Radicaal-Rechtse partijen consequent de slechtste Borda-scores (laagste rangschikking), terwijl Sociaaldemocratische partijen de beste ontvingen.
2. Base vs. Instruction-Tuning: De geobserveerde politieke oneerlijkheid in base LLM's correleert sterk met die van hun instruction-tuned tegenhangers (Pearson $r \approx 0.99$). De studie vindt dat instruction-tuning de onderliggende politieke eerlijkheid die tijdens pretraining is vastgesteld, niet significant verandert.
3. Correlatie met Downstream Vertaling: Er is een sterke negatieve correlatie tussen de perplexity van de tekst van een politieke partij in een base LLM en de kwaliteit van de vertaling (sBLEU/COMET) van die tekst wanneer deze wordt gegenereerd door de IT-LLM.
   • Partijen met een hogere perplexity (lagere waarschijnlijkheid toegewezen door het model) ontvangen lagere vertalingsscores.
   • Deze correlatie houdt stand, zelfs bij het gebruik van unconditioned perplexity (zonder brontekstcontext), wat suggerend is dat de intrinsieke moeilijkheid van het model om de taal van een specifieke politieke groep te modelleren, de capaciteit om die taal later te genereren of te vertalen direct beïnvloedt.

Belangrijkste Bijdragen

• Perplexity als Eerlijkheidsmetriek: Het artikel introduceert een methode om politieke eerlijkheid te beoordelen met behulp van perplexity op plain monolinguale corpora, toepasbaar op zowel base als instruction-tuned modellen zonder dat daarvoor referentietranslaties of survey-prompts nodig zijn.
• Oorsprong van Bias in Pretraining: De auteurs demonstreren dat politieke eerlijkheidsproblemen primair voortkomen uit de pretraining-fase, aangezien base LLM's en hun IT-tegenhangers vrijwel identieke eerlijkheidsprofielen vertonen.
• Multilinguale Consistentie: De bevindingen houden stand over 37 talen en 420 taalparen, wat suggereert dat politieke kenmerken gedeelde eigenschappen zijn binnen een enkele model-architectuur in plaats van taal-specifieke subruimtes.
• Voorspelling van Downstream Prestaties: De studie stelt vast dat de perplexity van een base model de downstream vertaal-eerlijkheid kan voorspellen, wat een manier biedt om vertaal-bias te schatten zonder parallelle data.

Betekenis en Claims
Het artikel claimt dat de politieke eerlijkheid van LLM's geen geleidelijk links-rechts spectrum is, maar eerder een specifiek nadeel voor bepaalde groepen (met name extreemrechtse en nationalistische partijen) vergeleken met sociaaldemocratische partijen. De auteurs betogen dat omdat deze bias voortkomt uit pretraining, standaard instruction-tuning alignment-methoden onvoldoende zijn om dit te corrigeren. Bijgevolg roept het werk op tot:

• Alternatieve post-training alignment methoden.
• Het ontwerp van eerlijke pretraining methoden.
• Een bredere reflectie op de integratie van LLM's in gevoelige politieke toepassingen.

De studie contrasteert met eerdere survey-gebaseerde literatuur door zich te richten op de intrinsieke waarschijnlijkheidsverdelingen van het model in plaats van op de gegenereerde antwoorden op prompts, wat bewijs levert dat "politieke bias" een fundamentele eigenschap is van de trainingsdistributie van het model.