Do Political Opinions Transfer Between Western Languages? An Analysis of Unaligned and Aligned Multilingual LLMs

Technisches Resümee: Übertragen sich politische Meinungen zwischen westlichen Sprachen?

Problemstellung
Öffentliche Meinungsumfragen zeigen konsistent kulturübergreifende Unterschiede in politischen Standpunkten über soziolinguistische Kontexte hinweg. Es bleibt jedoch unklar, ob sich diese menschlichen Variationen in cross-lingualen Unterschieden bei multilingualen Large Language Models (MLLMs) widerspiegeln. Während vorangegangene Forschung die politischen Biases von englischsprachigen LLMs umfassend evaluiert hat, ist das Verhalten von MLLMs über verschiedene westliche Sprachen hinweg unteruntersucht. Die zentrale Forschungsfrage ist, ob MLLMs für jede von ihnen unterstützte Sprache eine distinkte soziokulturelle politische Meinung widerspiegeln oder ob politische Meinungen aufgrund der Dominanz von Englisch in den Pretraining- und Alignment-Daten einheitlich über die Sprachen hinweg übertragen werden.

Die Autoren definieren zwei konkurrierende Hypothesen:

• H1 (Meinungsübertragung): Politische Meinungen übertragen sich zwischen Sprachen; das Alignment eines Modells in einer Sprache beeinflusst alle unterstützten Sprachen einheitlich.
• H2 (Getrennte Meinungen): MLLMs bewahren für jede Sprache eine distinkte politische Meinung, was eine soziokulturelle Divergenz ermöglicht.

Methodik
Die Studie verwendet ein zweiphasiges experimentelles Design mit 15 nicht-alignierten, instruktionsgesteuerten MLLMs unterschiedlicher Größe (von 1B bis 35B Parametern) über fünf westeuropäische Sprachen: Englisch, Deutsch, Französisch, Spanisch und Italienisch.

1. Robustheitsfilterung (RQ1):

   • Daten: Die Autoren nutzen ProbVAA, einen Datensatz aus 239 Aussagen europäischer Wahlberatungs-Apps (Voting Advice Applications, VAAs), die in acht politischen Themenbereichen (z. B. Umweltschutz, Gesetz und Ordnung) mit bekannten links/rechts-orientierten Standpunkten kategorisiert sind.
   • Robustheitsprüfung: Um die Zuverlässigkeit der Modelle zu gewährleisten, wenden die Autoren ein Robustheits-Framework an (adaptiert von Ceron et al., 2024), das die Konsistenz gegenüber Prompt-Variationen testet, einschließlich Paraphrasierung, Negation, Antwortinversion und Änderungen in der Template-Wortwahl. Nur Modelle, die mindestens 50 % dieser Tests bestanden, wurden für die cross-linguale Analyse beibehalten (sechs Modelle: Phi3.5-3B, Llama3.1-8B, Aya23-8B, Mixtral8x7B, CommandR-35B, GPT3.5-turbo).
   • Analyse: Ein Beta-Regressionsmodell quantifiziert die Effekte von Sprache und Modell auf politische Standpunkte, wobei Englisch als Referenzsprache dient. Nicht-parametrische Kruskal-Wallis-Tests bewerten signifikante Unterschiede zwischen den Sprachen.

2. Politische Ausrichtung und Transfer (RQ2):

   • Alignment-Strategie: Zwei robuste Modelle (Phi3.5-3B und Llama3.1-8B) wurden darauf ausgerichtet, eher linksgerichtete oder rechtsgerichtete Ansichten zu zeigen, unter Verwendung von Direct Preference Optimization (DPO).
   • Datenquelle: Die Alignment-Datensätze wurden aus dem Manifesto Project (MARPOR) Korpus erstellt, wobei gezielt nach englischsprachigen Parteiprogrammen gefiltert wurde. Es wurden zwei Annotationsansätze verwendet:
     • RiLe-Ansatz: Verwendung bestehender Rechts-Links-Scores basierend auf MARPOR-Codes.
     • Policy Issue-Ansatz: Annotation von Manifest-Sätzen spezifisch auf Zustimmung/Ablehnung der acht Zielthemen.
   • Evaluierung: Die alignierten Modelle wurden auf dem ProbVAA-Datensatz in allen fünf Sprachen erneut evaluiert. Zusätzlich wurde eine offene Evaluierungsaufgabe durchgeführt, bei der die Modelle meinungsorientierte Zusammenfassungen zu vier politischen Themen generierten, wobei die Standpunkte durch ein separates LLM (Llama-3.1-70B-Instruct) detektiert wurden.

Kernergebnisse

• RQ1: Nicht-alignierte Modelle:

  • Robustheit: Die meisten Sprachen zeigten ähnliche Robustheitsgrade, was darauf hindeutet, dass politische Meinungen in nicht-englischen Sprachen nicht bloß Artefakte schlechter Generierung sind, sondern stabile Zustände darstellen.
  • Cross-Linguale Unterschiede: Die Regressionsanalyse ergab keine signifikanten Unterschiede in den allgemeinen politischen Standpunkten zwischen Englisch und anderen westlichen Sprachen. Während geringfügige, statistisch signifikante Unterschiede bei spezifischen politischen Themen auftraten (z. B. zeigten Deutsch, Spanisch und Italienisch eine etwas stärkere Unterstützung für den Umweltschutz als Englisch), waren diese nicht systemisch über das gesamte Spektrum verteilt.
  • Modellvarianz: Signifikante Unterschiede wurden zwischen den Modellen gefunden (z. B. war Mixtral8x7B am stärksten linksgerichtet), aber nicht systematisch zwischen den Sprachen innerhalb desselben Modells.

• RQ2: Alignierte Modelle:

  • Einheitliche Verschiebung: Wenn Modelle unter Verwendung von rein englischen Daten aligniert wurden, trat die resultierende politische Verschiebung fast einheitlich in allen fünf Sprachen auf.
  • Validierung von H1: Die alignierten Modelle bewegten sich konsistent in Richtung des Ziel-Ideologiemodells (links oder rechts) in Deutsch, Französisch, Spanisch und Italienisch und spiegelten damit die Verschiebung in Englisch wider. Dies bestätigt, dass das Alignment eines MLLM in Englisch dieses Alignment effektiv auf andere westliche Sprachen überträgt.
  • Bestätigung durch offene Evaluation: Die offene Evaluierung bestätigte diese Ergebnisse und zeigte, dass der „Links-Score“ der generierten Texte über alle Sprachen hinweg konsistent basierend auf der Alignment-Richtung schwankte.

Wesentliche Beiträge

1. Robuste cross-linguale Evaluierung: Die Arbeit liefert eine detaillierte, robustheitsbewusste Evaluierung politischer Meinungen in mehreren nicht-alignierten MLLMs über fünf westliche Sprachen hinweg und filtert dabei Modelle heraus, die keine konsistenten Standpunkte liefern.
2. Analyse des Alignment-Transfers: Sie bietet eine gründliche Analyse darüber, wie die politische Ausrichtung in Englisch auf andere Sprachen propagiert, und zeigt, dass ein englischzentriertes Alignment einheitliche ideologische Verschiebungen über die gesamte multilinguale Kapazität des Modells hinweg induziert.
3. Methodische Erkenntnis: Die Studie hebt hervor, dass das Erreichen einer distinkten soziolinguistischen oder kulturellen Ausrichtung in MLLMs schwierig ist, da die internen Repräsentationen der Modelle offenbar von Englisch dominiert werden, was zu einem „Erstsprachen“-Effekt führt, bei dem das Alignment in einer Sprache das Verhalten in anderen Sprachen diktiert.

Bedeutung und Behauptungen
Die Autoren kommen zu dem Schluss, dass sich in westlichen Sprachkontexten politische Meinungen innerhalb von MLLMs zwischen den Sprachen übertragen. Dieses Ergebnis stellt die Annahme infrage, dass MLLMs problemlos distinkte soziokulturelle politische Nuancen für jede von ihnen unterstützte Sprache repräsentieren können.

Die Bedeutung dieser Arbeit liegt in der Identifizierung einer grundlegenden methodischen Einschränkung: Die Erstellung von Alignment-Datensätzen für einzelne Sprachen in Isolation ist unzureichelich, da die Sprachen innerhalb der MLLMs interdependent sind. Folglich ist das Erreichen eines expliziten soziolinguistischen, kulturellen und politischen Alignments, das regionale Unterschiede respektiert, inhärent schwierig. Das Paper legt nahe, dass zukünftige Arbeiten diese cross-lingualen Interaktionseffekte berücksichtigen müssen, wenn sie MLLMs in politischen Aufgaben über diverse soziolinguistische Kontexte hinweg einsetzen. Die Autoren bleiben hinsichtlich der kausalen Mechanismen bescheiden und merken an, dass zwar der Transfer offensichtlich ist, die spezifischen architektonischen oder Trainingsdynamiken, die dies antreiben (z. B. die Dominanz von Englisch im Pretraining vs. Post-Training Alignment), jedoch weiterer Untersuchungen bedürfen.