Do Political Opinions Transfer Between Western Languages? An Analysis of Unaligned and Aligned Multilingual LLMs

Résumé technique : Les opinions politiques se transfèrent-elles entre les langues occidentales ?

Énoncé du problème
Les enquêtes d'opinion publique démontrent systématiquement des différences transculturelles dans les positions politiques à travers divers contextes socio-linguistiques. Cependant, il reste incertain si ces variations humaines se traduisent par des différences translinguistiques chez les modèles de langage multilingues (MLLM). Alors que des recherches antérieures ont largement évalué les biais politiques dans les LLM exclusivement anglophones, le comportement des MLLM à travers différentes langues occidentales est sous-exploré. La question centrale de la recherche est de savoir si les MLLM reflètent des opinions politiques socio-culturelles distinctes pour chaque langue qu'ils supportent, ou si les opinions politiques sont transférées uniformément entre les langues en raison de la dominance de l'anglais dans les données de pré-entraînement et d'alignement.

Les auteurs définissent deux hypothèses concurrentes :

• H1 (Transfert d'opinion) : Les opinions politiques se transfèrent entre les langues ; l'alignement d'un modèle dans une langue affecte toutes les autres langues supportées de manière uniforme.
• H2 (Opinions distinctes) : Les MLLM maintiennent des opinions politiques distinctes pour chaque langue, permettant une divergence socio-culturelle.

Méthodologie
L'étude emploie un design expérimental en deux phases impliquant 15 MLLM non alignés et ajustés par instruction (instruction-tuned), de tailles variables (allant de 1B à 35B de paramètres) à travers cinq langues d'Europe occidentale : l'anglais, l'allemand, le français, l'espagnol et l'italien.

1. Filtrage de la robustesse (RQ1) :

   • Données : Les auteurs utilisent ProbVAA, un ensemble de données de 239 énoncés provenant d'applications de conseil de vote (VAA) européennes, classés en huit questions politiques (ex: protection de l'environnement, ordre et sécurité) avec des positions gauche/droite connues.
   • Vérification de la robustesse : Pour garantir la fiabilité du modèle, les auteurs appliquent un cadre de robustesse (adapté de Ceron et al., 2024) testant la cohérence face aux variations de prompts, incluant la paraphrase, la négation, l'inversion de réponse et les changements de formulation de templates. Seuls les modèles réussissant au moins 50 % de ces tests ont été conservés pour l'analyse translingue (six modèles : Phi3.5-3B, Llama3.1-8B, Aya23-8B, Mixtral8x7B, CommandR-35B, GPT3.5-turbo).
   • Analyse : Un modèle de régression bêta quantifie les effets de la langue et du modèle sur les positions politiques, l'anglais servant de langue de référence. Des tests non paramétriques de Kruskal-Wallis évaluent les différences significatives entre les langues.

2. Alignement politique et transfert (RQ2) :

   • Stratégie d'alignement : Deux modèles robustes (Phi3.5-3B et Llama3.1-8B) ont été alignés pour présenter des vues plus marquées à gauche ou à droite en utilisant l'optimisation de préférence directe (Direct Preference Optimization - DPO).
   • Source de données : Les ensembles de données d'alignement ont été construits à partir du corpus du Manifesto Project (MARPOR), en filtrant spécifiquement les manifestes de partis en langue anglaise. Deux approches d'annotation ont été utilisées :
     • Approche RiLe : Utilisation des scores gauche-droite existants basés sur les codes MARPOR.
     • Approche par question politique : Annotation des phrases de manifestes spécifiquement pour l'accord ou le désaccord avec les huit questions politiques cibles.
   • Évaluation : Les modèles alignés ont été réévalués sur l'ensemble de données ProbVAA dans les cinq langues. De plus, une tâche d'évaluation ouverte a été menée où les modèles ont généré des résumés partisans sur quatre questions politiques, les positions étant détectées par un LLM distinct (Llama-3.1-70B-Instruct).

Résultats clés

• RQ1 : Modèles non alignés :

  • Robustesse : La plupart des langues ont montré des niveaux de robustesse similaires, indiquant que les opinions politiques dans les langues non anglaises ne sont pas de simples artefacts d'une mauvaise génération, mais sont stables.
  • Différences translingues : L'analyse de régression n'a révélé aucune différence significative dans les positions politiques globales entre l'anglais et les autres langues occidentales. Bien que des différences mineures et statistiquement significatives soient apparues sur des questions politiques spécifiques (par exemple, l'allemand, l'espagnol et l'italien montraient un soutien légèrement plus fort pour la protection de l'environnement que l'anglais), celles-ci n'étaient pas systématiques sur l'ensemble du spectre.
  • Variance des modèles : Des différences significatives ont été trouvées entre les modèles (par exemple, Mixtral8x7B était le plus à gauche), mais pas systématiquement entre les langues au sein d'un même modèle.

• RQ2 : Modèles alignés :

  • Décalage uniforme : Lorsque les modèles ont été alignés en utilisant des données exclusivement anglaises, les décalages politiques résultants se sont produits de manière presque uniforme dans les cinq langues.
  • Validation de H1 : Les modèles alignés se sont déplacés de manière cohérente vers l'idéologie cible (gauche ou droite) en allemand, français, espagnol et italien, reflétant le décalage observé en anglais. Cela confirme qu'aligner un MLLM en anglais transfère efficacement cet alignement vers les autres langues occidentales.
  • Confirmation par évaluation ouverte : L'évaluation ouverte a corroboré ces résultats, montrant que le "Score de Gauche" du texte généré a dérivé de manière cohérente à travers les langues selon la direction de l'alignement.

Contributions clés

1. Évaluation translingue robuste : Le papier fournit une évaluation détaillée, tenant compte de la robustesse, des opinions politiques de plusieurs MLLM non alignés à travers cinq langues occidentales, en filtrant les modèles qui ne fournissent pas de positions cohérentes.
2. Analyse du transfert d'alignement : Il offre une analyse approfondie de la manière dont l'alignement politique en anglais se propage aux autres langues, démontrant que l'alignement centré sur l'anglais induit des décalages idéologiques uniformes sur l'ensemble de la capacité multilingue du modèle.
3. Aperçu méthodologique : L'étude souligne que l'obtention d'un alignement socio-linguistique ou culturel distinct dans les MLLM est difficile car les représentations internes des modèles semblent être dominées par l'anglais, menant à un effet de "première langue" où l'alignement dans une langue dicte le comportement dans les autres.

Signification et affirmations
Les auteurs concluent que, dans les contextes de langues occidentales, les opinions politiques se transfèrent entre les langues au sein des MLLM. Cette conclusion remet en question l'hypothie selon laquelle les MLLM peuvent facilement représenter des nuances politiques socio-culturelles distinctes pour chaque langue qu'ils supportent.

La portée de ce travail réside dans l'identification d'une contrainte méthodologique fondamentale : créer des ensembles de données d'alignement pour des langues individuelles de manière isolée est insuffisant car les langues sont interdépendantes au sein des MLLM. Par conséquent, atteindre un alignement socio-linguistique, culturel et politique explicite respectant les différences régionales est intrinsèquement difficile. Le papier suggère que les travaux futurs doivent prendre en compte ces effets d'interaction translinguistiques lors du déploiement des MLLM dans des tâches politiques à travers divers contextes socio-linguistiques. Les auteurs restent modestes quant aux mécanismes causaux, notant que bien que le transfert soit évident, les dynamiques architecturales ou d'entraînement spécifiques qui le pilotent (ex: dominance de l'anglais dans le pré-entraînement vs post-entraînement) nécessitent des investigations supplémentaires.