Framing Political Bias in Multilingual LLMs Across Pakistani Languages

Résumé Technique : Cadrage du Biais Politique dans les LLM Multilingues à travers les Langues Pakistanaises

Énoncé du Problème
Alors que les grands modèles de langage (LLM) façonnent de plus en plus le discours public, les évaluations du biais politique et économique se sont principalement concentrées sur les langues à hautes ressources et occidentales. Cela crée des angles morts critiques dans les régions multilingues à faibles ressources comme le Pakistan, où l'identité linguistique est inextricablement liée aux idéologies politiques, religieuses et régionales. Les outils de détection de biais existants reposent souvent sur des taxonomies politiques occidentales et ne parviennent pas à rendre compte du cadrage des idéologies dans les langues à faibles ressources. Par conséquent, les LLM peuvent interpréter à tort des déclarations culturellement ancrées (par exemple, les principes de justice traditionnels) comme un soutien à la violence ou comme un biais, déformant ainsi le discours civique et marginalisant les perspectives minoritaires. Il existe un manque de cadres systématiques pour auditer le biais politique à travers les cinq principales langues pakistanaises : l'ourdou, le pendjabi, le sindhi, le pashto et le balochi.

Méthodologie
Les auteurs proposent un nouveau cadre culturellement ancré qui intègre la détection de la posture idéologique à une analyse de cadrage narratif à plusieurs niveaux. La méthodologie se compose de trois composantes primaires :

1. Test de Boussole Politique (PCT) Adapté Culturellement :

   • L'étude adapte le PCT standard de 62 énoncés, en les traduisant et en les validant culturellement pour cinq langues pakistanaises.
   • Le cadre projette les réponses des modèles sur un espace idéologique bidimensionnel : les valeurs économiques (Gauche vs Droite) et les valeurs sociales (Libertaire vs Autoritaire).
   • Une approche computationnelle en deux étapes quantifie la posture : d'abord, en calculant un score scalaire basé sur la confiance du classificateur (Fortement d'accord à Fortement en désaccord), puis, en discrétisant ce score en catégories ordinales pour projeter les modèles sur le plan $(S_{eco}, S_{soc})$.
   • Le jeu de données comprend 4 030 réponses générées par 13 LLM de pointe (sources ouvertes et fermées) à travers les cinq langues, vérifiées par des locuteurs natifs avec un kappa de Fleiss de 0,99.

2. Analyse du Cadrage Idéologique :

   • Pour capturer comment les modèles expriment le biais, les auteurs génèrent un corpus d'environ 444 340 titres de presse à travers 11 sujets politiquement saillants (ex. : Lois sur le blasphème, Peine de mort, Droits LGBTQ, Droits des minorités).
   • Cadrage de Contenu : Les titres sont classés selon les 15 dimensions de cadrage transversales de Boydstun (ex. : Moralité, Économie, Identité culturelle) via GPT-3.5-turbo pour déterminer les stratégies narratives dominantes.
   • Analyse Basée sur les Entités : La reconnaissance d'entités nommées (utilisant un modèle BERT multilingue) extrait les figures et institutions politiques. L'étude calcule la prominence des entités et la polarité du sentiment (utilisant XLM-RoBERTa affiné) pour identifier quels acteurs sont mis en avant et comment ils sont dépeints (positif/négatif/neutre).

3. Configuration Expérimentale :

   • L'étude évalue 13 LLM en utilisant le prompting zero-shot.
   • Elle inclut une analyse spécifique des modèles "culturellement adaptatifs" (affinés sur l'ourdou) pour comparer leurs scores de biais par rapport aux références SOTA standards.
   • La robustesse est testée en utilisant cinq variantes de prompts sémantiquement équivalentes mais instructionnellement distinctes.

Principales Contributions

• Première Évaluation à Grande Échelle : Il s'agit de la première étude à mener une évaluation de biais politique à grande échelle à travers cinq langues pakistanaises (ourdou, pendjabi, sindhi, pashto, balochi).
• Cadre Novateur : Les auteurs introduisent le premier cadre combinant le PCT pour le positionnement idéologique et l'analyse de cadrage narratif (contenu, style et focalisation sur les entités) spécifiquement pour le discours politique pakistanais.
• Adaptation Culturelle : Le travail fournit un PCT culturellement adapté avec des traductions vérifiées par l'humain couvrant 11 sujets ancrés dans le discours local, allant au-delà des instruments génériques occidentaux.
• Jeu de Données Complet : La publication d'un jeu de données multilingue de référence comprenant les traductions du PCT et un vaste corpus de génération de titres pour l'analyse du biais.

Résultats

• Modulation Idéologique Conditionnée par la Langue : Bien que les LLM reflètent principalement des orientations libérales-gauches cohérentes avec les données d'entraînement occidentales en anglais, ils présentent des changements significatifs dans les langues pakistanaises. Par exemple, les modèles GPT ont tendance à adopter des positions libertaires-gauches en anglais, mais basculent vers des postures autoritaires-gauches ou autoritaires-droites dans les langues régionales comme l'ourdou et le pendjabi.
• Cadrage Autoritaire dans les Langues Régionales : Les modèles présentent un cadrage plus autoritaire dans les langues régionales par rapport à l'anglais, soulignant que le choix linguistique active des glissements idéologiques culturellement spécifiques.
• Modèles de Types Différents :
  • Claude démontre systématiquement la posture libertaire la plus forte à travers les langues.
  • GPT-4-turbo penche le plus vers la gauche économique.
  • Les modèles open-source (ex. : Mistral, DeepSeek) restent généralement plus libéraux-libertaires, tandis que les modèles affinés en ourdou ont montré une tendance à basculer vers des postures autoritaires-droites dans certains contextes.
  • Les variantes de BERT avaient tendance à pencher à droite à travers les langues.
• Cadrage et Sentiment :
  • Les modèles utilisent des cadres d' "Identité Culturelle" variables lors de discussions sur les minorités religieuses. Les modèles à tendance autoritaire ont tendance à cadrer les droits des minorités à travers des hiérarchies institutionnelles et géographiques (mettant l'accent sur l'État), tandis que les modèles libertaires incorporent des cadres juridiques et des expériences régionales plus larges.
  • L'analyse de sentiment révèle que des sujets sensibles comme les lois sur le blasphème et la peine de mort suscitent un sentiment massivement négatif, tandis que des sujets comme la politique éducative et linguistique montrent des tons plus positifs ou pleins d'espoir.
• Impact du Fine-Tuning : Les modèles culturellement adaptés (affinés) ont produit des réponses plus équilibrées et centrées, avec des scores de biais plus faibles que les références SOTA, suggérant que l'adaptation culturelle-linguistique peut promouvoir la neutralité politique.

Signification
L'article soutient que le biais politique dans les LLM n'est pas simplement un problème de traduction, mais une interaction complexe entre le contexte linguistique et l'idéologie culturelle. Les conclusions démontent que les cadres politiques occidentaux peuvent mal caractériser la pensée locale, risquant d'amplifier les inégalités pour les locuteurs de langues à faibles ressources. En reliant le PCT aux dimensions de cadrage narratif, l'étude offre une méthodologie reproductible pour diagnostiquer le biais politique dans les LLM multilingues. Les auteurs concluent que la construction de systèmes d'IA justes et inclusifs pour des sociétés linguistiquement diverses nécessite des cadres d'évaluation culturellement ancrés qui dépassent les hypothèses occidentalo-centrées afin de garantir un déploiement de l'IA équitable et responsable.