Large Language Models are Perplexed by some Political Parties

Résumé technique : Les modèles de langage de grande taille sont perplexes face à certains partis politiques

Énoncé du problème
Alors que les modèles de langage de grande taille (LLM) sont de plus en plus déployés dans des applications politiques, leur équité politique reste sous-étudiée. La littérature existante évalue principalement les « biais politiques » des LLM ajustés par instructions (IT-LLM) en utilisant des méthodes basées sur des sondages (par exemple, demander aux modèles de répondre à des questions de boussole politique). Ces méthodes souffrent souvent d'une fragilité concernant la formulation des prompts et sont généralement inapplicables aux LLM de base (base LLMs). De plus, des travaux antérieurs sur l'équité de la traduction (Lerner et Yvon, 2025) suggèrent que la qualité de la traduction varie selon l'affiliation politique de l'interlocuteur, mais cela repose sur des corpus parallèles et des métriques en aval. Les auteurs postulent qu'un modèle équitable devrait assigner une probabilité égale (perplexité) aux textes, quel que soit leur contenu partisan, mais on ignore si les LLM de base présentent une injustice systématique dans leurs distributions de pré-entraînement à travers divers groupes politiques et langues.

Méthodologie
Les auteurs proposent une méthode pour évaluer l'équité politique en utilisant la perplexité (et des métriques informationnelles connexes comme la log-vraisemblance négative, les bits par caractère et les bits par caractère anglais) sur des corpus monolingues. L'hypothèse centrale est qu'un modèle équitable doit présenter une perplexité égale pour les textes de tous les groupes politiques.

• Jeux de données : L'étude utilise trois jeux de données couvrant 37 langues :
  1. Manifesto : Programmes des partis politiques (2018–présent).
  2. Parlamint : Débats parlementaires nationaux (2022–présent).
  3. 21-EuroParl : Un corpus multi-parallèle des procédures du Parlement européen (2009–2011) aligné au niveau de la phrase dans 21 langues.
• Modèles : Les expériences couvrent dix LLM issus de trois familles (Gemma-3, Qwen3, Llama-3.1) en deux tailles (4B/8B et 8B/70B), en évaluant à la fois les modèles de base et leurs homologues ajustés par instructions (IT-LLM).
• Métriques et analyse :
  • Évaluation de l'équité : Les auteurs calculent la perplexité (PPL), le BPC et le BPEC sur des textes stratifiés par parti politique. Pour déterminer si la perplexité varie de manière significative selon le parti, ils emploient une analyse de Kruskal-Wallis (un ANOVA non paramétrique).
  • Agrégation : Pour la comparaison inter-langues, ils utilisent une agrégation par compte de Borda pour classer les partis ou les familles politiques (par exemple, Social-Démocrate vs Nationaliste) en fonction de leurs scores de perplexité.
  • Corrélation : Pour lier l'équité du pré-entraînement à la performance en aval, ils calculent la corrélation de Spearman entre la perplexité du modèle de base et les métriques de traduction en aval (sBLEU et COMET) de l'IT-LLM correspondant.

Résultats clés

1. Injustice systématique dans le pré-entraînement : À travers dix LLM et des jeux de données couvrant 37 langues, les LLM sont systématiquement plus perplexes face aux textes des partis d'extrême droite et nationalistes par rapport aux partis sociaux-démocrates.
   • Dans l'étude de cas sur le portugais, les partis radicaux de gauche et d'extrême droite présentaient les NLL les plus élevés (les plus mauvais), tandis que le parti socialiste de gauche présentait le NLL le plus bas (le meilleur).
   • Agrégés sur 10 langues dans le jeu de données Manifesto, les partis Nationalistes/Radicaux de Droite ont systématiquement reçu les pires scores de Borda (classement le plus bas), tandis que les partis Social-Démocrates ont reçu les meilleurs.
2. Base vs Ajustement par instructions : L'injustice politique observée dans les modèles de base est fortement corrélée à celle de leurs homologues ajustés par instructions (corrélation de Pearson $r \approx 0,99$). L'étude conclut que l'ajustement par instructions ne modifie pas de manière significative l'équité politique sous-jacente établie lors du pré-entraînement.
3. Corrélation avec la traduction en aval : Il existe une forte corrélation négative entre la perplexité du texte d'un parti politique dans un modèle de base et la qualité de la traduction (sBLEU/COMET) de ce texte lorsqu'il est généré par l'IT-LLM.
   • Les partis ayant une perplexité plus élevée (probabilité plus faible assignée par le modèle) reçoivent des scores de traduction inférieurs.
   • Cette corrélation se maintient même en utilisant la perplexité non conditionnée (sans contexte de texte source), suggérant que la difficulté intrinsèque du modèle à modéliser le langage d'un groupe politique spécifique impacte directement sa capacité à générer ou traduire ce langage plus tard.

Contributions clés

• La perplexité comme métrique d'équité : Le papier introduit une méthode pour évaluer l'équité politique en utilisant la perplexité sur des corpus monolingues simples, applicable aux modèles de base et ajustés par instructions sans nécessiter de traductions de référence ou de prompts de sondage.
• Origine du biais dans le pré-entraînement : Les auteurs démontrent que les problèmes d'équité politique proviennent principalement de la phase de pré-entraînement, car les modèles de base et leurs homologues IT présentent des profils d'équité quasi identiques.
• Cohérence multilingue : Les résultats se vérifient sur 37 langues et 420 paires de langues, suggérant que les caractéristiques politiques sont partagées entre les langues au sein d'un même modèle plutôt que d'être des sous-espaces spécifiques à chaque langue.
• Prédiction de la performance en aval : L'étude établit que la perplexité du modèle de base peut prédire l'équité de la traduction en aval, offrant un moyen d'estimer le biais de traduction sans données parallèles.

Signification et affirmations
Le papier affirme que l'équité politique des LLM n'est pas un spectre progressif gauche-droite, mais plutôt un désavantage spécifique pour certains groupes (particulièrement les partis d'extrême droite et nationalistes) par rapport aux sociaux-démocrates. Les auteurs soutiennent que puisque ce biais provient du pré-entraînement, les méthodes standards d'alignement par ajustement d'instructions sont insuffisantes pour le corriger. Par conséquent, ce travail appelle à :

• Des méthodes d'alignement post-entraînement alternatives.
• La conception de méthodes de pré-entraînement équitables.
• Une réflexion plus large sur l'intégration des LLM dans des applications politiques sensibles.

L'étude se distingue de la littérature antérieure basée sur les sondages en se concentrant sur les distributions de probabilité intrinsèques du modèle plutôt que sur ses réponses générées à des prompts, fournissant la preuve que le « biais politique » est une propriété fondamentale de la distribution d'entraînement du modèle.