Résumé technique : Les individus ne sont pas seulement leurs pays

Problématique

Alors que les modèles de langage de grande taille (LLM) deviennent des sources primaires d'information et de conseils, comprendre leur alignement de valeurs avec les populations humaines est crucial. La littérature existante sur l'alignement des valeurs des LLM repose principalement sur des enquêtes à grande échelle (par exemple, le World Values Survey) et se concentre sur des comparaisons transnationales ou transculturelles. Cette approche traite souvent les pays comme des unités monolithiques, négligeant le rôle des clivages sociodémographiques (tels que l'éducation, le revenu et la religion) dans la création de disparités d'alignement des valeurs. De plus, l'utilisation répétée d'enquêtes établies comme le World Values Survey (WVS) soulève des préoccupations concernant la contamination des données, car les LLM pourraient avoir mémorisé ces jeux de données spécifiques. Il existe un manque de recherche pour démêler les contributions du pays de résidence par rapport aux caractéristiques sociodémographiques individuelles pour expliquer les modèles d'alignement des valeurs, particulièrement dans un contexte européen.

Méthodologie

L'étude répond à ces lacunes en exploitant la 11e vague de l'European Social Survey (ESS), menée entre 2023 et 2024 dans 29 pays européens et en Israël.

• Source de données : L'analyse utilise 50 116 répondants de l'ESS, incorporant 47 questions d'enquête liées aux valeurs (excluant les éléments spécifiques au pays). Un sous-ensemble de 21 questions correspond au Portrait Value Questionnaire (PVQ) basé sur la théorie des valeurs humaines fondamentales de Schwartz.
• Modèles : L'étude évalue 10 LLM commerciaux de premier plan provenant de quatre fournisseurs : OpenAI (variantes GPT-5), Anthropic (variantes Claude Opus/Sonnet), Mistral (divers efforts de raisonnement) et DeepSeek (V3/V4).
• Stratégie de prompting : Les modèles ont été sollicités 20 fois par question en anglais en utilisant un schéma standardisé. Les réponses ont été mappées sur des catégories d'échelle de Likert. Pour garantir la robustesse, les réponses ont été agrégées via un vote majoritaire entre les appels de modèle.
• Définition du score d'alignement : Un score d'alignement ($A_{p,m,q}$) est calculé pour chaque personne $p$ et modèle $m$ sur la question $q$ comme la distance normalisée entre la réponse humaine et le vote majoritaire du modèle sur l'échelle de Likert, allant de 0 à 1.
• Approche analytique :
  1. Déviation agrégée : Calcul des écarts moyens inter-modèles ($d_{G,M,Q}$) pour les groupes sociodémographiques et les pays par rapport à la moyenne de la population.
  2. Pondération par l'inverse de la propension (IPW) : Repondération des échantillons nationaux pour correspondre à la distribution sociodémographique globale de l'ESS afin de tester si les différences de pays sont de simples artefacts de la composition démographique.
  3. Décomposition de la variance : Utilisation de la régression par moindres carrés ordinaires (OLS) et de modèles de boosting de gradient (XGBoost) pour prédire les scores d'alignement individuels. L'étude compare la variance expliquée ($R^2$) par : (i) le pays de résidence uniquement, (ii) les données sociodémographiques uniquement, et (iii) la combinaison des deux.

Résultats clés

1. Disparités sociodémographiques

Les LLM présentent un alignement inégal entre les groupes sociodémographiques. L'analyse révèle que l'alignement est significativement plus élevé pour les groupes présentant :

• Un statut socio-économique élevé : Les individus ayant un niveau d'éducation plus élevé, des déciles de revenus plus élevés et ceux occupant des emplois de type "col blanc" présentent un meilleur alignement.
• Des origines occidentales : Les répondants ayant des origines migratoires occidentales s'alignent mieux que ceux ayant des origines non occidentales.
• Le sécularisme : Les individus non religieux et ceux ayant des scores de religiosité plus faibles s'alignent mieux que les individus religieux, particulièrement les musulmans et les orthodoxes orientaux, qui présentent les déviations les plus négatives.
• L'intérêt politique : Un intérêt politique élevé est corrélé à un meilleur alignement.
• Tendances générationnelles : Un profil en forme de U émerge où les cohortes les plus jeunes et les plus âgées s'alignent moins bien que les groupes d'âge moyen, bien que cela varie selon le modèle.

2. Effets au niveau des pays

• Variation géographique : Des disparités significatives existent entre les pays. Les pays scandinaves et d'Europe centrale présentent l'alignement le plus élevé, tandis que les pays des Balkans et des pays baltes présentent le plus faible. La différence entre les pays les mieux alignés et les moins bien alignés (Suède vs Bulgarie) est de 0,0896, dépassant la variation trouvée au sein de n'importe quel facteur sociodémographique unique.
• Indépendance vis-à-vis de la composition : L'analyse par pondération par l'inverse de la propension démontre que le repondérage des pays pour qu'ils aient des compositions sociodémographiques identiques ne réduit pas de manière significative la variance des scores d'alignement au niveau des pays. Cela indique que le pays de résidence explique les disparités d'alignement indépendamment de la composition sociodémographique de la population.

3. Décomposition de la variance

• Facteurs complémentaires : Le pays de résidence et les données sociodémographiques sont complémentaires pour expliquer l'alignement des valeurs. La combinaison de ces deux facteurs produit le pouvoir explicatif le plus élevé.
• Poids relatif : Pour l'ensemble complet des questions, le pays de résidence seul explique une part substantielle de la variance (allant de ~7% à ~28% selon le modèle), ce qui est comparable à l'ensemble des 15 variables sociodémographiques.
• Sensibilité de l'ensemble de questions : Le pouvoir prédictif du pays de résidence varie selon le type de question. Pour l'ensemble de questions plus large ($Q$), le pays est un prédicteur fort. Cependant, pour les questions PVQ plus abstraites, la variance expliquée par le pays diminue notablement pour la plupart des modèles, suggérant que les valeurs abstraites sont davantage dictées par la démographie individuelle, tandis que les positions plus larges sont davantage influencées par le contexte national (climat politique/médias).

Signification et contributions

L'article revendique trois contributions principales :

1. Première évaluation sociodémographique transnationale : Il fournit la première évaluation de l'alignement des valeurs à travers les sociodémographies en utilisant l'ESS, offrant une alternative au WVS potentiellement contaminé.
2. Preuve de la reproduction du modèle WEIRD : L'étude confirme que les LLM reproduisent les modèles mondiaux d'alignement envers les populations "WEIRD" (occidentales, éduquées, industrialisées, riches et démocratiques). Plus précisément, au sein de l'Europe, les LLM sont mieux alignés avec les populations plus riches, plus éduquées et plus occidentales, ce qui pourrait renforcer les valeurs des populations déjà privilégiées.
3. Démêler géographie et démographie : La recherche établit que le pays de résidence est une variable distincte et critique dans la recherche sur l'alignement. Il ne peut être remplacé par les seules données sociodémographiques, ni être entièrement expliqué par elles. Les deux facteurs sont complémentaires, leur importance relative changeant en fonction de la définition spécifique des "valeurs" mesurées (abstraites vs pratiques).

Les auteurs concluent que, bien que les données sociodémographiques soient cruciales, ignorer le rôle spécifique du contexte national conduit à une compréhension incomplète des disparités d'alignement des valeurs. Ils soulignent la nécessité d'une conception sensible aux valeurs qui tienne compte de ces couches d'inégalité intersectionnelles.