Résumé technique : PLURAL : Un ensemble de données mondial pour l'alignement des valeurs

Problématique

Les grands modèles de langage (LLM) reflètent actuellement de manière disproportionnée les valeurs occidentales et anglophones, ce qui entraîne des préjudices de représentation pour les utilisateurs internationaux, tels que l'homogénéisation des valeurs culturelles dans les textes générés. Bien que des efforts récents se soient concentrés sur des modèles de langage « souverains » pour des langues spécifiques, ces modèles restent souvent « fluents mais étrangers », maîtrisant la syntaxe locale tout en conservant des systèmes de valeurs culturelles américains. Les ensembles de données d'alignement existants (ex. : PRISM, Community Alignment) souffrent de deux limitations principales : (1) La portée : ils manquent de données représentatives au niveau national à travers un large éventail de pays, penchant souvent lourdement vers les démographies occidentales ou hautement éduquées ; et (2) L'utilisabilité : ils capturent des préférences sur des réponses d'assistants génériques plutôt que d'isoler les valeurs normatives sous-jacentes qui façonnent ces préférences. Le défi central est de créer une ressource évolutive capable de capturer la diversité des valeurs humaines à travers les cultures tout en produisant des données adaptées à l'alignement post-entraînement.

Méthodologie

Les auteurs introduisent PLURAL (Preference Library for Multi-Region Alignment), un vaste ensemble de données de préférences synthétiques fondé sur l'Integrated Values Survey (IVS), une enquête nationalement représentative couvrant 92 pays avec plus de 156 000 participants.

Pipeline de construction des données

La construction de PLURAL repose sur un pipeline de génération en deux étapes conçu pour transformer les réponses d'enquête concises à choix fixes en triplets de préférences réalistes $(prompt, réponse\_préférée, réponse\_dépréciée)$ :

1. Ancrage et filtrage :

   • Les auteurs utilisent l'IVS (combinant les données du World Values Survey et du European Values Study).
   • Ils reconstruisent 59 groupes de questions d'origine pour préserver la structure de l'enquête.
   • En utilisant la hiérarchie des croyances de Milton Rokeach, ils filtrent ces groupes pour ne conserver que les croyances prescriptives (valeurs normatives concernant ce que les gens devraient faire), excluant les croyances descriptives (perceptions de la réalité) et primitives (vérités fondées sur la foi). Cela aboutit à 41 groupes de questions axés sur les valeurs.

2. Échantillonnage stratifié :

   • Pour garantir la représentativité, les auteurs emploient un échantillonnage proportionnel stratifié basé sur le sexe, l'âge (quatre tranches) et l'éducation (trois niveaux).
   • Une première version couvre 20 pays culturellement divers avec 100 participants représentatifs par pays ($N=2\,000$), produisant environ 500 000 triplets de préférences.

3. Génération synthétique (en deux étapes) :

   • Étape 1 (Génération de triplets) : Pour chaque participant et groupe de questions, un LLM reçoit le profil démographique et les réponses de l'enquête du participant. Le modèle génère un scénario réaliste (prompt) et deux réponses : l'une alignée avec les valeurs du participant (préférée) et l'autre reflétant une position contrastée (dépréciée). Cinq triplets sont générés par groupe pour assurer la diversité des scénarios.
   • Étape 2 (Expansion des réponses) : Un second passage par un LLM développe les réponses concises de l'étape 1 en réponses de type assistant, naturelles et conversationnelles, tout en maintenant strictement la posture de valeur sous-jacente.
   • Contrôle qualité : La génération est effectuée en anglais pour isoler les valeurs de la variation linguistique. Le pipeline utilise un pool de LLM de pointe (GPT-5 Mini, Mistral Large 3, DeepSeek-v3.2) avec un décodage stochastique pour réduire le biais spécifique aux modèles. La vérification manuelle confirme que les données sont fidèles aux réponses de l'IVS et évitent les stéréotypes génériques.

Cadre d'évaluation

Les auteurs évaluent PLURAL à l'aide de trois méthodes complémentaires à travers cinq pays cibles (Inde, Brésil, Japon, Malaisie, Zimbabwe) :

1. Validation au niveau du dataset : Vérifier que les données synthétiques préservent les différences de valeurs inter-pays et la diversité intra-pays observées dans l'IVS original. Cela implique d'entraîner des classificateurs pour prédire le pays à partir des plongements (embeddings) de valeurs et de comparer les distributions de distances par paires.
2. Évaluation automatisée : Affiner des modèles déjà entraînés pour l'instruction (spécifiquement llama-3.1-8b-instruct) sur PLURAL en utilisant l'optimisation de préférence directe (DPO). Les modèles résultants sont évalués par rapport au benchmark LLM-GLOBE, qui sonde l'alignement culturel à travers neuf dimensions (ex. : Évitement de l'incertitude, Orientation vers la performance) via des dilemmes ouverts. La performance est mesurée par l'erreur absolue moyenne (MAE) par rapport aux scores GLOBE nationaux de référence.
3. Évaluation humaine : Une évaluation par paire en aveugle avec 176 évaluateurs en Inde, au Brésil et au Japon, leur demandant de juger quelle réponse de modèle est la plus typique de leurs valeurs nationales.

Résultats clés

1. Validité du dataset

• Différences inter-pays : Un classificateur entraîné sur les embeddings de PLURAL a atteint une précision de 78,0 % pour prédire le pays d'un répondant (hasard = 20 %), démontrant que des signaux de valeurs spécifiques aux pays sont préservés après la génération synthétique.
• Diversité intra-pays : La distribution des distances cosinus par paires entre les répondants dans PLURAL correspond étroitement aux données originales de l'IVS (distance de Wasserstein moyenne de 0,051), indiquant l'absence de « collapse de template » où des individus divers seraient mappés vers des scénarios identiques.

2. Performance de l'alignement automatisé

• Alignement amélioré : Les modèles affinés sur PLURAL ont systématiquement surpassé les bases solides (Vanilla, Demographic Prompting, Aggregate Prompting et Community Alignment DPO).
• Réduction de l'erreur : L'entraînement sur PLURAL a réduit l'erreur absolue moyenne (MAE) par rapport aux profils GLOBE cibles de 15,7 % (Japon) à 27,7 % (Inde).
• Gains dimensionnels : Des améliorations ont été observées sur 7 des 9 dimensions de GLOBE, particulièrement pour la Hiérarchie, l'Ambition et la Coordination Sociale. Des dimensions comme l'Égalité des genres ont montré un changement minimal, probablement dû à des conflits avec les normes de sécurité existantes dans les modèles de base.
• Généralisation : Le signal de valeur s'est transféré à travers les familles de modèles, montrant des améliorations sur les modèles qwen-2.5-7b et qwen-2.5-14b.

3. Évaluation humaine

• Préférence : Les évaluateurs ont préféré le modèle aligné sur PLURAL par rapport à la base Vanilla dans 66 % des cas au total. Des gains significatifs ont été observés en Inde (72 %) et au Japon (71 %).
• Retour qualitatif : Les évaluateurs ont décrit les réponses alignées sur PLURAL comme « quintessentielles de l'Inde » ou alignées avec les « vertus traditionnelles japonaises », notant la capture d'artefacts culturels spécifiques (ex. : l'usage de WhatsApp pour la coordination familiale en Inde).

4. Comparaisons avec les bases de référence

• Vs. Prompting : Le prompting démographique et agrégé a produit des gains négligeables ou inconsistants par rapport au fine-tuning sur des données ancrées.
• Vs. Datasets existants : PLURAL a surpassé le dataset Community Alignment (qui couvre moins de pays) et a montré des résultats supérieurs par rapport à une base de référence synthétique ancrée dans des personas diversifiés (PersonaHub) plutôt que dans de réelles données d'enquête.
• Préservation des capacités : Le fine-tuning sur PLURAL n'a pas dégradé les capacités générales ; les scores MMLU sont restés stables ou ont légèrement progressé.

Signification et affirmations

L'article affirme que PLURAL fournit un signal évolutif et apprenable pour le pilotage des valeurs, démontant qu'il est possible d'aligner les LLM avec les distributions de valeurs de populations diverses en utilisant des enquêtes nationalement représentatives.

• Alignement pluraliste : Ce travail fait progresser l'agenda de l'alignement pluraliste en passant de modèles « fluents mais étrangers » à des modèles capables d'engager la pluralité des valeurs humaines.
• Ancrage dans la réalité : En ancrant les données synthétiques dans l'IVS, les auteurs montrent que les réponses d'enquêtes réelles fournissent un signal d'alignement de valeur plus fort qu'une génération purement conditionnée par des personas.
• Limites et travaux futurs : Les auteurs notent modestement que bien que PLURAL contienne le signal, les méthodes de post-entraînement actuelles (spécifiquement la DPO) compressent la diversité inter-pays, ne conservant qu'environ 18 % de la variation présente dans les profils de vérité terrain. Ils soulignent que la tension entre la représentation culturelle et les normes de sécurité (ex. : Égalité des genres) reste un défi ouvert. Ils positionnent PLURAL non pas comme une solution finale, mais comme une ressource permettant aux chercheurs d'étudier empiriquement comment naviguer entre des valeurs conflictuelles et préserver la pluralité dans les futurs systèmes d'alignement.