💬 NLP

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

Cet article introduit les Population Aligned Language Models (PALMs), une suite de modèles alignés sur des populations nationales spécifiques en exploitant des rationnels fondés sur des construits multiples pour l'ajustement des préférences, ce qui surpasse de manière significative les bases de référence existantes dans la simulation de diverses valeurs culturelles, croyances et raisonnements sociaux sans nécessiter de supervision spécifique à la tâche.

Auteurs originaux : Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Publié 2026-08-04

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre les êtres humains. En ce moment, la plupart des robots sont comme des chefs cuisiniers généralistes qui ont goûté un peu de tout, mais qui ne savent pas vraiment cuisiner le plat préféré d'une famille spécifique. Ils peuvent savoir ce qu'est la « nourriture », mais ils ne comprennent pas tout à fait pourquoi une grand-mère en Italie pourrait préférer un ragoût mijoté lentement tandis qu'un adolescent au Brésil pourrait avoir envie d'une feijoada épicée. C'est le monde des grands modèles de langage (LLM) — des programmes informatiques super intelligents capables d'écrire, de discuter et de résoudre des problèmes. Mais voici la partie délicate : ces robots agissent souvent comme s'ils étaient une seule personne moyenne et unique. Ils passent à côté des règles invisibles et profondes qui font que différents groupes de personnes pensent et ressentent les choses différemment.

Pour corriger cela, les scientifiques étudient les « préférences » — ce que les gens aiment, croient et valorisent. Ils savent que nos choix ne sont pas simplement aléatoires ; ils sont façonnés par nos personnalités (sommes-nous aventureux ou prudents ?), notre culture (valorisons-nous le groupe ou l'individu ?) et notre boussole morale (qu'est-ce qui est juste ou droit ?). La grande question que les chercheurs se posent est la suivante : comment apprendre à un robot à cesser d'agir comme un « humain moyen » générique pour commencer à agir comme une personne spécifique issue d'un lieu précis, avec toutes ses particularités et son bagage culturel ? Si nous pouvons y parvenir, ces robots pourraient être bien meilleurs pour nous aider, nous comprendre et même simuler la façon dont de vraies personnes pourraient réagir à de nouvelles idées.

C'est là qu'une nouvelle équipe de chercheurs intervient avec une solution ingénieuse appelée PALMs (Population Aligned Language Models - Modèles de Langage Alignés sur la Population). Pensez à un robot standard comme à un étudiant qui essaie de mémoriser les réponses à un examen en regardant simplement la note finale. Il peut obtenir la bonne réponse, mais il ne comprend pas vraiment pourquoi elle est correcte. Les chercheurs derrière les PALMs ont réalisé que pour vraiment comprendre une population, le robot doit apprendre la « recette secrète » derrière les réponses. Ils ne se sont pas contentés de nourrir le robot de données sur ce que les gens disaient ; ils lui ont appris à écrire un « journal de raisonnement » avant de donner une réponse.

Voici comment ils ont procédé : ils ont créé cinq versions spéciales de robots, une pour chacune de cinq nations : les États-Unis, l'Inde, le Brésil, la France et l'Italie. Mais au lieu de simplement dire au robot « Tu es américain », ils lui ont donné un arsenal beaucoup plus profond. Ils ont appris au robot à réfléchir en utilisant cinq lentilles spécifiques, comme une paire de lunettes spéciales qui changent la vue :

Personnalité : La personne est-elle ouverte aux nouvelles idées ou aime-t-elle la routine ?
Culture : Valorise-t-elle l'indépendance ou la cohésion du groupe ?
Valeurs : Qu'est-ce qui la motive ? Est-ce la liberté, la sécurité ou l'aide aux autres ?
Croyances mondiales : Voit-elle le monde comme un endroit sûr et excitant ou comme un endroit dangereux et chaotique ?
Moralité : Que considère-t-elle comme juste ou sacré ?

Le robot a été entraîné à écrire une courte histoire en utilisant ces cinq lentilles pour expliquer pourquoi une personne de ce pays choisirait une réponse plutôt qu'une autre. Par exemple, si un Brésilien préfère un certain type de musique, le robot ne dit pas seulement « Il aime ça ». Il écrit une petite note disant : « Parce que cette personne valorise la communauté et le plaisir sensoriel (Culture et Valeurs), et voit le monde comme un lieu rempli d'opportunités amusantes (Croyances mondiales), cette musique lui semble appropriée. » Le robot s'est exercé encore et encore, apprenant à cacher ces « notes de raisonnement » à l'intérieur de son cerveau afin de pouvoir les utiliser automatiquement plus tard.

Les résultats ont été étonnamment bons. Lorsque les chercheurs ont testé ces nouveaux robots, ils ont constaté que les PALMs comprenaient bien mieux les gens que les anciens robots génériques. En fait, dans les cinq pays, les nouveaux modèles ont amélioré leur précision de 8,59 % en moyenne par rapport aux meilleures méthodes précédentes. Cela suggère que fonder l'apprentissage d'un robot sur des théories psychologiques et culturelles profondes fonctionne bien mieux que de simplement lui montrer des données de surface ou des étiquettes démographiques simples comme l'« âge » ou le « genre ».

L'article a également vérifié si ces robots pouvaient faire d'autres choses, comme agir en tant que « modèle de récompense personnalisé » (décider de ce qu'une personne spécifique aimerait) ou simuler la façon dont un groupe pourrait réagir à une nouvelle politique. Dans ces tests, les PALMs ont de nouveau surpassé la concurrence, montrant des améliorations de 5,19 % pour les récompenses personnalisées et de 6,34 % pour les simulations de population. Même lorsqu'on leur a demandé de résoudre des énigmes sociales sur les émotions et les intentions humaines (une tâche appelée Social IQA), les robots se sont améliorés, atteignant une précision de 80,23 % lors du test.

Cependant, les chercheurs veillent à noter que ce n'est pas un remède miracle. Ils ont découvert que le simple fait de nourrir le robot avec davantage de données d'enquête sans cette approche de « journal de raisonnement » rendait les choses pires dans certains cas, provoquant la perte de la capacité du robot à voir différents points de vue. Ils admettent également que traiter un pays entier comme un seul groupe est une simplification ; à l'intérieur de chaque pays, il existe de nombreuses régions et cultures différentes que leur modèle ne capture pas encore totalement. Mais l'idée principale est claire : si vous voulez qu'un robot comprenne véritablement un groupe de personnes, vous devez lui apprendre à penser comme eux, et non pas seulement à parler comme eux. En donnant au robot une manière structurée de raisonner à travers la personnalité et la culture, nous obtenons une image beaucoup plus claire de la diversité du monde humain.

Résumé Technique : Modèles de Langage Alignés sur les Populations (PALMs)

Problématique

Les grands modèles de langage (LLM) sont de plus en plus utilisés pour simuler le comportement individuel des utilisateurs, mais ils peinent à représenter fidèlement la variation systématique des valeurs, des croyances et des normes culturelles qui distinguent une population d'une autre. Les approches existantes reposent généralement sur un amorçage démographique superficiel (par exemple, « agis comme un Brésilien de 30 ans ») ou sur un ajustement fin (fine-tuning) direct sur des données d'enquêtes comportementales. L'article soutient que ces méthodes échouent car elles optimisent les distributions de réponses de surface plutôt que de capturer les constructions psychologiques et culturelles sous-jacentes qui façonnent conjointement le jugement humain. Par conséquent, les modèles ont tendance à surreprésenter les points de vue majoritaires ou à s'effondrer en représentations génériques lorsqu'ils sont ajustés directement sur les réponses observées, échouant ainsi à préserver la riche structure compositionnelle des préférences humaines.

Méthodologie

Les auteurs introduisent les Modèles de Langage Alignés sur les Populations (PALMs), un cadre qui aligne les LLM sur des populations spécifiques en ancrant l'apprentissage des préférences dans des rationales multi-construits. La méthodologie repose sur le postulat que les préférences humaines émergent de l'interaction entre la psychologie individuelle et la variation culturelle au niveau du groupe.

1. Espace des Construits

L'approche utilise cinq familles établies de théories en sciences sociales pour former un espace latent de raisonnement :

Personnalité (OCEAN) : Traits individuels (Ouverture, Conscienciosité, Extraversion, Agréabilité, Névrosisme).
Dimensions Culturelles (Hofstede) : Tendances au niveau du groupe (ex: Individualisme vs Collectivisme, Distance hiérarchique).
Valeurs Humaines (Schwartz) : Priorités motivationnelles (ex: Autonomie, Sécurité, Bienveillance).
Croyances Primales sur le Monde (Clifton) : Présupposés individuels sur le monde (ex: Sûr vs Dangereux, Séduisant vs Ennuyeux).
Fondements Moraux (Haidt) : Intuitions éthiques (ex: Soin/Préjudice, Équité/Injustice, Loyauté/Trahison).

2. Pipeline d'Entraînement

Les PALMs sont entraînés via un processus en deux étapes sur le jeu de données Community Alignment, couvrant cinq pays : USA, Inde, Brésil, France et Italie.

Étape 1 : Ajustement Supervisé (SFT) : Un modèle de base (Llama-3.1-8B-Instruct) est affiné sur des instances de préférence conditionnées par un persona $(p, q, a^+)$ pour initialiser la prédiction de préférence.
Étape 2 : Optimisation de Préférence avec Supervision Latente : L'innovation centrale implique l'utilisation de l'Optimisation de Préférence Directe (DPO) augmentée par des rationales ancrées dans les construits.
- Pour chaque paire de préférences, des rationales synthétiques sont générées par un LLM externe (Qwen2.5-7B-Instruct). Ces rationales décomposent la décision de préférence à travers les cinq familles de construits, expliquant pourquoi un profil démographique spécifique préférerait $a^+$ à $a^-$ .
- Pendant le DPO, ces rationales sont insérées dans le contexte du prompt mais sont masquées de la fonction de perte. Le modèle n'est pas entraîné pour générer explicitement les jetons de la rationale ; au contraire, les rationales servent de biais inductif structuré et latent pour façonner les représentations internes de préférence du modèle.
- Cela contraste avec les rationales « génériques » (sans ancrage de construit) ou l'ajustement fin comportemental direct, qui, selon les auteurs, manquent du signal structurel nécessaire.

3. Inférence

Au moment de l'inférence, le modèle est sollicité par un persona utilisateur et une requête. Il génère une rationale ancrée dans les construits en interne (avant de produire la sortie finale) pour guider sa décision de préférence. Les jetons de la rationale ne sont pas requis comme entrée lors de l'inférence, permettant au modèle de généraliser sans annotation externe.

Principales Contributions

Cadre PALMs : L'introduction d'une suite de modèles alignés sur des populations spécifiques utilisant des rationales multi-construits ancrées dans la théorie psychologique et culturelle comme supervision latente.
Supériorité des Rationales Ancrées dans les Construits : Preuve empirique démontrant que l'ancrage de l'apprentissage des préférences dans des construits psychologiques et culturels surpasse l'amorçage démographique et l'ajustement fin comportemental (y compris les modèles spécialisés culturellement comme CultureLLM).
Généralisation aux Tâches Aval : Démonstration que les PALMs se généralisent aux applications en aval — modélisation de récompense personnalisée, simulation de population et raisonnement social — sans supervision spécifique à la tâche, suggérant que les représentations ancrées dans les construits capturent des structures latentes transférables de la diversité humaine.

Résultats

Les auteurs ont évalué les PALMs selon quatre dimensions : la personnalité, les valeurs/croyances, les normes culturelles et la moralité, en utilisant les distributions humaines réelles des populations cibles.

Alignement In-Domain : Les PALMs ont systématiquement surpassé tous les modèles de référence (y compris Llama-3.1-8B-Instruct en zero-shot, Gemini-2.5-Flash et CultureLLM) sur les cinq populations. Le modèle complet PALM a obtenu une amélioration relative moyenne de 8,59 % par rapport au meilleur modèle de référence. Notamment, la configuration « SFT + DPO + Générique » (utilisant des rationales sans ancrage de construit) a performé mieux que le DPO standard mais moins bien que les PALMs, isolant ainsi la contribution spécifique des construits psychologiques.
Performance en Aval :
- Modélisation de Récompense Personnalisée : Les PALMs ont amélioré la précision de 5,19 % sur PersonalizedRewardBench et PRISM par rapport aux bases de référence, avec des gains significatifs sur les sujets liés à la société (religion, droit, politique).
- Simulation de Population : Sur SIMBENCH, les PALMs ont obtenu le meilleur alignement sur 15 des 17 jeux de données, avec des gains particulièrement importants (jusqu'à ~20 %) sur les tâches alignées avec les familles de construits (ex: OpinionQA, OSPsychMACH).
- Raisonnement Social : Dans une étude de cas sur SOCIALIQA, les PALMs ont atteint une précision de 80,23 % sur l'ensemble de test, surpassant la forte base de référence Gemini-2.5-Flash (79,72 %), malgré un modèle plus petit de 8B, avec les gains les plus importants sur le raisonnement concernant les motivations humaines.

Signification et Revendications

L'article affirme que la rationalisation à travers des construits psychologiques et culturels établis fournit un signal inductif plus riche pour l'apprentissage des préférences que l'amorçage démographique ou les données d'entraînement basées sur des enquêtes.

Les auteurs soutiennent que l'ajustement direct des modèles sur les sorties comportementales observées conduit souvent à un effondrement de la diversité représentationnelle, tandis que l'ancrage du processus d'apprentissage dans des construits latents permet au modèle d'internaliser le « pourquoi » derrière les préférences. Cette approche permet de créer des modèles spécifiques à une population qui ne sont pas de simples imitateurs statistiques de données d'enquêtes, mais qui sont structurellement alignés avec les mécanismes psychologiques qui pilotent le jugement humain. Ce travail plaide pour l'adoption plus large de la théorie des sciences sociales comme biais inductif structuré dans la recherche sur l'alignement, offrant une fondation principielle pour modéliser les populations de manière multilingue et fine.

Les auteurs reconnaissent des limites, notamment l'utilisation de l'abstraction par pays comme proxy pour les populations (ce qui aplatit la variation intra-pays), la nature non exhaustive des familles de construits sélectionnées, et la dépendance actuelle à des données d'entraînement exclusivement en anglais. Ils postulent que les travaux futurs devraient explorer des définitions de population plus fines et une modélisation multilingue native.