Beyond Marginal Distributions: A Framework to Evaluate the Representativeness of Demographic-Aligned LLMs

1. Problématique et Contexte

Les grands modèles de langage (LLM) sont de plus en plus utilisés pour simuler des opinions, des valeurs ou des croyances humaines. Cependant, l'alignement de ces modèles avec des sous-groupes démographiques spécifiques pose un défi majeur : la représentativité.

La littérature actuelle évalue principalement la représentativité en comparant les distributions marginales des réponses (c'est-à-dire la distribution des réponses pour chaque question prise isolément). Les auteurs soutiennent que cette approche est insuffisante car elle ignore les structures latentes et les interdépendances entre les questions qui caractérisent les populations réelles et sous-tendent les théories des valeurs culturelles (comme les travaux de Hofstede ou Schwartz). Un modèle peut correctement prédire la moyenne d'opinion sur deux sujets distincts tout en échouant à capturer le fait que, dans la réalité, l'opinion sur l'un est fortement corrélée à l'opposition sur l'autre.

Question de recherche : Les méthodes d'alignement actuelles (comme le prompting de persona ou le fine-tuning) permettent-elles de reproduire non seulement les distributions marginales, mais aussi la structure de corrélation multivariée des opinions humaines ?

2. Méthodologie et Cadre d'Évaluation

Les auteurs proposent un cadre d'évaluation novateur qui va au-delà des distributions marginales en intégrant l'analyse des structures de corrélation.

Données et Modèles

• Référence de vérité (Ground Truth) : L'enquête World Values Survey (WVS), wave 7, utilisée comme référence humaine.
• Sous-groupes démographiques : 10 groupes définis par OpinionGPT (genre, âge, géographie, idéologie politique).
• Modèles comparés :
  1. Baseline non orientée : Phi-3 (sans instruction démographique).
  2. Persona Prompting : Phi-3 + instructions textuelles définissant un persona démographique.
  3. Fine-tuning Démographique : OpinionGPT (modèle Phi-3 avec des adaptateurs LoRA entraînés sur des données Reddit spécifiques à chaque sous-groupe).

Métriques d'Évaluation

Le cadre évalue deux dimensions distinctes :

1. Distributions Marginales :
   • Dissimilarité : Mesurée par la distance de Wasserstein normalisée (pour les échelles ordinales) et la distance de variation totale (pour les catégories nominales).
   • Diversité des réponses : Comparaison des variances moyennes des réponses pour éviter l'effondrement modal (réponses trop homogènes).
2. Structures de Corrélation :
   • Construction de matrices de corrélation entre les questions (niveau question-question) et entre les thèmes (niveau topic-topic).
   • Métriques de comparaison : Coefficient de corrélation de Pearson (pour la structure relative) et l'Erreur Quadratique Moyenne (RMSE) (pour l'ampleur des corrélations).
   • Lignes de base : Comparaison avec un "null baseline" (permutation aléatoire des réponses, détruisant toute corrélation) et un "split-half resampling" (limite supérieure théorique de la corrélation humaine).

3. Contributions Clés

1. Nouveau Cadre d'Évaluation : Introduction d'une méthodologie qui combine distributions marginales et structures de corrélation pour révéler des échecs structurels masqués par les analyses traditionnelles.
2. Étude Comparative : Application de ce cadre pour comparer deux techniques d'alignement majeures (persona prompting vs fine-tuning démographique).
3. Preuve de Concept : Démonstration que l'amélioration de l'alignement marginal ne garantit pas l'alignement structurel, remettant en cause la validité des conclusions optimistes basées uniquement sur les marginales.

4. Résultats Principaux

A. Distributions Marginales (RQ1)

• Fine-tuning (OpinionGPT) : Surpasse nettement le prompting de persona et la baseline non orientée pour approximer les distributions marginales humaines. Il génère également une diversité de réponses plus proche de la réalité (bien que parfois excessive).
• Persona Prompting : Améliore légèrement la baseline mais tend à réduire la diversité des réponses, conduisant souvent à un effondrement vers des réponses stéréotypées (variance plus faible que la réalité).

B. Structures de Corrélation (RQ2)

C'est ici que réside la découverte la plus surprenante :

• Échec général : Ni le fine-tuning ni le prompting ne parviennent à reproduire fidèlement les structures de corrélation observées dans le WVS. Les deux modèles restent bien en dessous de la limite supérieure empirique (split-half).
• Inversion des performances :
  • Bien que OpinionGPT soit meilleur sur les marginales, il échoue totalement à capturer la structure de corrélation (ρ ≈ 0.09).
  • Le Persona Prompting, bien que moins bon sur les marginales, reproduit marginalement mieux la structure de corrélation relative (ρ ≈ 0.16) que le fine-tuning.
• Effet de l'agrégation : Lorsque les questions sont agrégées par thème (niveau topic-topic), la performance de OpinionGPT s'effondre complètement (ρ négatif), tandis que le prompting s'améliore légèrement, restant cependant insuffisant.

C. Variabilité Démographique (RQ3)

La représentativité varie selon les sous-groupes. Les groupes sous-représentés dans les données d'entraînement (ex: Moyen-Orient, personnes âgées) sont moins bien alignés. L'agrégation par dimension démographique préserve la similarité marginale, mais l'agrégation par thème révèle une instabilité structurelle.

5. Signification et Implications

• L'alignement est multidimensionnel : La représentativité n'est pas une métrique unique. Un modèle peut sembler "représentatif" sur le plan marginal tout en échouant à capturer la cohérence idéologique ou culturelle d'une population.
• Danger des conclusions optimistes : Se fier uniquement aux distributions marginales peut masquer des échecs structurels profonds, conduisant à des affirmations erronées sur la capacité des LLM à simuler des opinions humaines complexes.
• Limites des techniques actuelles : Ni le prompting ni le fine-tuning actuel ne suffisent à encoder les interdépendances complexes des valeurs humaines. Le fine-tuning capture mieux la diversité intra-groupe mais perd la structure relationnelle, tandis que le prompting capture mieux les relations relatives mais stérilise la diversité.
• Perspectives futures : Les auteurs appellent à intégrer les structures de dépendance au niveau de la population dans les mécanismes d'alignement (RLHF, fine-tuning) pour garantir à la fois la fidélité aux sous-groupes et la cohérence structurelle globale.

En conclusion, cet article établit que la véritable représentativité des LLM exige une évaluation rigoureuse des interdépendances structurelles entre les opinions, et non seulement de leurs moyennes individuelles.