Improving the Distributional Alignment of LLMs using Supervision

1. Problématique

L'intégration croissante des grands modèles de langage (LLM) dans des systèmes réels nécessite une évaluation rigoureuse de leur alignement avec les valeurs et opinions humaines. Une approche courante consiste à utiliser le prompting de persona (notamment le prompting sociodémographique ou SD), où l'on définit un persona avec des variables démographiques (âge, genre, région, etc.) pour simuler les opinions d'un groupe spécifique.

Cependant, les travaux existants souffrent de deux lacunes majeures :

1. Réductionnisme : La plupart des études supposent qu'un groupe sociodémographique partage une réponse majoritaire unique, ignorant ainsi la désaccord intra-groupe (la variabilité naturelle des opinions au sein d'un même groupe).
2. Inefficacité du prompting SD : Les résultats sur l'alignement des LLM avec les opinions humaines via le prompting SD sont mitigés et souvent inconstants. De plus, les LLM ont tendance à exagérer les différences entre les groupes démographiques, produisant des distributions biaisées ou stéréotypées.

L'objectif de cet article est d'évaluer si l'on peut améliorer l'alignement des LLM non pas en cherchant une réponse unique, mais en calibrant les distributions de réponses générées par les LLM pour qu'elles correspondent aux distributions de réponses réelles des populations humaines.

2. Méthodologie

Les auteurs proposent une approche basée sur la calibration supervisée des distributions générées par les LLM.

A. Données et Évaluation

• Jeux de données : Trois ensembles de sondages couvrant des sujets variés (santé publique, opinion publique, valeurs) :
  • Wellcome Global Monitor (WGM) : 14 questions, 14 régions mondiales.
  • OpinionQA (OQA) : 38 questions, opinions politiques américaines.
  • World Values Survey (WVS) : 40 questions, valeurs morales globales.
• Modèles : Évaluation de 15 LLM de différentes tailles et origines (Claude, Llama, Mistral, OLMo, Qwen), incluant des modèles open-source et fermés.
• Méthodes d'élicitation : Trois techniques pour extraire une distribution de probabilité d'un LLM :
  1. Verbalized : Le modèle génère directement une liste de pourcentages.
  2. Self-random : Le modèle génère une réponse unique, répétée $n=5$ fois avec une température de 0.7 pour former une distribution.
  3. Paraphrase : Le modèle répond à 5 paraphrases différentes de la même question pour former une distribution.

B. Métrique d'Alignement

L'alignement est mesuré par la distance de Wasserstein (Earth Mover's Distance) entre la distribution générée par le LLM et la distribution de vérité terrain (les réponses humaines réelles). Cette métrique prend en compte la nature ordinaire des échelles de réponse (ex: "pas du tout" < "un peu" < "beaucoup").

C. Approche de Calibration Supervisée

Au lieu de modifier les poids internes du modèle, les auteurs appliquent une régression supervisée pour transformer les distributions brutes des LLM.

• Principe : Pour chaque question et groupe démographique, le modèle apprend une transformation qui mappe la distribution du LLM vers la distribution humaine réelle.
• Entraînement : Les données d'entraînement sont constituées de paires (distribution LLM, distribution humaine) décomposées par choix de réponse.
• Hypothèse : Les distributions des LLM sont souvent "directionnellement correctes" mais mal calibrées (ex: elles exagèrent les écarts entre les groupes). La calibration corrige ces écarts.

3. Contributions Clés

1. Preuve de l'inefficacité du prompting SD pur : L'ajout d'informations sociodémographiques dans le prompt n'améliore pas de manière cohérente l'alignement des distributions par rapport aux prompts de base.
2. Méthode de Calibration Supervisée : Introduction d'une méthode simple mais efficace utilisant une régression supervisée pour aligner les distributions LLM sur les données humaines.
3. Évaluation à grande échelle : Un benchmark complet couvrant 3 jeux de données, 15 modèles, 3 méthodes d'élicitation et 3 stratégies de prompting (Base, SD, CoT).
4. Analyse de la variabilité : Étude de l'impact de la calibration sur des sous-groupes démographiques spécifiques et sur la variance globale des résultats.

4. Résultats Principaux

A. Efficacité de la Calibration

• Amélioration significative : La calibration supervisée améliore l'alignement moyen de 16,3 % par rapport aux distributions non calibrées, sur l'ensemble des modèles, jeux de données et méthodes d'élicitation.
• Cohérence : La calibration améliore l'alignement dans 94,8 % des configurations testées. Là où elle ne l'améliore pas, la baisse est minime (moyenne de -4,1 %).
• Réduction de la variance : La calibration réduit considérablement la variance des scores d'alignement entre les différents modèles et méthodes (écart-type réduit d'un facteur 1,62 en moyenne). Cela indique que le choix du modèle ou de la méthode d'élicitation devient moins critique une fois la calibration appliquée.

B. Comparaison avec le Prompting SD

• Le prompting SD seul ne produit pas d'amélioration systématique et peut même dégrader l'alignement dans certains cas.
• La calibration fonctionne mieux que le prompting SD pour aligner les modèles sur les opinions humaines, indépendamment du fait que le prompt contienne ou non des informations démographiques.

C. Efficacité avec peu de données (Few-Shot)

• La calibration nécessite très peu de données d'entraînement. L'erreur quadratique moyenne (MSE) converge généralement avec seulement 1 à 10 exemples complets par configuration.
• Même avec 5 exemples, la calibration surpasse souvent le few-shot prompting classique en termes de cohérence et d'amélioration de l'alignement.

D. Variations Démographiques

• La calibration améliore l'alignement pour la majorité des sous-groupes, en particulier ceux qui étaient initialement mal alignés (ex: certaines régions d'Afrique ou d'Amérique du Sud).
• Cependant, pour les groupes déjà très bien alignés (ex: Europe du Nord, Australie/Nouvelle-Zélande), la calibration peut parfois légèrement réduire l'alignement, suggérant un risque de "sur-ajustement" ou de lissage excessif.

5. Signification et Implications

• Pluralisme vs Stéréotypes : En modélisant des distributions plutôt que des réponses majoritaires, cette approche évite de renforcer les stéréotypes et les caricatures de groupes démographiques. Elle reconnaît la diversité des opinions au sein d'un même groupe.
• Robustesse : La calibration rend les résultats des LLM plus robustes et moins dépendants du choix spécifique du modèle ou de la technique de prompting.
• Limites et Avertissements :
  • Les auteurs soulignent que la modélisation démographique reste une simplification et ne capture pas toute la complexité humaine.
  • Il existe un risque d'essentialisation des catégories démographiques si l'on utilise ces modèles pour simuler des individus spécifiques sans précaution.
  • Les données de calibration étant basées sur des sondages passés, une mise à jour périodique est nécessaire pour éviter le décalage temporel (temporal drift).

Conclusion

Cet article démontre que l'alignement distributionnel des LLM avec les opinions humaines peut être considérablement amélioré par une calibration supervisée simple, surpassant les méthodes de prompting traditionnelles. Cette approche offre un cadre robuste pour utiliser les LLM dans des simulations sociales, des sondages et des expériences psychologiques, tout en atténuant les biais liés à la surestimation des différences entre les groupes démographiques.