Fairness in LLM-Generated Surveys

Résumé Technique : Équité dans les enquêtes générées par les LLM

Énoncé du Problème
Les modèles de langage étendus (LLM) sont apparus comme des alternatives viables aux enquêtes traditionnelles pour simuler des modèles socio-politiques et économiques, capables de générer des ensembles de données synthétiques qui reflètent les réponses humaines. Cependant, l'applicabilité mondiale de ces modèles est discutable en raison de biais inexplorés provenant de leurs données d'entraînement, qui sont principalement centrées sur les États-Unis. Bien que les LLM fassent preuve de hautes performances dans des contextes bien représentés comme les États-Unis, leur capacité à modéliser de manière précise et équitable les comportements socio-politiques dans des régions sous-représentées, telles que le Chili, reste peu explorée. Cette étude aborde la lacune critique de la compréhension de la manière dont les LLM performent à travers divers contextes socio-démographiques et géographiques, en examinant spécifiquement si ces modèles perpétuent les biais sociétaux existants ou représentent inadéquatement des populations spécifiques.

Méthodologie
L'étude emploie un cadre comparatif utilisant des données d'enquêtes publiques du Chili (Centro de Estudios Públicos - CEP) et des États-Unis (American National Election Studies - ANES). La conception de la recherche comprend trois expériences de prédiction :

1. Vote Présidentiel : Prédire les choix de vote lors de l'élection américaine de 2020 et de l'élection présidentielle chilienne de 2021.
2. Opinion sur l'Avortement : Prédire les positions individuelles sur l'avortement en fonction de caractéristiques socio-démographiques.
3. Plébiscite Constitutionnel : Prédire les résultats du référendum constitutionnel chilien de 2022.

Modèles et Prompts : L'étude évalue plusieurs modèles, incluant GPT-3.5-turbo, GPT-4-turbo, Llama-13b et Mistral (v0.2). Une configuration de « prompt par défaut » est utilisée, incorporant le raisonnement par chaîne de pensée (Chain-of-Thought - CoT), des exemples de few-shot (5 instances aléatoires) et l'anglais comme langue principale, bien que l'espagnol soit également testé. Pour assurer une comparaison inter-pays équitable, une Forêt Aléatoire (Random Forest) intra-échantillon est entraînée pour établir une limite supérieure de la précision de prédiction, servant de référence pour normaliser la performance du modèle par rapport à la prédictibilité inhérente des données.

Métriques :

• Précision (Accuracy) : Mesure la justesse de la prédiction au niveau individuel.
• Similitude de Jensen-Shannon (JSS) : Mesure l'alignement global entre les distributions de probabilité prédites et réelles (modèles au niveau du groupe).
• Égalité de la Précision Globale : Un critère d'équité évaluant si la précision de la prédiction est égale entre les groupes protégés et non protégés.
• Régression Logistique : Utilisée pour analyser comment des variables socio-démographiques spécifiques (genre, âge, éducation, identité politique, etc.) et leurs intersections influencent la probabilité d'une prédiction correcte.

Principales Contributions

1. Cadre Novateur : Introduction d'un cadre pour mesurer les biais socio-démographiques des LLM à travers différents contextes géographiques.
2. Évaluation Comparative : Une comparaison directe des capacités prédictives des LLM en utilisant des questions politiques et morales comparables du Chili et des États-Unis.
3. Analyse de l'Atténuation des Biais : Un examen des techniques de prompting et des stratégies de fine-tuning pour traiter les disparités de performance.

Résultats

• Disparités Géographiques : Les modèles surpassent systématiquement les ensembles de données américains par rapport aux ensembles de données chiliens sur toutes les métriques (Précision et JSS). Cet écart persiste même après normalisation pour la prédictibilité des données, indiquant un fort biais vers les données d'entraînement centrées sur les États-Unis.
• Performance des Modèles : Llama-13b est apparu comme le modèle le plus performant, dépassant souvent la référence de la Forêt Aléatoire intra-échantillon pour capturer les tendances de la population (JSS élevé), bien qu'il ait toujours eu des difficultés avec la précision individuelle au Chili. Le fine-tuning sur les données chiliennes n'a apporté que des améliorations marginales et, dans certains cas, a introduit des biais de distribution.
• Biais Socio-Démographiques :
  • Chili : Des biais significatifs ont été observés contre les femmes, les adultes plus âgés, les individus ayant un faible niveau d'éducation et les individus religieux. L'identité politique a également joué un rôle majeur, les opinions centristes étant moins précisément prédites que les idéologies fortes de gauche ou de droite. L'analyse intersectionnelle a révélé que les femmes âgées, religieuses et de faible niveau d'éducation faisaient face à la plus faible précision de prédiction.
  • États-Unis : La performance était plus stable selon le genre et l'âge, mais présentait des disparités basées sur l'identité politique (les opinions de gauche étaient prédites plus précisément) et le revenu (les individus à faible revenu étaient prédits moins précisément). L'analyse intersectionnelle a mis en évidence un biais spécifique contre les femmes non blanches.
• Prédiction Individuelle vs Groupe : Bien que les LLM aient démontré une forte capacité à répliquer les distributions macro-niveau (JSS élevé), ils ont eu du mal à capturer les nuances des identités socio-politiques individuelles, entraînant une précision individuelle plus faible par rapport aux tendances de groupe.

Signification et Revendications
L'article affirme que, bien que les LLM soient des outils puissants pour simuler de larges tendances socio-politiques, leur déploiement actuel dans les régions sous-représentées risque de perpétuer les inégalités en raison des biais de données d'entraînement. L'étude soutient que la nature « centrée sur les États-Unis » des corpus de pré-entraînement limite la généralisabilité de ces modèles, les rendant moins efficaces dans des contextes comme le Chili où les nuances culturelles et linguistiques diffèrent.

Les auteurs soulignent que garantir l'équité nécessite d'aller au-delà du simple déploiement de modèles génériques. Ils plaident pour la nécessité de stratégies spécifiques au contexte, incluant la collecte de données d'entraînement plus diverses et représentatives, l'incorporation de caractéristiques socio-démographiques lors du fine-tuning, et l'application de contraintes d'équité. L'étude conclut que s'attaquer à ces disparités est essentiel pour l'application éthique de l'IA dans la recherche en sciences sociales, afin de garantir que les modèles ne désavantagent pas systématiquement des groupes socio-démographiques spécifiques ou n'échouent pas à représenter les populations sous-représentées.