Résumé technique : Les sujets comme proxys des caractéristiques sociodémographiques

Énoncé du problème

Les modèles de langage étendus (LLM) sont de plus en plus déployés dans des scénarios à enjeux élevés, notamment pour des conseils juridiques, médicaux et financiers. Des recherches antérieures indiquent que les utilisateurs issus de différents groupes sociodémographiques reçoivent des résultats disparates de la part des LLM, même lorsque leurs historiques de conversation ne contiennent aucun marqueur démographique explicite. Bien que ces disparités soient statistiquement significatives, leur magnitude exacte et leurs mécanismes sous-jacents restent obscurs. Plus précisément, on ignore si les modèles génèrent ces différences en déduisant avec précision la sociodémographie de l'utilisateur à partir du contexte conversationnel ou en réagissant à d'autres caractéristiques linguistiques qui sont par hasard corrélées à ces données démographiques. Cet article examine si les LLM peuvent déduire la sociodémographie des utilisateurs à partir d'un seul historique de conversation et identifie les principaux moteurs des disparités de résultats dans la génération de conseils à enjeux élevés.

Méthodologie

L'étude emploie un design expérimental multi-facettes utilisant trois LLM en poids ouverts (Llama 3.1 8B, Gemma 3 12B et Qwen3.6 27B) ainsi qu'un modèle de raisonnement de pointe (Kimi K2.6).

Jeux de données :

• Historiques de conversation : Deux jeux de données ont été utilisés : le jeu de données PRISM (8 011 conversations avec 1 500 participants provenant de 75 pays) et le Community Alignment Dataset (26 521 conversations en anglais provenant de 1 220 participants en Inde et aux États-Unis). Tous deux incluent des annotations sociodémographiques sur les utilisateurs (ex. : âge, genre, ethnicité, éducation, région).
• Questions à enjeux élevés : Le Sociolinguistic Bias Benchmark (SBB) a fourni 250 questions réparties en cinq domaines : Avantages (Benefits), Médical, Juridique, Politique et Salaire. Ces questions ont été ajoutées aux historiques de conversation pour générer les réponses du modèle.

Procédures expérimentales :

1. Mesure de la disparité des résultats : Les auteurs ont mesuré l'ampleur des différences dans les sorties des modèles (ex. : recommandations salariales, conseils binaires oui/non) entre les groupes sociodémographiques à l'aide de tests ANOVA.
2. Évaluation de l'inférence démographique :
   • Prompting : Kimi K2.6 a été explicitement incité à inférer la démographie des utilisateurs à partir des historiques de conversation au format JSON.
   • Sondage linéaire (Linear Probing) : Des classificateurs linéaires ont été entraînés sur les représentations latentes (positions du dernier jeton) de Gemma et Llama pour prédire la démographie des utilisateurs, testant la séparabilité linéaire interne de ces caractéristiques.
3. Analyse des facteurs prédictifs : Les auteurs ont calculé une large gamme de caractéristiques (psycho)linguistiques pour chaque conversation, notamment :
   • Sujets de conversation : Dérivés des prompts d'ouverture ou du clustering.
   • Caractéristiques psycholinguistiques : Métriques du dictionnaire LIWC-22, émotions (basées sur BERT), sentiment (basé sur RoBERTa), politesse, concrétude et lisibilité (score Flesch).
   • Métriques linguistiques : Perplexité, nombre de jetons et métriques de diversité.
   • Modélisation de régression : La régression ElasticNet a été utilisée pour déterminer quelles caractéristiques (sociodémographiques vs linguistiques/contextuelles) prédisaient le mieux les résultats du modèle.
4. Comparaison contrôlée : Un design 2x2 a comparé les différences de résultats des modèles entre des utilisateurs de mêmes/différents groupes démographiques discutant des mêmes/différents sujets afin d'isoler l'effet du sujet par rapport à l'identité.

Contributions clés et résultats

1. Magnitude minimale des disparités
Bien que des différences statistiquement significatives dans les résultats existent entre les groupes sociodémographiques, leur magnitude est minimale. Pour tous les modèles et jeux de données, les différences de salaire significatives entre les groupes les plus distincts s'élevaient en moyenne à 342,20 $ (maximum 882,70 $). Pour les autres domaines, les différences variaient de 0,66 à 2,22 points de pourcentage. Cela correspond à moins d'une ou au plus deux questions sur 50 répondues différemment entre les groupes les plus distincts. Ces différences sont nettement inférieures à celles observées par rapport à la prédiction de base du modèle sans aucun contexte conversationnel.

2. Faibles capacités d'inférence démographique
Les LLM peinent à inférer avec précision la sociodémographie des utilisateurs à partir des historiques de conversation :

• Prompting : Lorsqu'on lui demandait explicitement d'inférer la démographie, Kimi K2.6 n'a pas réussi à surpasser les bases de référence de la classe majoritaire dans cinq des sept catégories, principalement en raison d'une sur-prédiction des classes majoritaires (ex. : prédire "Homme", "Blanc", "18-34 ans"). Il n'a jamais prédit d'utilisateurs de plus de 55 ans.
• Sondage linéaire : Bien que les sondes entraînées sur les représentations latentes aient surpassé les bases aléatoires et de la classe majoritaire dans les couches ultérieures du modèle, la performance est restée faible (scores F1 macro autour de 0,3 pour les classes déséquilibrées et 0,7 pour les classes équilibrées). Cela suggère que les données sociodémographiques ne sont pas clairement représentées de manière linéaire dans les composants internes du modèle.

3. Les sujets de conversation comme principaux moteurs
L'analyse de régression a révélé que les sujets de conversation sont les prédicteurs les plus puissants du comportement des LLM, dépassant largement la sociodémographie de l'utilisateur.

• Les caractéristiques des sujets ont systématiquement détenu les coefficients d'importance les plus élevés dans tous les modèles et domaines.
• Des sujets spécifiques sont corrélés à des résultats spécifiques : par exemple, les conversations sur les "voyages de luxe" ont conduit à des recommandations de salaire plus élevées, tandis que les "recherches d'emploi" ou les "contraintes budgétaires" ont conduit à des salaires plus bas.
• Dans la comparaison 2x2, les différences de résultats entre des utilisateurs discutant de sujets différents étaient systématiquement plus élevées que les différences entre des utilisateurs de groupes démographiques différents discutant du même sujet.

4. Les sujets comme proxys
L'étude conclut que les sujets de conversation agissent comme des proxys pour la sociodémographie. Puisque les utilisateurs de différents horizons sélectionnent souvent des sujets différents (par exemple, les utilisateurs plus jeunes discutent plus fréquemment de recherche d'emploi), la réaction du modèle au sujet crée par inadvertance des disparités démographiques. Cependant, le modèle réagit au sujet, et non à l'identité inférée.

Signification et affirmations

L'article affirme que le principal moteur du biais démographique dans les conseils de LLM à enjeux élevés n'est pas la capacité du modèle à inférer et à discriminer sur la base de l'identité de l'utilisateur, mais plutôt la sensibilité du modèle au contexte conversationnel, spécifiquement le sujet.

• Subtilité du biais : Les conclusions soulignent que les disparités démographiques dans les scénarios à enjeux élevés surviennent de manière indirecte et subtile via la sélection des sujets plutôt que par un signalement démographique explicite. Cela rend ces biais difficiles à détecter et à atténuer.
• Limites de l'atténuation actuelle : Une stratégie d'atténuation simple basée sur le prompting (instruire le modèle à ignorer les caractéristiques de l'utilisateur) s'est avérée largement inefficace, réduisant les disparités uniquement dans le domaine politique, tout en laissant les domaines des avantages sociaux et du salaire largement inchangés.
• Direction future : Les auteurs plaident pour un changement de compréhension de l'identité de l'utilisateur dans les LLM, passant des sociodémographies statiques à l'interaction complexe du contexte conversationnel. Ils appellent à de futures recherches pour mieux comprendre et atténuer les effets du contexte conversationnel, en particulier le rôle des sujets comme proxys de l'identité, dans les applications à enjeux élevés.

L'article conclut que bien que des disparités de résultats existent, elles sont davantage pilotées par ce dont les utilisateurs parlent que par qui ils sont, remettant en question l'hypothologie selon laquelle les LLM infèrent et agissent directement sur les identités démographiques dans des contextes conversationnels réalistes.