Résumé Technique : Le Prompting Démographique à Grande Échelle : Quand la Multiplication des Attributs Nuit

Énoncé du Problème

Les grands modèles de langage (LLM) sont de plus en plus déployés comme substituts ou compléments aux annotateurs humains pour des tâches de traitement du langage naturel (NLP) subjectives (ex: détection de la toxicité, analyse de sentiment). Bien que des recherches antérieures aient établi que les sorties des LLM ne sont pas démographiquement neutres et que des indices démographiques explicites peuvent modifier le comportement du modèle, le domaine manque d'une compréhension systématique de la manière dont ces indices fonctionnent. La littérature existante compare généralement une base de référence « sans démographie » contre un prompt unique contenant « tous les attributs », ou n'examine qu'un ou deux attributs spécifiques isolément. Cette approche ne parvient pas à explorer l'espace combinatoire entre les ensembles d'attributs simples et complets, laissant des questions critiques sans réponse :

1. Existe-t-il un nombre optimal d'attributs démographiques à inclure dans un prompt, ou l'ajout de plus d'attributs améliore-t-il toujours l'alignement ?
2. Quelles propriétés du signal démographique d'un jeu de données prédisent si un attribut spécifique améliorera ou dégradera l'alignement du LLM ?
3. Comment les LLM traitent-ils ces indices en interne, et est-ce qu'une augmentation de l'activation neuronale est corrélée à un meilleur alignement ?

Méthodologie

Les auteurs ont mené une étude exhaustive sur cinq tâches de compréhension du langage subjectif (Toxicité, Sentiment, Politesse, Offensive, Attribution d'Émotion) et sur cinq LLM open-source (Llama-3.2-3B, Mistral-7B, Gemma3-12B, Qwen2.5-7B, DeepSeek-R1-7B).

Conception Expérimentale

• Prompting Combinatoire : L'étude énumère systématiquement chaque combinaison possible d'attributs démographiques pour chaque tâche, allant des prompts à attribut unique aux ensembles complets d'attributs disponibles. Cela a permis de cartographier les trajectoires d'alignement, de la configuration à composante simple à la configuration à attributs complets.
• Métriques d'Alignement : L'alignement modèle-humain a été quantifié par le coefficient $\kappa$ de Cohen pondéré quadratiquement (pour les tâches ordinales) et par la précision (pour les tâches non ordinales), mesuré par rapport aux annotations humaines.
• Analyse du Signal du Jeu de Données : Pour comprendre pourquoi certains attributs fonctionnent, les auteurs ont analysé les données d'annotation elles-mêmes selon trois niveaux de détail structurel :
  1. Magnitude : Utilisation des valeurs SHAP sur un classifieur de régression logistique pour mesurer l'influence des attributs démographiques sur la variation des étiquettes humaines.
  2. Apprentissabilité (Learnability) : Entraînement d'un LinearSVC avec des caractéristiques d'interaction mot-démographie explicites pour déterminer si le modèle peut apprendre des motifs lexicaux discriminants pour des sous-groupes spécifiques.
  3. Cohérence Directionnelle : Calcul des corrélations de Spearman moyennées par Fisher entre les vecteurs de poids de différents sous-groupes au sein d'un attribut. Une corrélation positive indique que les sous-groupes s'accordent sur les mots signalant l'étiquette (cohérence) ; une corrélation négative indique des signaux opposés (incohérence).
• Sondage de Neurones (Neuron Probing) : Adaptant les cadres d'interprétabilité, les auteurs ont identifié des « neurones spécialisés » (ceux activés par un prompt démographique mais pas par un prompt de base). Ils ont mesuré la proportion de neurones spécialisés et l'ont corrélée à la performance d'alignement pour tester si l'engagement interne se traduit par un meilleur résultat.

Principales Contributions

1. Analyse Combinatoire Complète : Ce papier est le premier à énumérer systématiquement toutes les combinaisons d'attributs à travers plusieurs tâches et modèles. Il établit que le prompting démographique n'est pas monolithique ; son utilité est hautement dépendante du contexte.
2. Cadre de Signal à Trois Niveaux : Les auteurs proposent un cadre de diagnostic reliant le signal du jeu de données à l'alignement du LLM. Ils démontrent que la magnitude de l'influence démographique sur les étiquettes humaines est peu informative pour prédire l'alignement du LLM. Au lieu de cela, un alignement réussi nécessite une considération conjointe de l'apprentissage et de la cohérence directionnelle.
3. Application du Sondage de Neurones : Ce travail est le premier à appliquer le sondage de neurones à l'alignement démographique dans des tâches subjectives. Il révèle que l'activation des neurones spécialisés est corrélée aux gains d'alignement uniquement lorsque le signal d'annotation sous-jacent est directionnellement cohérent.

Résultats Clés

1. Le Seuil de Sur-Spécification (RQ1)

Contrairement à l'intuition selon laquelle « plus d'informations est préférable », l'alignement culmine systématiquement avec un à trois attributs à haut signal et se dégrade lorsque l'ensemble complet d'attributs est fourni.

• Toxicité : Quatre modèles sur cinq ont atteint un alignement maximal avec des ensembles compacts (1–3 attributs). La configuration « tous ensemble » n'a jamais surpassé le meilleur prompt compact et a souvent provoqué une dégradation significative.
• Politesse et Offensive : Ces tâches ont montré une large résistance au prompting démographique. Pour la plupart des modèles, l'ajout d'attributs a dégradé la performance par rapport à la base de référence.
• Émotion : Les résultats étaient très polarisés ; alors que Mistral et Qwen ont bénéficié de manière significative des prompts basés sur l'âge, Gemma et DeepSeek ont été dégradés par chaque prompt démographique.

2. Le Rôle de la Cohérence Directionnelle (RQ2)

L'étude a révélé que la magnitude de l'influence d'un attribut démographique sur les étiquettes humaines (importance SHAP) ne prédit pas l'alignement du LLM.

• Apprentissabilité vs Cohérence : Bien que l'apprentissage (LSVC $\kappa$) soit un meilleur prédicteur que la magnitude, il est insuffisant à lui seul.
• Le Mécanisme de Cohérence : Les attributs dotés de signaux directionnellement cohérents (les sous-groupes s'accordent sur les motifs lexicaux) permettent des gains d'alignement. À l'inverse, les attributs avec des signaux opposés (les sous-groupes divergent sur ce que les mots indiquent) provoquent la dégradation de l'alignement, même si l'attribut est hautement apprenable par un classifieur.
  • Exemple : Dans la tâche d'Offensivité, l'« âge » était l'attribut le plus apprenable mais a causé le pire alignement car les sous-groupes avaient des vues opposées. La « race », qui présentait une apprenabilité plus faible mais une cohérence plus élevée pour certains modèles, était le seul attribut ayant amélioré l'alignement.

3. Sondage de Neurones et le Paradoxe du Haut Volume (RQ3)

• Support Sélectif : Sur la tâche de Toxicité, des modèles comme Llama et Qwen ont montré une corrélation positive entre la proportion de neurones spécialisés activés et les gains d'alignement, mais uniquement pour les attributs ayant des signaux directionnellement cohérents.
• Le Paradoxe du Haut Volume : DeepSeek-R1 a activé le plus grand volume de neurones spécialisés à travers toutes les tâches, tout en performant systématiquement mieux avec aucun prompt démographique. Cela suggère qu'un volume d'activation élevé ne signifie pas un engagement utile des connaissances ; cela peut plutôt refléter une perturbation représentationnelle large et non différenciée.

Signification et Revendications

Le papier soutient que le prompting démographique n'est pas une intervention monolithique. Son efficacité est strictement conditionnée par :

1. La Qualité du Signal de l'Attribut : Plus précisément, la cohérence directionnelle du signal d'annotation.
2. Les Caractéristiques de la Tâche : Certaines tâches (ex: Toxicité) sont propices au prompting démographique, tandis que d'autres (ex: Politesse) y sont résistantes.
3. L'Architecture du Modèle : Différents modèles répondent différemment aux mêmes indices (ex: Gemma vs DeepSeek sur l'Émotion).

Les auteurs concluent qu'une sélection rigoureuse des attributs est essentielle. Les praticiens doivent éviter les prompts « tous les attributs » et privilégier la sélection de 1 à 3 attributs présentant une haute cohérence directionnelle. Ils soulignent que l'apprentissage élevé est une condition nécessaire mais non suffisante ; si les sous-groupes divergent directionnellement, aucun prompt de persona unique ne peut satisfaire les demandes conflictuelles, entraînant une dégradation des performances.

L'étude note modestement des limites, notamment son champ d'application limité à l'anglais, les échelles de paramètres spécifiques des modèles testés, et la nature corrélationnelle de l'analyse des neurones, qui identifie des associations plutôt que de prouver des mécanismes causaux.