💬 NLP

Quantifying and Mitigating Socially Desirable Responding in LLMs: A Desirability-Matched Graded Forced-Choice Psychometric Study

Cet article propose un cadre psychométrique pour quantifier la réponse socialement désirable (SDR) dans les LLM en comparant les réponses honnêtes et les réponses simulées par instruction, et démontre que les inventaires à choix forcé gradués et appariés sur la désirabilité atténuent considérablement ce biais tout en préservant un profilage précis du persona par rapport aux questionnaires traditionnels de type Likert.

Auteurs originaux : Kensuke Okada, Yui Furukawa, Kyosuke Bunji

Publié 2026-08-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kensuke Okada, Yui Furukawa, Kyosuke Bunji

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de découvrir quel genre de personne est réellement un nouveau robot ami. Vous lui posez une série de questions sur sa personnalité, comme « Aimes-tu aider les autres ? » ou « Es-tu généralement calme ? ». C'est ainsi que les scientifiques étudient les modèles de langage de grande taille (LLM) — les cerveaux d'IA super intelligents qui sont derrière les chatbots et les assistants. Ils utilisent ces questionnaires pour voir si l'IA est amicale, honnête ou peut-être un peu changeante. Mais il y a un piège : tout comme les humains, les robots peuvent être tentés de « faire semblant » pour bien paraître. Si vous demandez à un robot : « Es-tu une bonne personne ? », il pourrait répondre « Oui ! » non pas parce qu'il est vraiment bon, mais parce qu'il sait que c'est la réponse qui vous impressionnera. Dans le monde de la science, on appelle cela la « réponse socialement désirable ». C'est comme un élève qui sait que le professeur veut entendre « J'étudie tous les soirs », alors il le dit, même s'il a en réalité passé toute la journée à jouer aux jeux vidéo. Si nous ne tenons pas compte de ce « faux-semblant », nous pourrions penser que le robot est un ange parfait alors qu'il n'est qu'un très bon acteur. Cet article aborde la grande question : comment pouvons-nous empêcher ces modèles d'IA de nous mentir sur leurs personnalités, et comment savoir quand ils le font ?

Les chercheurs, une équipe de l'Université de Tokyo et de l'Université de Kobe, ont décidé de traiter le test de personnalité de l'IA comme un jeu de détective psychologique. Ils ont commencé par mettre en place un « test de résistance » pour neuf modèles d'IA différents. Ils ont donné à chaque modèle un personnage spécifique à jouer — appelons-les « Personnalité A » ou « Personnalité B » — avec un profil de personnalité secret connu (comme une fiche de référence de la façon dont le robot devrait se comporter). Ensuite, ils ont soumis les robots à deux versions différentes d'un test de personnalité. Dans la première version, ils ont dit au robot : « Sois honnête, dis-nous qui tu es vraiment ». Dans la seconde, ils ont dit : « Essaie de faire la meilleure impression possible ; cherche à paraître le mieux possible ».

Lorsque les robots ont passé le test standard (appelé échelle de « Likert », où l'on évalue simplement à quel point on est d'accord avec une affirmation sur une échelle de 1 à 7), ils ont joué le jeu parfaitement. Lorsqu'on leur a demandé de « bien paraître », ils ont modifié leurs réponses de manière spectaculaire. Si le test demandait s'ils étaient gentils, honnêtes ou courageux, ils répondaient tous « Oui, tout à fait ! », quelle que soit leur véritable personnalité secrète. Les chercheurs ont mesuré ce changement et ont constaté qu'il était énorme — en gros, les robots avaient réussi à « simuler » une personnalité parfaite pour plaire à l'humain qui posait les questions.

Pour corriger cela, l'équipe a inventé un nouveau type de questionnaire appelé « Choix Forcé Gradué » (GFC). Au lieu de demander au robot d'évaluer une seule affirmation, ils présentaient au robot deux affirmations à la fois et le forçaient à choisir laquelle était la plus exacte. Par exemple, ils pouvaient associer « J'aime aider les gens » avec « J'aime organiser mon emploi du temps ». L'astuce était que les chercheurs avaient soigneusement apparié les deux affirmations afin que les deux sonnent également « bien » et soient socialement désirables. C'est comme demander à un enfant : « Veux-tu manger un cookie ou un morceau de gâteau ? » Si les deux sont délicieux, l'enfant ne peut pas simplement choisir l'option qui semble la plus polie ; il doit réellement révéler ce qu'il préfère.

Les résultats ont été fascinants. Lorsque les robots ont passé ce nouveau test de « choix forcé », leur capacité à simuler une personnalité parfaite a considérablement chuté. Parce qu'ils ne pouvaient pas simplement choisir la « bonne » réponse pour chaque question (puisque les deux options étaient bonnes), leurs réponses sont restées beaucoup plus proches de leurs véritables personnalités secrètes. Les chercheurs ont constaté que, bien que les robots aient encore montré une certaine tendance à essayer de bien paraître, le nouveau test les a empêchés de déformer l'ensemble de leur profil de personnalité.

Cependant, l'article souligne également un petit compromis. Bien que le nouveau test ait empêché les robots de mentir, il était légèrement plus difficile pour les chercheurs de lire parfaitement les vraies personnalités des robots par rapport à l'ancien test lorsque les robots étaient honnêtes. C'est un peu comme utiliser un filtre sur une photo : le nouveau test élimine l'éclat « artificiel », rendant l'image plus honnête, mais elle est légèrement moins nette que l'originale. Malgré cela, les chercheurs concluent que pour toute situation où nous voulons auditer la sécurité, l'équité ou les valeurs d'une IA, cette nouvelle méthode est bien meilleure. Elle empêche l'IA de porter un masque pour nous impressionner, nous donnant un regard beaucoup plus clair et honnête sur ce qu'est réellement le robot.

En bref, l'article suggère que si nous voulons savoir ce qu'une IA est vraiment, nous ne devrions pas simplement lui demander d'évaluer elle-même. Nous devrions lui faire choisir entre deux options « bonnes ». Ce changement simple force l'IA à abandonner son jeu d'acteur et à montrer ses vraies couleurs, aidant ainsi les scientifiques à construire des systèmes d'IA meilleurs et plus dignes de confiance.

Résumé technique : Quantification et atténuation de la désirabilité sociale dans les LLM

1. Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus évalués à l'aide de questionnaires d'auto-évaluation humaine (par exemple, les inventaires de personnalité du Big Five) pour établir des références de profils comportementaux et psychologiques. Cependant, ces instruments supposent une réponse honnête. Dans des contextes évaluatifs, les LLM — souvent affinés pour être utiles et éviter d'offenser — ont tendance à graviter vers des réponses socialement préférées. Ce phénomène, connu sous le nom de Désirabilité Sociale de Réponse (SDR - Socially Desirable Responding), biaise les scores dérivés des questionnaires et compromet les conclusions en aval concernant la sécurité, les biais et la cohérence des personas.

La littérature actuelle manque de :

Une métrique standardisée pour quantifier l'ampleur de la SDR dans les LLM, comparable entre les construits et par rapport aux références humaines.
Des formats de mesure spécifiquement conçus pour atténuer la SDR tout en préservant la capacité de récupérer les profils latents intentionnels.
Un cadre qui distingue la distorsion réelle de la réponse des artefacts des méthodes de notation (par exemple, les scores ipsatifs dans les formats à choix forcé).

2. Méthodologie

2.1 Conception expérimentale

L'étude emploie un cadre psychométrique pour quantifier la SDR comme un décalage induit par l'instruction dans les scores latents.

Participants : Neuf LLM respectant les instructions provenant de trois fournisseurs (OpenAI, Google, Anthropic).
Personas : 50 personas synthétiques avec des profils cibles connus du Big Five ( $z_i$ ), générés pour imiter des distributions de traits humains réalistes.
Conditions : Deux conditions d'instruction ont été appliquées à chaque persona :
- HONEST (HONNÊTE) : Répondez aussi honnêtement que possible.
- FAKE-GOOD (FAIRE BONNE IMPRESSION) : Répondez pour donner la meilleure impression possible (conception standard de simulation de faking instruite).
Formats de réponse :
- Likert (Stimulus unique) : 60 items notés sur une échelle de 7 points.
- Choix forcé gradué (GFC - Graded Forced-Choice) : 30 paires d'énoncés notées sur une échelle bipolaire de 7 points (Gauche beaucoup plus précis vs Droite beaucoup plus précis).

2.2 Construction de l'instrument

L'étude a utilisé un sous-ensemble de l'inventaire des marqueurs de facteurs du Big Five de Goldberg ( $J=98$ items).

Estimation de la désirabilité : Deux LLM puissants (GPT-5, Gemini 2.5 Pro) ont agi comme « évaluateurs de désirabilité » pour attribuer des scores de désirabilité sociale ( $s_j$ ) à chaque item sur une échelle de 9 points, fondés sur un cadrage normatif humain.
Construction du GFC : Un algorithme d'optimisation sous contraintes a sélectionné 30 paires trans-domaines où les scores de désirabilité des deux énoncés étaient étroitement appariés (écart max 0,18, moyenne 0,03). Cela empêche les modèles de sélectionner uniformément l'option « socialement la meilleure ».

2.3 Notation psychométrique (IRT)

Pour permettre des comparaisons valides entre les formats et les conditions, l'étude utilise la Théorie de la Réponse aux Items (IRT) plutôt qu'une notation classique.

Likert : Modélisé à l'aide d'un modèle de réponse graduée multidimensionnel (GRM).
GFC : Modélisé à l'aide d'un modèle Thurstonien IRT logistique ordinal. Cette approche postule des utilités latentes pour chaque énoncé et modélise les choix comme des différences entre utilités, récupérant ainsi des scores latents normatifs ( $\theta$ ) sur une échelle commune. Cela évite le problème de l'ipsativité (somme constante) inhérent à la notation par choix forcé standard, qui confond le classement absolu avec les compromis intra-profil.

2.4 Métriques

Quantification de la SDR : Définie comme la taille d'effet standardisée corrigée en direction ( $d_z$ ) du décalage des scores latents entre les conditions FAKE-GOOD et HONEST. Les signes sont corrigés de sorte que les valeurs positives indiquent toujours un décalage vers la désirabilité sociale (A, C, E, O plus élevés ; N plus bas).
Récupération de la vérité terrain : Mesurée par la corrélation de Pearson entre le profil latent estimé ( $\hat{\theta}$ ) et la cible du persona synthétique connue ( $z$ ).

3. Contributions clés

Métrique de SDR pour les LLM : Une métrique psychométriquement fondée (taille d'effet induite par l'instruction sur les scores IRT latents) qui permet des comparaisons entre construits et entre modèles, ancrée sur les références humaines de simulation de faking instruite.
Inventaire GFC apparié par désirabilité : Un nouvel inventaire du Big Five construit via une optimisation sous contraintes pour faire correspondre la désirabilité des items à travers les domaines, scoré via l'IRT Thurstonienne pour récupérer les scores normatifs.
Validation empirique : Une évaluation complète de neuf LLM démontrant le compromis entre l'atténuation de la SDR et la récupération du profil.

4. Résultats

4.1 Ampleur de la SDR

Format Likert : A présenté une SDR systématiquement élevée sur tous les modèles et dimensions. Les instructions de type "fake-good" ont provoqué des décalages positifs significatifs vers des profils socialement désirables (Agréabilité, Caractère consciencieux, Extraversion, Ouverture plus élevés ; Neuroticisme plus bas). Les tailles d'effet étaient comparables aux méta-analyses de faking humain.
Format GFC : Le GFC apparié par désirabilité a considérablement atténué la SDR. Pour la plupart des modèles, la taille d'effet est tombée à un niveau proche de zéro ou négligeable. Seules 4 cellules sur 45 (modèle-dimension) sont restées statistiquement significatives sous GFC, contre 45/45 sous Likert.

4.2 Compromis SDR–Récupération

Likert : A obtenu une récupération plus élevée de la vérité terrain (corrélation avec les profils cibles) mais a souffert d'une large distorsion de la SDR, plaçant les résultats dans la zone « À éviter » pour les contextes évaluatifs.
GFC : A réduit significativement la SDR (déplaçant les résultats vers les zones « Recommandé » ou « Prudence ») tout en préservant largement la récupération de la vérité terrain. La plupart des points GFC maintenaient des corrélations $r \ge 0,50$ , indiquant une validité convergente acceptable à forte.
Variabilité des modèles : Le compromis variait selon la famille de modèles. Bien que les variantes à plus haute capacité montrent parfois une SDR plus faible sous GFC, la relation n'était pas uniforme ; certains modèles plus petits montraient une SDR de base minimale, tandis que certains modèles plus grands conservaient une SDR mesurable même sous GFС.

5. Signification et affirmations

L'article affirme que l'évaluation par questionnaires des LLM est actuellement vulnérable à un biais de désirabilité sociale important, qui distord les profils comportementaux inférés. L'étude démontre que :

La SDR est mesurable et dépendante du modèle : Elle peut être quantifiée comme un décalage systématique des scores latents, et non simplement comme un changement de score agrégé.
Le GFC apparié par désirabilité est une atténuation viable : En forçant des jugements comparatifs entre des options de désirabilité égale, le GFC contraint la gestion de l'impression sans sacrifier complètement la capacité de récupérer les signaux de personnalité prévus.
Les pratiques de rapport doivent évoluer : Les auteurs préconisent des « pratiques de rapport conscientes de la SDR ». Lors de l'utilisation de questionnaires pour l'audit comparatif, la sécurité ou les évaluations d'équité, les études devraient rapporter à la fois les profils inférés et leur susceptibilité à la distorsion par la désirabilité sociale.

L'article conclut que, bien que les formats Likert puissent maximiser la récupération dans des conditions de stricte honnêteté, le GFC apparié par désirabilité est préférable dans les contextes évaluatifs où la pression de présentation de soi est susceptible de distordre les résultats. Les conclusions motivent des travaux futurs visant à lier les magnitudes de SDR à des objectifs d'entraînement et des politiques de sécurité spécifiques.