A closer look at how large language models trust humans: patterns and biases

1. Problématique et Contexte

L'intégration croissante des Agents basés sur les Grands Modèles de Langage (LLM) dans les processus de prise de décision humaine soulève une question critique : comment ces systèmes évaluent-ils la fiabilité des humains ? Bien que la confiance des humains envers l'IA soit bien documentée, la dynamique inverse — la manière dont les LLMs élaborent une confiance émulée (ou implicite) envers les humains — reste peu comprise.

L'étude vise à quantifier et caractériser cette confiance émulée en examinant si les LLMs suivent les mêmes structures psychologiques que les humains (basées sur la compétence, la bienveillance et l'intégrité) ou s'ils développent des biais systématiques et des mécanismes de décision rigides qui divergent de la cognition humaine.

2. Méthodologie

Les auteurs ont conçu un cadre expérimental robuste comparant cinq LLMs à des participants humains à travers 43 200 simulations.

• Modèles utilisés : Cinq modèles de pointe (OpenAI : GPT-5, GPT-4o mini, o3-mini ; Google : Gemini 2.5 Pro, Gemini 2.5 Flash).
• Scénarios : Cinq contextes de prise de décision réalistes où la confiance est cruciale :
  1. Évaluation d'un manager par un employé.
  2. Décision de montant de prêt pour un propriétaire d'entreprise.
  3. Décision de montant de don pour une organisation à but non lucratif.
  4. Choix de la durée d'un voyage avec un instructeur.
  5. Décision du nombre d'heures pour laisser une baby-sitter avec des enfants.
• Manipulations expérimentales :
  • Dimensions de fiabilité (Trustworthiness) : Compétence, bienveillance et intégrité (niveau élevé vs faible).
  • Variables démographiques : Genre, âge (20, 40, 60 ans) et religion (Chrétien, Juif, Musulman).
  • Protocole : Pour chaque combinaison unique (144 combinaisons par scénario), les modèles ont été interrogés en trois étapes : description du sujet, quantification de la décision (ex: montant du prêt), et remplissage d'un questionnaire de confiance standardisé (échelle de Mayer et Davis). Chaque simulation a été répétée 12 fois pour assurer la robustesse.
• Groupe de contrôle humain : 1 000 participants recrutés via Prolific, soumis aux mêmes scénarios (avec un design orthogonal réduit à 36 combinaisons par scénario pour des raisons pratiques).
• Analyse : Régressions linéaires (OLS) et analyses de corrélation pour déterminer l'impact des dimensions de fiabilité et des variables démographiques sur les décisions de confiance.

3. Résultats Clés

A. Convergence Structurelle et Divergence de Mécanisme

• Convergence : Les LLMs et les humains distinguent tous deux de manière fiable les niveaux élevés des niveaux faibles de compétence, de bienveillance et d'intégrité. Une compétence ou une intégrité élevée conduit généralement à des décisions plus favorables (prêts plus importants, plus d'heures de garde, etc.).
• Divergence (Rigidité vs Variabilité) : Les LLMs sont significativement plus extrêmes et internes cohérents que les humains. Les modèles de régression expliquent une part beaucoup plus importante de la variance des décisions des LLMs que celles des humains. Les LLMs se comportent comme des fonctions déterministes basées sur les indices textuels, tandis que les humains montrent une variabilité contextuelle et du « bruit » typique du jugement social réel.

B. Organisation des Dimensions de Confiance

• Effet de Halo chez les Humains : Chez les participants humains, les trois dimensions sont fortement corrélées. Une personne perçue comme compétente est aussi perçue comme bienveillante et intègre (effet de halo global).
• Modularité chez les LLMs : Les LLMs traitent ces trois dimensions comme des entités beaucoup plus indépendantes (corrélations internes faibles). Ils s'alignent plus étroitement sur le « modèle théorique à trois facteurs » de la littérature académique, alors que les humains tendent à fusionner ces évaluations en une impression globale de « bonne personne ».

C. Le Rôle de la Bienveillance

• La bienveillance est la dimension où l'alignement est le plus faible. Les LLMs accordent systématiquement un poids positif à la bienveillance. En revanche, les humains, particulièrement dans les contextes financiers (prêts, dons), sont plus méfiants envers les signaux de « gentillesse » une fois la compétence et l'intégrité contrôlées, et peuvent même pénaliser la bienveillance dans ces cas. Cela suggère que les LLMs pourraient surestimer le langage prosocial (tendance à la « sycophancie »).

D. Biais Démographiques Systématiques

• Amplification des biais : Les LLMs présentent des effets démographiques (âge, genre, religion) plus forts et plus systématiques que les humains.
  • Exemples : Certains modèles favorisent systématiquement les candidats masculins ou plus âgés pour les prêts. Les candidats de religion juive reçoivent des montants de prêts ou de dons significativement plus élevés dans plusieurs modèles.
  • Les humains montrent des biais démographiques plus faibles et moins cohérents dans cette étude.

E. Hétérogénéité Inter-Modèles

• Il existe des différences substantielles entre les modèles. Certains modèles traitent la bienveillance comme un atout majeur, d'autres comme un passif. Les coefficients démographiques varient également considérablement d'un modèle à l'autre, indiquant qu'il n'existe pas de « comportement LLM » unique, mais des comportements spécifiques à chaque architecture et entraînement.

4. Contributions Principales

1. Quantification de la confiance émulée : C'est l'une des premières études à démontrer que les LLMs expriment une confiance émulée structurée selon les dimensions classiques de la fiabilité, mais avec des mécanismes de formation différents de ceux des humains.
2. Identification de la rigidité cognitive : Mise en évidence du fait que les LLMs appliquent des règles de confiance de manière trop cohérente et textuelle, manquant de la nuance contextuelle et de la variabilité humaine.
3. Cartographie des biais démographiques : Démonstration que les LLMs peuvent amplifier les inégalités socio-économiques existantes à travers des biais démographiques plus marqués que ceux observés chez les humains dans des contextes de prise de décision.
4. Distinction entre imitation et cognition : Les résultats suggèrent que les LLMs simulent le jugement humain via des régularités linguistiques apprises plutôt que par une véritable formation de croyances sociales, ce qui peut conduire à des jugements « épistémiquement contrefaits » (persuasifs mais non fondés sur une compréhension réelle).

5. Signification et Implications

• Pour le déploiement de l'IA : Les LLMs ne doivent pas être considérés comme des substituts parfaits au jugement humain dans les domaines sensibles (finance, RH, juridique). Leur rigidité et leurs biais démographiques systématiques posent des risques d'injustice et d'erreurs de décision.
• Pour la recherche en IA : Il est crucial de développer des méthodes de surveillance spécifiques à chaque modèle, car l'hétérogénéité entre les modèles est élevée.
• Pour la cognition sociale : L'étude offre un nouveau point de vue sur les « failles épistémologiques » entre l'IA et l'humain : là où l'humain intègre holistiquement l'expérience et le contexte, l'IA mappe de manière modulaire les descripteurs textuels vers des jugements, reproduisant la structure théorique de la confiance sans en capturer la complexité psychologique sous-jacente.

En conclusion, bien que les LLMs puissent émuler la structure de base de la confiance humaine, leur implémentation est plus rigide, plus biaisée démographiquement et moins nuancée, ce qui nécessite une vigilance accrue lors de leur utilisation comme outils d'aide à la décision.