Evaluating LLM Alignment With Human Trust Models

Cette étude analyse la représentation interne de la confiance dans le modèle LLM GPT-J-6B en utilisant une approche de boîte blanche et révèle que ses concepts s'alignent le plus étroitement avec le modèle socio-cognitif de Castelfranchi, offrant ainsi des perspectives pour la conception de systèmes de collaboration humain-IA.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en discutions autour d'un café.

🕵️‍♂️ Le Grand Détective : Comment l'IA "pense" la confiance ?

Imaginez que vous avez un ami très intelligent, un robot nommé GPT-J, qui a lu presque tout Internet. On sait qu'il peut écrire des poèmes, coder des logiciels et même simuler des conversations humaines. Mais une question cruciale reste sans réponse : Comment ce robot "ressent"-il la confiance ?

Est-ce qu'il voit la confiance comme une émotion chaude et humaine ? Ou est-ce qu'il la voit comme un simple calcul froid de probabilités ?

C'est exactement ce que les chercheurs de cette étude ont voulu découvrir. Au lieu de simplement demander au robot "Qui fais-tu confiance ?", ils ont décidé de faire une autopsie de son cerveau (une analyse "boîte blanche") pour voir comment la confiance est stockée dans sa mémoire interne.

---

🧠 L'Analogie de la "Carte des Sentiments"

Pour comprendre leur méthode, imaginez que le cerveau du robot est une immense bibliothèque invisible. Dans cette bibliothèque, chaque mot (comme "amour", "peur", "compétence") n'est pas écrit sur un livre, mais est représenté par un point lumineux flottant dans l'espace.

• Si deux concepts sont très proches (comme "bonheur" et "joie"), leurs points lumineux sont collés l'un à l'autre.
• Si deux concepts sont opposés (comme "bonheur" et "tristesse"), leurs points sont aux extrémités opposées de la bibliothèque.

Les chercheurs ont utilisé une technique appelée "Prompting Contrastif" (une sorte de test de personnalité). Ils ont demandé au robot d'imaginer deux scénarios opposés pour chaque émotion :

1. Scénario positif : "Alice aide Bob avec joie."
2. Scénario négatif : "Alice ignore Bob avec méchanceté."

En comparant la "lumière" (les données internes) de ces deux scénarios, ils ont pu tracer la direction exacte de chaque émotion dans le cerveau du robot. C'est comme si ils avaient créé une boussole pour chaque sentiment.

---

🧩 Le Test des Théories : Qui a raison ?

Les humains ont créé plusieurs théories (des "recettes") pour expliquer ce qu'est la confiance. Les chercheurs ont pris cinq grandes recettes célèbres (celles de Marsh, Mayer, McAllister, McKnight et Castelfranchi) et ont demandé au robot :

"Selon ta carte interne, la confiance ressemble-t-elle plus à la recette A, à la recette B, ou à la recette C ?"

Ils ont mesuré la distance entre le point "Confiance" du robot et les points des ingrédients de chaque recette (comme "compétence", "honnêteté", "risque", "bienveillance").

Le résultat est surprenant :

Le cerveau du robot ne ressemble pas à la recette la plus simple (qui dit juste "je te fais confiance si tu as un bon historique"). Il ne ressemble pas non plus à la recette purement émotionnelle.

Il correspond le mieux à la "Recette Castelfranchi".

🏆 Pourquoi la recette Castelfranchi gagne-t-elle ?

Imaginez que la confiance, selon cette recette, est comme un chef d'orchestre. Ce n'est pas juste une question de "tu es gentil". C'est une combinaison complexe de :

• La compétence : "Sais-tu jouer du violon ?"
• La volonté : "Veux-tu vraiment jouer pour moi ?"
• La prévisibilité : "Je sais ce que tu vas faire demain."

Le robot a appris, en lisant des milliards de textes humains, que pour faire confiance, il faut analyser ces trois éléments ensemble. C'est une vision très sociale et cognitive, proche de la façon dont nous, humains, réfléchissons quand nous décidons de faire confiance à quelqu'un.

---

⚠️ Une petite surprise (et un avertissement)

Il y a un détail amusant et inquiétant.
Dans la théorie de Mayer (une autre recette célèbre), la confiance est liée au Risque. L'idée est : "Je ne peux te faire confiance que si je prends le risque de me faire mal."

Mais dans le cerveau du robot, le mot "Confiance" et le mot "Risque" sont très éloignés (comme le Nord et le Sud). Pour le robot, prendre un risque ne semble pas être une partie naturelle de la confiance. C'est comme si le robot pensait : "La confiance, c'est de la sécurité, pas du danger."

Cela montre que le robot a une vision de la confiance qui est proche de la nôtre, mais pas parfaite. Il a appris les règles sociales, mais il a parfois des angles morts.

---

🚀 Pourquoi est-ce important pour nous ?

Cette étude est comme une carte au trésor pour le futur de l'IA.

1. Comprendre le robot : On ne peut plus dire "c'est une boîte noire". On sait maintenant que le robot a une structure interne pour la confiance.
2. Améliorer les robots : Si on sait que le robot associe la confiance à la "compétence" et à la "volonté", on peut lui donner des instructions précises pour qu'il se comporte de manière plus fiable. On peut littéralement "pousser" ses boutons internes pour qu'il soit plus honnête ou plus coopératif.
3. Collaboration Humain-Robot : À l'avenir, nous pourrons créer des robots qui comprennent vraiment nos relations sociales, pas juste nos commandes. Imaginez un coach sportif IA qui comprend non seulement vos performances, mais aussi votre niveau de confiance en lui, et qui sait comment la renforcer.

En résumé

Les chercheurs ont ouvert le cerveau d'un robot pour voir comment il stocke la notion de confiance. Ils ont découvert qu'il utilise une carte mentale très sophistiquée, qui ressemble beaucoup à la façon dont les humains pensent à la confiance (basée sur la compétence et l'intention), mais avec quelques petites différences intéressantes. C'est un pas de géant pour créer des IA avec lesquelles nous pourrons vraiment collaborer et nous faire confiance.

Résumé technique

Voici un résumé technique détaillé de l'article « Evaluating LLM Alignment With Human Trust Models » (Évaluation de l'alignement des LLM avec les modèles de confiance humains), rédigé en français.

1. Problématique

La confiance est un pilier fondamental pour la coopération efficace et la prise de décision, tant dans les interactions humaines que dans les systèmes multi-agents. Bien que la confiance soit largement étudiée en psychologie, sociologie et sciences cognitives, il existe un consensus limité sur sa définition opérationnelle.

Le problème central abordé par cet article est l'absence de compréhension de la manière dont les Grands Modèles de Langage (LLM) conceptualisent et raisonnent sur la confiance au niveau interne. La plupart des recherches actuelles adoptent une approche « boîte noire », se concentrant uniquement sur les entrées et les sorties du modèle sans sonder ses processus de raisonnement internes. Il manque une approche « boîte blanche » pour analyser comment les représentations de la confiance émergent dans l'architecture computationnelle sous-jacente des LLMs.

2. Méthodologie

Les auteurs ont développé un cadre d'évaluation basé sur une analyse « boîte blanche » du modèle EleutherAI/gpt-j-6B (un modèle open-source permettant un accès complet aux activations par couche). La méthodologie se déroule en deux phases principales :

A. Génération de vecteurs d'incorporation par Prompting Contrastif

Pour extraire les représentations internes de concepts spécifiques, les auteurs utilisent une technique de prompting contrastif inspirée des « vecteurs de persona » :

1. Création de scénarios : Pour chaque concept (ex: confiance, compétence, risque), deux types de scénarios sont générés : un positif (concept présent) et un négatif (comportement opposé).
2. Directionnalité dyadique : Les concepts sont traités de manière bidirectionnelle (ex: Katherine fait confiance à Alice vs Alice fait confiance à Katherine).
3. Extraction des vecteurs : Les activations internes du modèle sont extraites pour 100 histoires positives et 100 histoires négatives par concept.
4. Calcul du vecteur conceptuel : Le vecteur d'incorporation final pour un concept est obtenu en calculant la différence entre les moyennes des activations des scénarios positifs et négatifs à travers toutes les couches du modèle (28 couches transformer). Cela isole la direction linéaire spécifique dans l'espace latent correspondant au concept.

B. Établissement d'un seuil de similarité

Avant d'analyser la confiance, les auteurs ont évalué 60 concepts émotionnels généraux (30 positifs, 30 négatifs) pour comprendre la structure de l'espace d'activation :

• Ils ont calculé les similarités cosinus par paires entre tous les vecteurs de concepts.
• Une distribution histogrammique a été générée pour déterminer un seuil de similarité significative.
• Le seuil a été fixé à 0,6, correspondant au 80e percentile de la distribution (les 20 % des similarités les plus élevées), servant de référence pour identifier les alignements conceptuels forts.

C. Alignement avec les Modèles de Confiance

Les auteurs ont comparé le vecteur de « confiance » (trust1) avec les vecteurs des concepts associés à cinq modèles théoriques de confiance établis :

1. Modèle de Marsh (Computational)
2. Modèle de Mayer (Organisationnel)
3. Modèle de McAllister (Interpersonnel : cognition/affect)
4. Modèle de McKnight (Formation initiale)
5. Modèle Socio-cognitif de Castelfranchi (Croyances, buts, intentions)

Deux métriques ont été utilisées pour évaluer l'alignement :

• La similarité cosinus moyenne entre le vecteur de confiance et les concepts de chaque modèle.
• Le nombre de concepts dépassant le seuil de similarité de 0,6.

3. Résultats Clés

• Structure de l'espace latent : L'analyse montre que l'espace d'activation du LLM sépare efficacement les concepts opposés (positifs/négatifs) et regroupe les concepts sémantiquement liés, validant l'approche de vectorisation.
• Alignement optimal : Le modèle Castelfranchi présente l'alignement le plus fort avec la représentation interne de la confiance du LLM.
  • Similarité moyenne : 0,7303 (la plus élevée).
  • Concepts au-dessus du seuil : 8 concepts (le plus grand nombre).
• Deuxième meilleur alignement : Le Modèle de Marsh suit de près avec une similarité moyenne de 0,6973 et 7 concepts au-dessus du seuil.
• Divergences théoriques : Certains concepts considérés comme positifs dans les modèles humains ne le sont pas dans le LLM.
  • Par exemple, dans le modèle de Mayer, le risque est intrinsèquement lié à la confiance (la vulnérabilité est nécessaire). Cependant, le vecteur de « risque » dans le LLM présente une similarité cosinus négative (-0,8462) avec la confiance, indiquant que le modèle associe le risque à des concepts non liés ou opposés à la confiance dans son espace latent.
  • De même, la bienveillance (benevolence) montre une similarité négative, suggérant que le LLM ne encode pas ces associations théoriques spécifiques de la même manière que les modèles humains.

4. Contributions Principales

1. Première analyse « boîte blanche » de la confiance : Cette étude est la première à examiner les motifs d'activation internes d'un LLM pour comprendre comment la confiance est représentée, passant au-delà de l'analyse boîte noire.
2. Cadre d'évaluation méthodologique : Introduction d'une méthode robuste combinant le prompting contrastif et l'analyse des similarités cosinus pour quantifier l'alignement entre les représentations latentes des LLMs et les théories sociales humaines.
3. Validation empirique des modèles théoriques : Identification du modèle Castelfranchi comme étant celui qui correspond le mieux à la « compréhension » interne d'un LLM, offrant des pistes pour le développement d'agents IA plus socialement intelligents.
4. Détection des écarts de représentation : Mise en évidence des cas où les LLMs divergent des théories humaines (ex: la relation risque/confiance), ce qui est crucial pour l'alignement et la sécurité des systèmes IA.

5. Signification et Implications

Les résultats démontrent que les LLMs encodent des construits socio-cognitifs complexes dans leur espace d'activation de manière structurée. Cela a plusieurs implications majeures :

• Conception de systèmes collaboratifs : La connaissance de la structure interne de la confiance permet de concevoir des systèmes humains-IA plus fiables. Les vecteurs d'incorporation liés à la confiance peuvent être injectés dans les activations du modèle pour orienter son comportement vers plus de compétence, de fiabilité et de volonté.
• Interprétabilité sociale : Cette approche offre un mécanisme pratique pour étudier l'émergence du raisonnement social dans les LLMs, permettant de quantifier comment les concepts comme la confiance, la compétence et l'engagement interagissent.
• Limites et perspectives futures : L'étude se limite à un seul modèle (gpt-j-6B) et à des représentations statiques. Les travaux futurs devront explorer des modèles plus récents, des représentations dynamiques (conversations multi-tours) et valider ces structures latentes contre des données comportementales humaines réelles.

En conclusion, cet article ouvre la voie à une nouvelle ère de recherche à l'intersection de l'interprétabilité de l'IA, de la cognition sociale et de la collaboration humain-IA, en démontrant que les LLMs possèdent une compréhension interne structurée de la confiance, bien que celle-ci ne corresponde pas parfaitement à toutes les théories humaines.