Traces of Social Competence in Large Language Models

Cette étude révèle que la performance des grands modèles de langage aux tests de fausses croyances dépend non seulement de leur taille, mais aussi de l'influence causale du vocabulaire des états mentaux, qui peut fausser leur raisonnement social en favorisant des réponses stéréotypées.

L'essentiel

🕵️‍♂️ Le Grand Test de la "Menteuse" : Les IA peuvent-elles comprendre les mensonges ?

Imaginez une petite histoire classique : Maxi met son chocolat dans un coffre bleu. Il sort jouer. Pendant ce temps, sa maman prend le chocolat, le mange un peu, et le cache dans un coffre vert. Quand Maxi revient, où va-t-il chercher le chocolat ?

• La bonne réponse (selon la logique de Maxi) : Le coffre bleu. (Parce que Maxi ne sait pas que sa maman a bougé le chocolat).
• La réponse "réaliste" (ce qui est vrai) : Le coffre vert.

Ce test s'appelle le Test de la Fausse Croyance. C'est comme un examen de "théorie de l'esprit" : est-ce que l'entité qui répond peut se mettre à la place de quelqu'un d'autre et comprendre que cette personne a une information fausse ?

Les chercheurs de l'Université de Leyde ont demandé à 17 intelligences artificielles (IA) de passer cet examen. Le but ? Voir si ces machines ont vraiment une "intelligence sociale" ou si elles trichent simplement en repérant des indices superficiels.

---

🚂 Ce qu'ils ont découvert (La recette du problème)

Voici les trois grandes découvertes, expliquées avec des métaphores :

1. Plus l'IA est grosse, plus elle est forte... mais pas toujours !

On pensait que plus une IA est "grosse" (plus elle a de données et de puissance), plus elle serait intelligente.

• L'analogie : C'est comme un élève qui lit tout le contenu de la bibliothèque. Plus il lit, mieux il répond aux questions de logique.
• La réalité : C'est vrai pour les cas où l'IA doit deviner ce que Maxi pense (la fausse croyance). Mais paradoxalement, quand on lui demande ce qui est vrai (le chocolat est dans le coffre vert), les très grosses IA se trompent plus souvent ! Elles deviennent trop confiantes dans leurs habitudes et oublient de vérifier la réalité.

2. Le piège du mot "Penser" 🧠

C'est la découverte la plus fascinante. La façon dont on pose la question change tout.

• Question A (Indirecte) : "Où va Maxi chercher le chocolat ?"
• Question B (Directe) : "Où Maxi pense-t-il que se trouve le chocolat ?"

L'analogie : Imaginez un acteur de théâtre qui a appris par cœur un rôle.

• Si on lui dit "Où va-t-il chercher ?", il joue le rôle de Maxi et va au coffre bleu. C'est parfait !
• Mais si on lui dit "Où pense-t-il ?", le mot "penser" sonne comme un signal d'alarme dans sa tête. Dans les livres qu'elle a lus, le mot "penser" est souvent utilisé quand quelqu'un se trompe. Donc, l'IA se dit : "Ah, il y a le mot 'penser', donc la réponse doit être l'opposé de la réalité !"
• Résultat : L'IA devient trop sensible au mot "penser". Elle triche en suivant un code secret plutôt qu'en comprenant vraiment la situation.

3. L'entraînement peut gâcher le jeu 🎓

Les chercheurs ont regardé comment les IA apprennent, étape par étape (comme un élève qui fait ses devoirs, puis suit des cours de spécialité).

• L'analogie : Imaginez un élève brillant qui apprend à résoudre des énigmes.
  • Au début, il est curieux et observe bien.
  • Ensuite, on lui donne des cours de "raisonnement logique" (pour qu'il soit plus intelligent).
  • Le problème : Ces cours lui apprennent à chercher des raccourcis. Il commence à dire : "Ah, le mot 'penser' apparaît, donc je dois répondre X". Il devient si expert à repérer les indices qu'il oublie de comprendre l'histoire elle-même. C'est comme un détective qui regarde trop les détails et rate le coupable principal.

---

🔍 La preuve scientifique : Le "Bâton de Pensée"

Pour prouver que c'est bien le mot "penser" qui pose problème, les chercheurs ont utilisé une technique de "pilotage" (comme un pilote automatique).

• L'analogie : Imaginez que l'IA est un bateau. Les chercheurs ont trouvé un levier spécifique (un vecteur) qui contrôle l'attitude "penser".
• Ils ont poussé ce levier : l'IA a changé de réponse instantanément, même si l'histoire restait la même.
• Conclusion : L'IA ne "pense" pas vraiment comme un humain. Elle réagit mécaniquement à la présence du mot "penser" dans la phrase, car elle a appris que ce mot est souvent associé à des erreurs dans ses données d'entraînement.

💡 En résumé

Ces IA sont impressionnantes, mais elles ne sont pas encore des "humains numériques".

• Elles sont très fortes pour imiter des comportements sociaux.
• Mais elles sont fragiles : si on change un petit mot (comme "penser" au lieu de "chercher"), elles se trompent.
• Elles apprennent des raccourcis (des astuces) plutôt que de véritablement comprendre la psychologie des autres.

C'est un peu comme si elles avaient appris à jouer aux échecs en mémorisant des millions de parties, mais sans jamais vraiment comprendre la stratégie derrière le coup. Elles sont brillantes, mais elles ne "comprennent" pas encore vraiment les autres.

Résumé technique

1. Problématique et Contexte

L'évaluation de la Théorie de l'Esprit (ToM) chez les humains repose traditionnellement sur le Test de la Croyance Fausse (False Belief Test - FBT), qui mesure la capacité à attribuer des états mentaux différents aux autres. Récemment, ce test a été appliqué aux Modèles de Langage de Grande Taille (LLM) pour évaluer leurs compétences socio-cognitives.

Cependant, l'article identifie plusieurs limites majeures dans les études précédentes sur les LLM :

• Contamination des données : Risque que les données de test aient été incluses dans les données d'entraînement.
• Manque de transparence : Peu d'informations sur les architectures, la taille des modèles et les protocoles d'entraînement précis.
• Incohérence des contrôles : Difficulté à distinguer si les modèles raisonnent réellement ou s'ils utilisent des heuristiques de surface (mot-clés, patterns statistiques).
• Absence de causalité : Incertitude sur les mécanismes internes qui pilotent les réponses.

L'objectif de cet article est de surmonter ces obstacles en menant une analyse systématique et rigoureuse de la compétence sociale des LLM, en se concentrant sur la manière dont la taille du modèle et les phases d'entraînement (post-entraînement) influencent la performance au FBT.

2. Méthodologie

Les auteurs ont conçu une expérience robuste combinant des tests statistiques avancés et des techniques d'interprétabilité.

A. Données et Tâches

• Jeu de données : Utilisation d'un ensemble équilibré de 192 variantes du FBT (issues de Trott et al., 2023), intégrées dans le jeu de données EPITOME.
• Contrôle de la contamination : Vérification approfondie (Appendice D) confirmant que ces scénarios ne sont pas présents dans les données d'entraînement des modèles testés (notamment la famille OLMo).
• Variables expérimentales : Chaque scénario est manipulé selon quatre dimensions pour créer 192 variations :
  1. État de connaissance : Croyance Vraie (le personnage voit le déplacement) vs Croyance Fausse (le personnage ne voit pas).
  2. Indice de connaissance : Explicite ("X pense que...") vs Implicite ("X va chercher...").
  3. Mentions de lieu : Ordre d'apparition des lieux de départ et d'arrivée (pour contrôler les biais de récence/primauté).
• Modèles testés : 17 variantes de modèles provenant de 6 familles (OLMo 2/3, Llama 3, Gemma 3, Qwen 3, K2-V2), couvrant différentes tailles (de 1B à 70B) et types d'entraînement (Base, Instruct, Reasoning).

B. Protocole d'Évaluation

• Calcul de probabilité : Au lieu de générer du texte libre, les auteurs calculent la probabilité conditionnelle des tokens de réponse (les lieux) pour éviter les biais de génération. Une normalisation est appliquée pour gérer les tokeniseurs basés sur les sous-mots (Pimentel and Meister, 2024).
• Analyse Statistique : Utilisation de régressions logistiques hiérarchiques bayésiennes (via le package brms en R) pour modéliser la probabilité de réponse correcte en fonction de la taille du modèle, de la variante d'entraînement, de l'état de connaissance et de l'indice.

C. Techniques Avancées

• Étude de cas OLMo 2 : Analyse fine-grain des checkpoints tout au long du pré-entraînement et du post-entraînement (SFT, DPO, RLVR) pour observer l'émergence des compétences.
• Vector Steering (Pilotage vectoriel) : Extraction de vecteurs de direction ("think vector") à partir des états cachés du modèle (couches 8-16) pour isoler l'impact causal de la présence du verbe "penser" sur les prédictions.

3. Résultats Clés

A. Impact de la Taille du Modèle (Scaling)

• L'augmentation de la taille du modèle améliore globalement les performances, mais pas de manière uniforme.
• Effet paradoxal : Le scaling améliore fortement la performance sur les scénarios de Croyance Fausse, mais détériore la performance sur les scénarios de Croyance Vraie.
• Cela suggère que les modèles apprennent des patterns spécifiques aux scénarios de croyance fausse qui deviennent contre-productifs pour les croyances vraies à grande échelle.

B. L'Effet de "Croisement" (Crossover Effect)

• Une interaction significative existe entre l'état de connaissance et l'indice de connaissance.
• Indices implicites (ex: "va chercher") facilitent la Croyance Vraie mais nuisent à la Croyance Fausse.
• Indices explicites (ex: "pense que") facilitent la Croyance Fausse mais nuisent à la Croyance Vraie.
• Interprétation : Le verbe "penser" (propositional attitude) active un pattern appris dans les données d'entraînement où ce verbe signale souvent une divergence épistémique (quelque chose qui n'est pas le cas). Cela aide à résoudre les croyances fausses mais induit en erreur pour les croyances vraies.

C. Impact du Post-Entraînement (Instruction Tuning & Reasoning)

• Le post-entraînement (Instruct et Reasoning) améliore globalement la précision par rapport aux modèles de base.
• Cependant, il amplifie l'effet de croisement :
  • L'entraînement "Reasoning" (raisonnement) spécialise le modèle pour le raisonnement explicite de croyance fausse, mais réduit la robustesse globale de la ToM, rendant le modèle plus sensible aux indices de surface.
  • Le post-entraînement n'agit pas comme une pression coopérative purement bénéfique ; il peut renforcer des heuristiques de surface au détriment d'une compréhension contextuelle profonde.

D. Dynamiques d'Apprentissage (OLMo 2)

• L'acquisition de compétences formelles (syntaxe, via le benchmark BLIMP) est rapide et stable.
• L'acquisition de la compétence fonctionnelle (FBT) est plus lente, fluctuante et émerge tardivement.
• L'effet de croisement apparaît dès le pré-entraînement, suggérant que les modèles acquièrent des patterns stéréotypés liés au vocabulaire des états mentaux très tôt, avant même le post-entraînement.

E. Pilotage Vectoriel (Steering)

• L'extraction et l'injection du "think vector" (différence entre les représentations des indices explicites et implicites) permettent de modifier causalement les prédictions du modèle.
• Ajouter ce vecteur aux scénarios implicites de croyance fausse améliore la précision, tandis que le retirer des scénarios explicites de croyance vraie améliore la précision. Cela confirme que le verbe "penser" est un moteur causal des erreurs ou succès observés.

4. Contributions Principales

1. Évaluation Rigoureuse : Fourniture d'une comparaison systématique sur 17 modèles avec un contrôle strict de la contamination des données et des variables expérimentales.
2. Découverte de l'Effet de Croisement : Identification d'une interaction contre-intuitive où l'explication des attitudes propositionnelles ("penser") altère fondamentalement les patterns de réponse, créant un biais entre croyances vraies et fausses.
3. Analyse Causale : Utilisation du vector steering pour démontrer que le comportement observé n'est pas seulement une corrélation statistique, mais est piloté par des représentations spécifiques liées au vocabulaire des états mentaux.
4. Nuance sur le "Scaling" : Démonstration que l'augmentation de la taille du modèle ne garantit pas une meilleure ToM générale, mais peut renforcer des heuristiques spécifiques qui nuisent à la robustesse.

5. Signification et Conclusion

Cet article remet en question l'interprétation naïve des performances aux tests de ToM chez les LLM. Les résultats suggèrent que :

• Les LLM ne possèdent pas nécessairement une "Théorie de l'Esprit" généralisable comme les humains.
• Leurs performances sont fortement influencées par des patterns statistiques appris liés au vocabulaire spécifique (comme le verbe "penser") plutôt que par une compréhension profonde des états mentaux.
• L'entraînement au raisonnement (Reasoning) peut paradoxalement réduire la robustesse sociale en rendant le modèle plus dépendant de ces indices de surface.

Conclusion : Pour évaluer véritablement l'intelligence sociale des LLM, il est nécessaire de dépasser les tests standardisés et d'utiliser des évaluations robustes qui contrôlent les biais linguistiques et les heuristiques de surface. Les auteurs appellent à une évaluation plus prudente avant de conclure à l'émergence de capacités cognitives humaines chez les machines.