Do LLMs Share Human-Like Biases? Causal Reasoning Under Prior Knowledge, Irrelevant Context, and Varying Compute Budgets

Cette étude révèle que les grands modèles de langage adoptent des stratégies de raisonnement causal plus rigides et moins biaisées par les raccourcis cognitifs humains, bien que leur robustesse s'améliore avec l'utilisation de la chaîne de pensée, soulignant ainsi la nécessité de caractériser leurs mécanismes de raisonnement pour un déploiement sûr.

L'essentiel

🕵️‍♂️ Le Grand Test de Détection : Humains vs IA

Imaginez que vous êtes un détective. On vous donne une scène de crime avec deux suspects possibles (le Suspect A et le Suspect B) qui ont tous deux pu commettre le crime (l'Effet).

• La situation : On vous dit que le crime a été commis.
• La question : Si vous savez que le Suspect A est innocent, est-ce que cela rend le Suspect B plus coupable ?

C'est ce qu'on appelle un raisonnement de "collier" (ou collider en anglais). C'est une situation où deux causes indépendantes mènent à un même résultat.

Les chercheurs de cette étude (publiée à l'ICLR 2026) ont posé ce genre de questions à plus de 20 intelligences artificielles (IA) et à un groupe d'humains pour voir qui est le meilleur détective.

🧠 1. Les Humains : Des détectifs intuitifs mais imparfaits

Les humains sont très bons pour comprendre le monde, mais ils ont des accidents de cerveau (des biais).

• L'erreur humaine : Quand on leur dit que le Suspect A est innocent, les humains ont tendance à dire : "Ah bon ? Peut-être que c'est quand même lui, ou peut-être qu'il y a un troisième suspect caché que je ne vois pas !"
• Le résultat : Ils sont souvent trop confus. Ils ne "déduisent" pas assez clairement que si A est innocent, la culpabilité de B doit augmenter. Ils imaginent trop de facteurs cachés. C'est comme si, face à un puzzle, ils ajoutaient des pièces qui n'existent pas dans la boîte.

🤖 2. Les IA : Des robots trop obéissants (mais parfois trop rigides)

Les IA, elles, se comportent différemment. Elles sont comme des élèves modèles qui suivent le manuel à la lettre.

• La force des IA : Elles sont excellentes pour suivre les règles. Si on leur dit "A et B sont les seules causes possibles", elles le croient à 100 %. Si A est innocent, elles disent immédiatement : "C'est donc B !" sans douter.
• Leur problème : Elles sont parfois trop rigides. Dans la vraie vie, il y a souvent des facteurs imprévus (la pluie, une panne de courant, un tiers inconnu). Les IA ont du mal à imaginer ces "facteurs cachés" parce qu'elles se fient trop strictement à ce qu'on leur a écrit dans la consigne.

🛡️ 3. Le Super-Pouvoir : La "Chaine de Pensée"

Les chercheurs ont découvert un truc magique pour améliorer les IA : leur demander de penser à voix haute avant de répondre (ce qu'on appelle le Chain-of-Thought ou "Chaîne de Pensée").

• Sans aide : L'IA répond vite, parfois trop vite, et peut se tromper si le texte est compliqué ou rempli de bruit.
• Avec la "Chaine de Pensée" : C'est comme demander à l'IA de prendre un café et de réfléchir étape par étape.
  • Résultat : L'IA devient plus robuste. Elle résiste mieux aux distractions (comme un texte rempli de blabla inutile) et ses réponses deviennent plus stables, plus proches de la logique pure.

🎭 4. Le Test de la "Boîte Noire"

Pour voir si les IA comprenaient vraiment la logique ou si elles faisaient juste du "par cœur", les chercheurs ont fait deux choses :

1. Ils ont changé les mots : Au lieu de parler de "société" ou de "météo", ils ont utilisé des mots sans sens (comme "X7z9").
2. Ils ont ajouté du bruit : Ils ont inséré des phrases inutiles dans la question pour distraire l'IA.

La découverte :

• Les petites IA (les modèles plus anciens ou moins puissants) se sont perdues. Elles ont commencé à faire des erreurs dès qu'on changeait les mots ou qu'on ajoutait du bruit.
• Les grosses IA (comme Gemini-2.5-pro) sont restées indifférentes. Peu importe si on parlait de "météo" ou de "symboles bizarres", leur logique restait solide. C'est comme un grand expert qui comprend le principe du jeu, peu importe les règles écrites sur le papier.

💡 En résumé : Qui gagne ?

Ce n'est pas une compétition où l'un gagne et l'autre perd. C'est une question de complémentarité :

• Les Humains sont excellents pour imaginer le contexte, les facteurs cachés et l'incertitude du monde réel (le "monde ouvert"). Mais ils sont sujets à des erreurs de logique rapides.
• Les IA sont excellentes pour appliquer des règles strictes et ne pas se laisser distraire par des détails inutiles (le "monde fermé"). Mais elles peuvent être trop rigides et ignorer des réalités imprévues.

La leçon pour le futur :
Si vous voulez utiliser une IA pour prendre des décisions importantes (comme en médecine ou en justice), ne lui faites pas confiance aveuglément. Utilisez-la pour sa rigueur logique, mais gardez un humain pour vérifier qu'elle n'a pas oublié des facteurs cachés du monde réel. Et surtout, demandez-lui toujours de réfléchir étape par étape avant de donner sa réponse !

Résumé technique

Résumé Technique : Les LLM partagent-ils des biais humains ? Raisonnement causal sous connaissance préalable, contexte irrelevant et budgets de calcul variables

Auteurs : Hanna M. Dettki, Charley M. Wu, Bob Rehder
Publication : Atelier ICLR 2026 "From Human Cognition to AI Reasoning (HCAIR)"

1. Problématique

Les grands modèles de langage (LLM) sont de plus en plus déployés dans des domaines critiques (médical, juridique) où le raisonnement causal est essentiel. Cependant, il reste incertain si leurs jugements reflètent un calcul causal normatif, des raccourcis cognitifs humains (biais) ou un appariement de motifs fragile.

Le défi central réside dans le fait que, dans le monde réel, les jugements causaux sont souvent mal définis (absence de taux de base exacts). Les humains s'appuient alors sur des heuristiques et des hypothèses antérieures, introduisant des biais systématiques. Avant de déployer des LLM dans des contextes à haut risque, il est crucial de déterminer :

1. Si les LLM reproduisent les biais humains caractéristiques (notamment dans les structures de type "collider").
2. Si leurs jugements sont cohérents et robustes face à des manipulations de contenu (abstraction sémantique, bruit) et à des variations de stratégie de prompt (direct vs Chain-of-Thought).

2. Méthodologie

Tâches et Baseline Humaine

L'étude s'appuie sur un benchmark de 11 tâches de jugement causal issues de l'expérience de Rehder & Waldmann (2017).

• Structure : Un graphe "collider" où deux causes indépendantes ($C1, C2$) affectent un effet commun ($E$) : $C1 \rightarrow E \leftarrow C2$.
• Variables : Binaires (0/1). Les causes sont déclarées indépendantes.
• Tâche : Les agents (humains et LLM) doivent estimer la probabilité d'un événement cible (de 0 à 100) étant donné les observations des autres variables.
• Particularité : Les probabilités a priori et les forces causales ne sont pas spécifiées. Il n'y a donc pas de "vérité terrain" unique. L'évaluation porte sur les stratégies de raisonnement (cohérence, respect des règles, biais qualitatifs) plutôt que sur l'exactitude numérique absolue.
• Baseline : 48 étudiants de l'Université de New York (NYU) ayant répondu aux tâches originales.

Conditions Expérimentales pour les LLM

Plus de 20 LLM ont été évalués selon une matrice $2 \times 2 \times 2$ (8 conditions) :

1. Connaissance préalable (Prior Knowledge) :
   • Original (RW17) : Histoires de couverture sémantiquement riches (sociologie, météo, économie).
   • Abstrait : Remplacement des noms de variables par des chaînes de caractères aléatoires pour réduire la dépendance aux connaissances du monde réel.
2. Charge d'information (Information Load) :
   • Original : Prompts standards.
   • Surchargé (Overloaded) : Ajout de texte irrelevant (bruit) pour réduire le rapport signal/bruit et tester la distraction.
3. Stratégie de Prompting :
   • Direct : Demande d'une seule réponse numérique.
   • Chain-of-Thought (CoT) : Demande de raisonner étape par étape avant de donner la réponse.

Modélisation

Les jugements des agents sont analysés via des Réseaux Bayésiens Causaux (CBN) interprétables (paramétrisation "noisy-OR" avec fuite/leak). Cela permet de vérifier si les jugements des LLM peuvent être compressés en un modèle causal simple et d'identifier leurs stratégies sous-jacentes.

3. Contributions Clés

1. Benchmark Élargi : Évaluation de plus de 20 LLM (incluant des modèles récents comme Gemini 2.5, GPT-4/5, Claude 3/4) contre une baseline humaine sur des tâches causales sous-spécifiées.
2. Analyse de Robustesse : Première étude systématique examinant la stabilité des signatures de raisonnement causal face à l'abstraction sémantique et à l'injection de bruit, en comparant les prompts directs et CoT.
3. Outils Open Source : Publication d'une version "LLM-friendly" du benchmark et d'un package logiciel (CAUSAIIGN) pour la génération de prompts et de manipulations de contenu.
4. Modélisation Cognitive : Démonstration que les jugements complexes des LLM peuvent être bien capturés par de petits modèles causaux interprétables.

4. Résultats Principaux

Q1 : Alignement et Jugements Sensés

• Les LLM et les humains jugent l'effet comme plus probable lorsque davantage de causes sont présentes (comportement sensible).
• Le Chain-of-Thought (CoT) améliore l'alignement entre les LLM et les jugements humains pour les modèles qui étaient initialement moins alignés (corrélation de Spearman augmentant jusqu'à un plafond de 0,85).

Q2 : Capacité de Compression par des Modèles Causaux

• Les jugements des LLM sont bien capturés par des CBN compacts (faible erreur absolue moyenne - MAE).
• Le CoT réduit l'erreur et améliore la généralisation hors échantillon (LOOCV $R^2$), indiquant que le raisonnement devient plus cohérent et moins dépendant des spécificités de la tâche sous CoT.

Q3 : Fidélité aux Règles vs Facteurs Latents

• Fidélité aux règles : La plupart des LLM agissent comme des suiveurs de règles plus stricts que les humains. Ils attribuent moins de poids aux facteurs latents non mentionnés (faible "fuite" ou leak dans le modèle noisy-OR).
• BACS (Background-Adjusted Causal Strength) : Les LLM ont un BACS plus élevé que les humains, signifiant qu'ils traitent les relations causales déclarées comme suffisantes, tandis que les humains tendent à considérer les causes déclarées comme insuffisantes et à intégrer des facteurs externes implicites.

Q4 : Présence de Biais Humains (Collider Biases)

C'est le résultat le plus surprenant : La plupart des LLM ne reproduisent PAS les biais humains caractéristiques.

• Effet d'explication (Explaining Away - EA) : Les humains montrent un effet d'explication faible (ou nul). Les LLM, eux, montrent un effet d'explication fort (conforme à la norme bayésienne).
• Violation de Markov : Les humains violent souvent l'indépendance des causes (leur croyance sur $C1$ change selon l'état de $C2$). La plupart des LLM respectent la condition de Markov (indépendance des causes), sauf une minorité qui montre des violations associatives.
• Conclusion : Les LLM ne semblent pas hériter des biais cognitifs humains présents dans leurs données d'entraînement pour ce type de tâche.

Q5 : Robustesse

• La robustesse dépend fortement du modèle.
• Gemini-2.5-pro montre une invariance quasi-totale sur les 8 conditions (clusters serrés sur toutes les métriques).
• Les modèles plus petits ou plus anciens sont plus sensibles aux manipulations (abstraction, bruit).
• Le CoT améliore généralement la robustesse en réduisant la dispersion des clusters, rendant le raisonnement plus invariant au contenu.

5. Signification et Discussion

Cette étude révèle une divergence fondamentale entre le raisonnement humain et celui des LLM actuels :

1. Complémentarité : Les LLM peuvent être des compléments précieux aux humains dans les situations où les biais humains (faible explication, violations de Markov) sont indésirables, car ils tendent à suivre des règles causales plus strictes et normatives.
2. Risque de fragilité : Cependant, leur style de raisonnement "règle-based" (basé sur des règles fermées) pourrait échouer dans des scénarios réels où l'incertitude est intrinsèque et où l'ignorance de facteurs latents est la norme (approche "monde ouvert"). Les humains, en intégrant des facteurs non mentionnés, pourraient être plus adaptatifs dans des environnements imprévisibles.
3. Implication pour le déploiement : Il est crucial de caractériser les stratégies de raisonnement des LLM avant leur déploiement. L'utilisation du CoT semble être une stratégie efficace pour stabiliser ces comportements.
4. Modélisation : L'étude valide l'approche consistant à utiliser des modèles bayésiens simples comme cibles computationnelles pour interpréter et diagnostiquer le comportement de réseaux de neurones massifs.

Limites : L'étude se concentre uniquement sur la structure "collider" (effet commun). Les conclusions pourraient ne pas être généralisables à d'autres structures causales (chaînes, forks). De plus, les prompts n'explicitent pas si les causes non mentionnées doivent être ignorées, ce qui pourrait expliquer l'écart "monde fermé" (LLM) vs "monde ouvert" (humains).