Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning

Titre : Le raisonnement comme reconnaissance de formes : mécanismes partagés dans le raisonnement quotidien humain et des LLM

Énoncé du problème
La vision prédominante en sciences cognitives et en sécurité de l'IA postule que le raisonnement humain repose sur des « modèles de monde » abstraits et structurés qui préservent la structure causale, la compositionnalité et l'indépendance entre le rôle et le contenu. En revanche, les grands modèles de langage (LLM) sont souvent critiqués pour leur incapacité à généraliser ou pour leurs erreurs aléatoires, menant à la conclusion qu'ils ne font que de la « reconnaissance de formes » superficielle basée sur des associations statistiques plutôt qu'un véritable raisonnement. Cependant, le raisonnement humain est également connu pour être hautement sensible au contenu et sujet à des erreurs qui violent la stricte compositionnalité logique (par exemple, la tâche de sélection de Wason, ou le phénomène « 798 est moins pair »). Cet article examine si les échecs de raisonnement observés chez les LLM sont uniques à leur architecture ou s'ils reflètent un mécanisme cognitif partagé avec les humains. Plus précisément, les auteurs se demandent : le raisonnement causal quotidien chez les humains et les LLM est-il mieux expliqué par des modèles de monde abstraits ou par une forme de reconnaissance de formes dépendante du contexte ?

Méthodologie
L'étude emploie une approche multidimensionnelle combinant des expériences comportementales avec des humains et des LLM, suivies d'une analyse d'interprétabilité mécaniste.

1. Évaluation comportementale :

   • Participants : 142 participants humains et 25 LLM (incluant des modèles open-source comme Gemma et Llama, ainsi que des modèles propriétaires comme GPT-4.1 et DeepSeek-R1).
   • Tâche : Une tâche de raisonnement causal modulaire impliquant 11 catégories de scénarios de la vie quotidienne (ex. : géocentrique-proche, égocentrique-distant, état-suit, action-ne suit pas).
   • Conception : Les prompts étaient présentés sous deux cadrages : cible (inférer un résultat compte tenu d'une cause) et contexte (inférer une cause compte tenu d'un résultat). Crucialement, l'étude incluait des paires à différence minimale où seuls des mots de contenu apparemment non pertinents changeaient (ex. : « La soupe est sur la table » contre « Le ragoût est sur la table ») alors que le résultat causal de vérité terrain restait identique.
   • Métriques : La précision humaine était mesurée par un choix binaire. La précision des LLM était mesurée via les différences de logits entre les tokens corrects et incorrects (pour les modèles en poids ouverts) ou par la justesse binaire (pour les modèles via API).

2. Interprétabilité mécaniste :

   • Modèle : L'accent a été mis sur gemma-2-27b-it en raison de son fort alignement avec les schémas comportementaux humains.
   • Identification causale : Les auteurs ont réalisé des expériences d'ablation pour identifier les têtes d'attention top-$k$ causalement responsables des sorties du modèle (c'est-à-dire les têtes dont le retrait provoquait le plus grand changement dans les différences de logits).
   • Patching d'activation : Pour déterminer les informations auxquelles ces têtes prêtent attention, les auteurs ont injecté (patching) les activations de prompts « critiques » (où le contenu modifie le résultat de vérité terrain) et de prompts « non critiques » (où le contenu change mais le résultat reste le même) dans le prompt de base.
   • Prédiction : L'entropie de ces têtes d'attention causalement critiques a été utilisée comme caractéristique pour prédire la précision humaine sur des prompts et des scénarios non utilisés lors de l'entraînement.

Résultats clés

1. Profils d'échec partagés : Les humains et les LLM ont tous deux présenté une « précision graduée », où la performance était hautement sensible aux changements de contenu de surface dans le prompt.

   • Les humains et les LLM étaient plus précis sur les relations géocentriques impliquant des références distantes (ex. : villes) que sur des objets proches (ex. : tableaux), et plus précis sur les relations égocentriques pour des objets proches que pour des objets distants.
   • Des altérations mineures des prompts (ex. : changer « soupe » par « ragoût » dans un scénario où le poêle est allumé) ont induit des « états d'échec » similaires dans les deux groupes, même lorsque le résultat logique était inchangé.
   • Les LLM ayant une précision globale plus élevée (ex. : DeepSeek-R1) n'étaient pas nécessairement plus semblables aux humains ; dans certains cas, des modèles plus petits (comme Gemma-3-27b-it) s'alignaient mieux sur les schémas d'erreurs humains.

2. Mécanisme des réponses des LLM :

   • Sensibilité au contenu : Le patching d'activation a révélé que les têtes d'attention top-$k$ causalement importantes étaient significativement plus sensibles aux substitutions de contenu non critiques (ex. : changer « tableau » en « statue ») qu'aux changements structurels critiques (ex. : changer « Nord » en « Sud »). Cela soutient l'hypothèse que ces têtes implémentent une forme de reconnaissance de formes basée sur le contenu de surface plutôt que sur une structure causale abstraite.
   • Prédiction des erreurs humaines : L'entropie de ces têtes d'attention spécifiques a réussi à prédire la précision humaine. Un modèle linéaire utilisant ces activations de têtes a expliqué une variance significative dans les réponses humaines ($R^2 \approx 0,65$ pour les prompts testés), même après contrôle par catégorie, format de prompt et fréquence des n-grammes.
   • Scénarios à différence minimale : Dans une évaluation de suivi comprenant 96 prompts ne différant que par un seul mot de contenu, les activations de ces têtes de reconnaissance de formes ont prédit la précision humaine avec une haute fidélité, expliquant jusqu'à 76 % de la variance.

Contributions clés

• Alignement empirique : L'article fournit des preuves robustes que les échecs de raisonnement humains et des LLM ne sont pas des phénomènes distincts, mais partagent un profil commun de sensibilité au contenu et de fragilité.
• Explication mécaniste : Il dépasse la simple corrélation comportementale pour identifier le circuit interne spécifique (un sous-ensemble de têtes d'attention) dans les LLM qui conduit ces comportements.
• Recadrage du raisonnement : Les auteurs démontrent que le mécanisme de « reconnaissance de formes », souvent rejeté comme un échec des LLM, est en réalité le même mécanisme qui permet aux modèles de prédire les erreurs humaines. Cela suggère que le raisonnement humain lui-même repose lourdement sur la reconnaissance de formes plutôt que sur des modèles de monde purement abstraits.

Signification et affirmations
L'article soutient que la distinction entre « raisonnement » (modèles de monde abstraits) et « reconnaissance de formes » (associations superficielles) peut être une fausse dichotomie pour le raisonnement causal quotidien. Les auteurs affirment que :

1. Le raisonnement humain est dépendant du contexte : Le raisonnement humain n'est pas entièrement compositionnel ou abstrait ; il est profondément influencé par le contenu et le contexte spécifiques d'un problème. Les « états d'échec » observés chez les LLM ne sont pas une preuve d'un manque d'intelligence, mais plutôt le reflet de la manière dont la cognition humaine opère réellement.
2. Les LLM comme outil pour les sciences cognitives : Parce que les LLM permettent une manipulation causale de leurs mécanismes internes (contrairement aux humains), ils constituent un outil unique pour l'ingénierie inverse de la cognition humaine. Le fait que les têtes d'attention des LLM puissent prédire les erreurs humaines suggère que la « désordonnée » du raisonnement humain est une caractéristique, et non un défaut, probablement évoluée pour gérer la nature ouverte et riche en contexte des problèmes du monde réel.
3. La reconnaissance de formes comme mécanisme valide : L'étude pose que la reconnaissance de formes n'est pas simplement un recours ou une heuristique superficielle, mais un mode fondamental par lequel les réseaux de neurones (tant biologiques qu'artificiels) résolvent des problèmes. La capacité à suivre des détails « apparemment non pertinents » peut être adaptative dans des contextes naturalistes où les entités spécifiques impliquées (ex. : un type particulier de nourriture ou une ville spécifique) portent des informations contextuelles implicites que des modèles abstraits rigides pourraient rejeter.

Les auteurs concluent que le raisonnement concernant des scénarios causaux quotidiens est, tant pour les humains que pour les LLM, une forme de reconnaissance de formes qui est hautement sensible au contenu complet d'un prompt, plutôt qu'un processus piloté uniquement par des modèles de monde abstraits préservant la structure.