Tracing the ongoing emergence of human-like reasoning in Large Language Models

Résumé technique : Traçage de l'émergence en cours du raisonnement de type humain dans les grands modèles de langage

Énoncé du problème
Bien que les grands modèles de langage (LLM) démontrent une compétence linguistique sophistiquée, il reste incertain qu'ils possèdent des capacités de raisonnement de type humain, en particulier concernant l'interface entre la sémantique et la pragmatique. Les humains enrichissent sans effort les significations littérales par des inférences pragmatiques, telles que l'interprétation différente des conditionnels selon le contexte (par exemple, distinguer entre les conditionnels « parfaits » et les conditionnels « biscuits »). Les auteurs postulent que les LLM pourraient souffrir d'un « biais de décontextualisation », une tendance à s'appuyer sur les aspects formels ou littéraux de l'entrée tout en échouant à intégrer les indices contextuels qui guident le traitement humain. Cette étude examine si les LLM peuvent reproduire le raisonnement nuancé et sensible au contexte que les humains appliquent aux énoncés conditionnels dans plusieurs langues.

Méthodologie
Les chercheurs ont mené une expérience d'appariement de population impliquant 313 participants humains et 25 LLM de pointe. L'étude s'est étendue sur quatre langues : le catalan, l'anglais, l'italien et l'espagnol.

• Conception de la tâche : Une tâche de jugement de valeur de vérité a été employée utilisant 54 invites expérimentales par langue, comprenant des Conditionnels Standards (CS) et des Conditionnels Biscuit (CB), ainsi que des éléments de contrôle et de remplissage.
  • Conditionnels Standards (par exemple, « Si tu tondes la pelouse, je te donnerai 50 $ ») : Les humains infèrent généralement une relation biconditionnelle (lecture parfaite), où la conséquence ne tient que si l'antécédent est vrai.
  • Conditionnels Biscuit (par exemple, « Si tu as faim, il y a une pizza dans le four ») : Les humains infèrent que la conséquence tient indépendamment de l'antécédent (lecture biscuit).
  • Essais critiques : L'expérience s'est concentrée sur des scénarios où l'antécédent était faux. Les humains sont censés juger la conséquence comme fausse pour les CS (en raison de l'inférence biconditionnelle) et vraie pour les CB (en raison de l'indépendance).
• Participants :
  • Humains : Locuteurs natifs recrutés via Prolific, filtrés pour la neurodivergence et les troubles du langage.
  • LLM : 25 modèles couvrant diverses familles (Claude, GPT, Gemini, Llama, Mistral, etc.), architectures (Dense vs. Mélange d'Experts), disponibilité (Open vs. Closed source) et orientations d'entraînement (Génératif vs Raisonnement).
• Analyse : Les données ont été analysées à l'aide de modèles linéaires mixtes généralisés (régression logistique) pour tenir compte des structures de données imbriquées. L'étude a comparé les taux de précision et les effets d'interaction entre les agents (humain vs LLM), les types d'invites (expérimental vs contrôle) et les types de conditionnels (CS vs CB).

Contributions clés

1. Nouveau référentiel : L'étude introduit un référentiel multilingue spécifiquement conçu pour démêler le raisonnement logique de l'enrichissement pragmatique dans les énoncés conditionnels, allant au-delà de la précision agrégée pour sonder des types d'inférence spécifiques.
2. Comparaison systématique : Elle fournit une comparaison à grande échelle et appariée à la population entre des humains et un ensemble diversifié de 25 LLM, agrégeant les réponses des modèles pour correspondre aux tailles d'échantillon humaines afin de valider statistiquement les résultats.
3. Analyse architecturale et d'entraînement : L'article évalue systématiquement si des caractéristiques de conception larges (ouverture, type d'architecture, orientation d'entraînement) prédisent les capacités de raisonnement pragmatique, comblant les lacunes de la littérature actuelle concernant les moteurs du raisonnement émergent.

Résultats

• Performance humaine : Les humains ont constamment distingué les CS des CB, exhibant un enrichissement pragmatique robuste. Ils ont approuvé les lectures parfaites pour les CS (88 %) et les lectures biscuit pour les CB (57 %), s'alignant sur les résultats antérieurs dans les populations anglophones.
• Performance des LLM :
  • Précision globale : Les LLM ont performé significativement moins bien que les humains dans les conditions expérimentales critiques nécessitant un raisonnement pragmatique. Bien qu'ils aient maintenu une haute précision dans les conditions de contrôle, leur performance a chuté considérablement lorsque l'inférence contextuelle était requise.
  • Profils comportementaux : Deux schémas comportementaux dominants sont apparus parmi les LLM :
    1. Adhérents aux tables de vérité : Modèles suivant strictement la logique classique, traitant les antécédents faux comme trivialement vrais, échouant ainsi à dériver les inférences pragmatiques nécessaires tant pour les CS que pour les CB.
    2. Biconditionnaliseurs basés sur des règles : Modèles renforçant uniformément tous les conditionnels en biconditionnels (si et seulement si), échouant à distinguer les CS des CB et manquant ainsi totalement l'interprétation biscuit.
  • Variabilité : Il y avait une forte hétérogénéité dans la performance entre les modèles individuels, allant d'une précision proche du hasard à une haute précision. Cependant, même les modèles les plus performants n'ont pas réussi à égaler le raisonnement flexible et sensible au contexte des humains.
• Prédicteurs de performance :
  • Langue : La performance était largement indépendante de la langue ; aucune différence significative n'a été trouvée entre les quatre langues, ni pour les humains ni pour les modèles.
  • Caractéristiques de conception : Crucialement, les caractéristiques de conception larges — ouverture (open vs. closed source), architecture (dense vs. MoE) et orientation d'entraînement (génératif vs raisonnement) — n'ont pas prédit de manière fiable la précision du modèle ou la sensibilité pragmatique. Des modèles à haute et à faible performance ont été trouvés dans chaque catégorie.

Signification et affirmations
L'article conclut que les LLM actuels fonctionnent comme des opérateurs sémantiques précis mais échouent à capturer les enrichissements pragmatiques caractéristiques du raisonnement humain. Les auteurs soutiennent que les LLM exhibent un « biais de décontextualisation », favorisant la forme de surface et le sens littéral par rapport aux interprétations enrichies contextuellement en raison d'un manque d'ancrage dans des situations de communication réelles.

L'étude affirme que le raisonnement pragmatique est une capacité émergente dans la boîte à outils cognitive des systèmes artificiels plutôt qu'un sous-produit automatique de l'échelle ou de la sophistication architecturale. Les résultats suggèrent que l'atteinte d'un raisonnement de type humain nécessite des mécanismes d'intégration contextuelle et de raisonnement sur la pertinence qui ne sont pas encore pleinement réalisés dans les systèmes actuels basés sur les données. De plus, l'incapacité des étiquettes taxonomiques larges (par exemple, « orienté raisonnement » ou « MoE ») à prédire la performance implique que la compétence pragmatique est une propriété spécifique au modèle dépendante de facteurs internes opaques plutôt que de choix de conception de haut niveau. Les auteurs maintiennent une stance modeste, notant que si le raisonnement pragmatique n'est pas encore pleinement émergent, il n'est pas intrinsèquement inatteignable, nécessitant potentiellement un ancrage mondial plus riche ou des environnements d'apprentissage interactifs pour se développer.