💬 NLP

Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

Cette étude révèle que, bien que les grands modèles de langage puissent parfois égaler les évaluations humaines concernant la projection des présuppositions dans les conditionnels, leur performance découle souvent d'un appariement de motifs de surface plutôt que d'un raisonnement pragmatique authentique, soulignant un décalage entre l'alignement statistique et la véritable compétence linguistique.

Auteurs originaux : Tara Azin, Yongan Yu, Raj Singh, Olessia Jouravlev

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tara Azin, Yongan Yu, Raj Singh, Olessia Jouravlev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : L'Énigme du « Si-Alors »

Imaginez que vous jouiez à un jeu de logique avec un ami. Vous dites : « Si John est plongeur sous-marin, il apportera son combinaison. »

Votre ami demande : « John a-t-il réellement une combinaison ? »

La Réponse Humaine : La plupart des humains disent : « Probablement pas encore. Il n'a une combinaison que si il plonge. » La combinaison est liée à la condition.
L'Autre Réponse Humaine : Maintenant, imaginez que vous disiez : « Si John vole à Londres, sa sœur viendra le chercher. »
La Réponse Humaine : Ici, les humains disent : « Oui, John a définitivement une sœur. » Le fait qu'il ait une sœur ne dépend pas du vol ; c'est simplement un fait concernant John.

Cette différence est appelée le « Problème de la Précaution ». C'est une énigme complexe en linguistique concernant la façon dont nous décidons si un fait caché (une « présupposition ») est toujours vrai ou seulement vrai si la partie « Si » se produit.

L'Expérience : Humains contre IA

Les chercheurs voulaient voir si les grands modèles de langage (LLM) — les cerveaux derrière les chatbots comme celui avec qui vous parlez — peuvent résoudre cette énigme de la même manière que les humains.

Ils ont mis en place un « test de dégustation » avec deux groupes :

120 Humains : De vraies personnes qui ont lu des phrases et noté la probabilité qu'un fait caché soit vrai sur une échelle de 0 à 7.
4 Modèles d'IA : Différentes versions d'IA (comme GPT-5, Gemini, Llama et Qwen) qui ont effectué exactement la même tâche.

Ils ont testé l'IA de deux manières :

Le Test « Nu » : Juste la phrase (par exemple, « Si John est un plongeur... »).
Le Test « Contexte » : La phrase plus un tout petit peu d'informations de fond (par exemple, « John vient d'Ottawa. Si John est un plongeur... »).

Les Résultats : L'IA « Imposteur »

Voici ce qu'ils ont trouvé, décomposé en métaphores simples :

1. Les Humains sont des Détectives Intuitifs

Les humains sont excellents dans ce domaine. Ils mélangent logique et bon sens. Si la partie « Si » rend le fait caché plus probable (comme un plongeur ayant besoin d'une combinaison), ils abaissent leur note. Si la partie « Si » n'a rien à voir avec le fait (comme voler à Londres et avoir une sœur), ils maintiennent la note élevée. Ils sont sensibles à la façon dont les deux parties de la phrase sont pertinentes l'une pour l'autre.

2. L'IA « Imite » la Réponse, Mais Pas le Raisonnement

C'est la partie la plus surprenante.

La Petite IA (Qwen) : Ce modèle a donné des réponses qui ressemblaient très fort à celles des humains. Si les humains disaient « 7 », l'IA disait « 6,8 ». C'était un excellent imitateur.
La Grande IA (GPT-5, Gemini) : Ces modèles ont donné des réponses qui étaient moins semblables aux humains. Elles étaient souvent trop élevées ou trop basses, manquant les nuances subtiles que les humains opéraient.

Le Twist : Lorsque les chercheurs ont demandé aux IA d'expliquer pourquoi elles avaient donné ces réponses (comme demander à un élève de montrer ses calculs), un étrange motif est apparu :

La Petite IA (Qwen), qui donnait les meilleures réponses ressemblant à celles des humains, avait en réalité un raisonnement terrible. Elle ne pouvait pas expliquer la logique correctement. Elle devinait simplement en se basant sur des motifs qu'elle avait vus dans ses données d'entraînement, comme un perroquet répétant une phrase qu'il a souvent entendue sans savoir ce qu'elle signifie.
La Grande IA (GPT-5), qui donnait des réponses moins ressemblantes à celles des humains, avait en réalité un meilleur raisonnement. Elle pouvait bien expliquer les règles de la logique, mais lorsqu'il s'agissait du chiffre final, elle se trompait par rapport aux humains.

L'Analogie de la « Liste de Contrôle »

Pour comprendre cela, les chercheurs ont utilisé une « IA Juge » (un arbitre) avec une liste de contrôle. Imaginez un professeur notant la dissertation d'un élève.

La Liste de Contrôle : « Avez-vous identifié le déclencheur ? Avez-vous vérifié si le contexte importe ? Avez-vous expliqué la logique ? »
Le Résultat : La « Grande IA » a réussi la liste de contrôle (elle a écrit une bonne dissertation). La « Petite IA » a échoué à la liste de contrôle (sa dissertation était brouillonne).
Le Paradoxe : Même si la « Petite IA » a échoué au test de logique, son score final était plus proche de la moyenne humaine.

La Conclusion : Correspondance de Motifs contre Compréhension

L'article conclut que les modèles d'IA ne « comprennent » pas réellement le langage de la même manière que les humains.

Les Humains utilisent un mélange de logique, de connaissances du monde et de pertinence pour décider si un fait est vrai.
L'IA semble faire une correspondance de motifs de surface. Elle regarde les mots « Si John est un plongeur » et « combinaison », voit qu'ils apparaissent souvent ensemble dans ses données d'entraînement, et devine le nombre. Elle ne « sait » pas vraiment que la combinaison est conditionnelle à la plongée.

L'Essentiel : Juste parce qu'une IA vous donne une réponse qui semble correcte (comme un élève qui a mémorisé la clé des réponses), cela ne signifie pas qu'elle comprend la leçon. En fait, l'IA qui donnait les réponses les plus « ressemblantes aux humains » était en réalité celle qui se fiais le moins à la vraie logique.

Ce que l'Article NE Dit PAS

Il ne dit pas que l'IA est inutile.
Il ne dit pas que l'IA ne comprendra jamais le langage.
Il ne suggère pas d'utiliser cela pour un diagnostic médical ou des conseils juridiques.
Il dit simplement : Pour l'instant, en ce qui concerne ce type spécifique d'énigme logique complexe, l'IA simule mieux qu'elle ne le pense, et les réponses qui semblent les plus « intelligentes » pourraient être les plus superficielles.

Résumé technique : Présupposition et raisonnement dans les conditionnels : une étude théorique des humains et des LLM

Énoncé du problème
L'article comble une lacune critique dans l'évaluation des modèles de langage de grande taille (LLM) concernant leur compétence pragmatique, spécifiquement dans le domaine de la projection de présuppositions au sein de phrases conditionnelles. Alors que les théories du sens et de la pragmatique débattent depuis longtemps du « problème de la réserve » (proviso problem) — c'est-à-dire la manière dont les présuppositions déclenchés dans la conséquence d'une conditionnelle (par exemple : « Si Jean est plongeur, il apportera sa combinaison ») sont interprétés soit comme inconditionnels, soit comme conditionnels à l'antécédent — ce phénomène reste largement inévalué chez les LLM. Les benchmarks existants reposent souvent sur des raisonnements d'entaillement simples ou des tâches de classification qui échouent à capturer l'interaction complexe entre la sémantique, le contexte discursif, le raisonnement probabiliste et les connaissances du monde requise pour résoudre ces projections. Les auteurs soutiennent que les évaluations actuelles ne distinguent pas suffisamment les modèles qui comprennent véritablement les contraintes pragmatiques de ceux qui s'appuient sur un appariement de motifs de surface.

Méthodologie
L'étude emploie une conception comportementale parallèle comparant les jugements humains à ceux de quatre LLM (GPT-5, Gemini-2.5-flash, Llama-3.1-8B-Instruct et Qwen2.5-7B-Instruct) en utilisant un dataset normalisé de 90 phrases conditionnelles.

Construction des données : Les auteurs ont construit un dataset basé sur 30 propositions de base (par exemple : avoir une combinaison, avoir une sœur) instanciées dans trois variantes manipulant la relation logique et probabiliste entre l'antécédent ( $A$ ) et le présupposé ( $p$ ). Une étude de normalisation auprès de 30 locuteurs natifs d'anglais a établi des niveaux gradués de pertinence $A$ - $p$ (élevée, moyenne, faible) et de probabilité de la proposition.
Conditions expérimentales : Les humains ( $N=120$ $N = 120$ ) et les LLM ont évalué la vraisemblance que le présupposé soit vrai sur une échelle de Likert de 0 à 7 dans deux conditions :
- Sans contexte : Encadrement minimal.
- Avec contexte : Ajout d'informations de fond identifiantes (par exemple : « La personne vient de Toronto ») pour tester comment un contexte minimal module la fiabilité de l'évidence et le raisonnement de pertinence.
Cadre LLM-comme-juge : Pour aller au-delà des métriques de précision, les auteurs ont développé une liste de contrôle informée par la théorie, ancrée dans la sémantique formelle (par exemple : Sémantique Dynamique, Pragmatique Gricéenne, Théorie de l'Accommodation). Un modèle juge (Claude-haiku-4) a évalué les traces de raisonnement par Chaîne de Pensée (CoT) des modèles cibles selon 52 à 59 critères binaires couvrant des dimensions telles que la Précision, l'Intégration du Contexte, les Critères Pragmatiques, le Traitement des Présuppositions et la Cohérence.
Validation : Un sous-ensemble des évaluations du juge a été validé par des experts linguistes humains, atteignant un accord inter-annotateurs de 89 % et un accord de 79,46 % avec le modèle juge.

Résultats clés

Comportement humain : Les jugements humains intègrent les indices probabilistes et pragmatiques de manière non additive. Lorsque l'antécédent est sans pertinence pour le présupposé, les humains s'appuient fortement sur la probabilité a priori (connaissances du monde). Cependant, même une pertinence partielle agit comme un seuil qui booste significativement les notes de vraisemblance, suggérant une sensibilité à la pertinence qui l'emporte sur les taux de base dans des contextes spécifiques. L'information contextuelle a affiné cette intégration, conduisant à des distinctions plus graduées entre les niveaux de pertinence.
Alignement Humain-LLM : Les LLM ont montré un alignement variable avec les motifs humains.
- Qwen2.5-7B-IT et Llama-3.1-8B-Instruct ont démontré la corrélation la plus forte avec les notes de Likert humaines ( $\rho \approx 0,30\text{--}0,38$ de Spearman) et la plus faible Erreur Absolue Moyenne (MAE).
- GPT-5 et Gemini-2.5-flash ont montré un alignement plus faible ou incohérent, GPT-5 ne montrant aucune corrélation significative dans l'une ou l'autre condition.
Raisonnement vs Performance (La dissociation) : Une découverte critique est la dissociation entre l'alignement comportemental et la qualité du raisonnement.
- Les modèles avec l'alignement comportemental le plus élevé avec les humains (par exemple Qwen2.5-7B-IT) ont souvent présenté la plus faible conformité à la liste de contrôle informée par la théorie. Leur raisonnement reposait fréquemment sur des associations lexicales de surface plutôt que sur des contraintes pragmatiques formelles.
- À l'inverse, les modèles propriétaires plus grands (GPT-5, Gemini) ont généré des traces de raisonnement plus cohérentes avec les attentes théoriques (scores de liste de contrôle plus élevés) mais ont produit des jugements de vraisemblance finaux qui s'écartaient plus significativement des motifs humains.
Effets du contexte : Fournir un contexte minimal a généralement amélioré la conformité à la liste de contrôle pour les petits modèles, mais a introduit du « bruit de raisonnement » pour certains, conduisant à une réduction de la cohérence dans leurs explications.

Contributions clés

Benchmark piloté par la théorie : L'article introduit un dataset contrôlé et une conception expérimentale ciblant spécifiquement le problème de la réserve dans les conditionnels, comblant une lacune dans les benchmarks NLI et de présupposition existants qui manquent souvent de profondeur pragmatique.
LLM-comme-juge pour la pragmatique : Il propose et valide un cadre d'évaluation basé sur une liste de contrôle qui décompose la compétence pragmatique en critères interprétables et ancrés dans la théorie, offrant une vision plus nuancée du raisonnement des modèles que les scores de précision seuls.
Preuve empirique des lacunes de compétence : L'étude fournit des preuves empiriques qu'un alignement comportemental élevé chez les LLM peut résulter d'un appariement de motifs probabilistes sur les données d'entraînement plutôt que d'une compétence pragmatique stable, comme en témoigne la déconnexion entre les notes semblables à l'humain et le raisonnement cohérent avec la théorie.

Portée et affirmations
Les auteurs affirment que leurs résultats mettent en lumière les limites des LLM actuels dans la gestion de phénomènes pragmatiques complexes. L'article soutient que la performance sur des tâches comme la projection de présuppositions peut refléter un « appariement de motifs de surface » plutôt qu'une véritable compréhension pragmatique. En démontrant que les modèles qui imitent le mieux les jugements humains manquent souvent de raisonnement pragmatique cohérent, l'étude suggère que les benchmarks actuels basés uniquement sur la précision de la sortie sont insuffisants pour évaluer la compétence sémantique et pragmatique. Les auteurs concluent que des benchmarks ancrés dans la théorie linguistique sont essentiels pour distinguer un alignement statistique superficiel des véritables capacités de raisonnement, et que les travaux futurs doivent s'attaquer à la dissociation entre la similarité comportementale et la validité théorique.