Do Language Models Know Theo Has a Wife? Investigating the Proviso Problem

Cette étude évalue la capacité des modèles de langage à résoudre le problème du proviso en pragmatique, révélant qu'ils alignent leurs jugements sur ceux des humains mais reposent sur un appariement de motifs superficiel plutôt que sur un raisonnement sémantique ou pragmatique profond.

L'essentiel

Voici une explication de cette recherche scientifique, imaginée comme une enquête sur la façon dont les intelligences artificielles (les "grands cerveaux numériques") comprennent le langage humain, et plus précisément, comment elles gèrent les sous-entendus.

🕵️‍♂️ L'Enquête : "Theo a-t-il une femme ?"

Imaginez que vous posez une question à un ami très logique, mais un peu rigide :

"Si Theo déteste les sonnets, alors sa femme aussi."

La question piège : Est-ce que cette phrase prouve que Theo a une femme ?

• Pour un humain (nous) : Oui, absolument ! Dès que vous entendez "sa femme", vous savez instinctivement que Theo est marié. C'est une évidence partagée.
• Pour la théorie linguistique stricte (les mathématiciens du langage) : Non ! La phrase dit seulement : "S'il existe un Theo qui déteste les sonnets, alors ce Theo a une femme." Si Theo n'aime pas les sonnets, la phrase ne dit rien sur son état civil. C'est une condition.

Ce petit décalage entre ce que la logique formelle dit et ce que les humains comprennent réellement s'appelle le "Problème de la Proviso" (ou Proviso Problem). C'est comme si la logique était un robot qui lit mot à mot, tandis que l'humain lit "entre les lignes".

🤖 L'Expérience : Les IA sont-elles des robots ou des humains ?

Les chercheurs de cette étude (de l'Université Carleton et de l'Université d'Ottawa) se sont demandé : Les grands modèles de langage (comme ceux qui font fonctionner les chatbots) comprennent-ils comme nous, ou suivent-ils la logique stricte des robots ?

Pour tester cela, ils ont créé un immense jeu de questions-réponses (un "dataset" de 8 500 exemples) où ils ont joué avec les mots comme un magicien avec des cartes.

Ils ont utilisé quatre modèles célèbres (RoBERTa, DeBERTa, LLaMA, Gemma) et les ont mis à l'épreuve avec deux types de tests :

1. Le test de la réponse : L'IA donne-t-elle la bonne réponse (comme un humain) ?
2. Le test de la loupe (Explicabilité) : Comment l'IA a-t-elle trouvé cette réponse ? Regarde-t-elle le sens des mots ou se contente-t-elle de repérer des motifs visuels ?

🔍 Les Découvertes Surprenantes

Voici ce que les chercheurs ont découvert en utilisant une "loupe numérique" (une technique appelée Integrated Gradients) pour voir sur quels mots l'IA se concentrait :

1. L'IA a la bonne réponse, mais pour la mauvaise raison

Les modèles ont réussi à répondre correctement à la plupart des questions, imitant parfaitement les jugements humains. Mais attention ! C'est comme un élève qui réussirait un examen de mathématiques en mémorisant la forme des chiffres plutôt qu'en comprenant l'addition.

• L'analogie : Imaginez un chien qui apprend à rapporter une balle. Il ne comprend pas le concept de "jeu" ou de "balle", il a juste appris que quand vous lancez un objet rond, il doit courir. De même, les IA repèrent des motifs superficiels (comme la présence du mot "sa" ou "encore") sans vraiment comprendre la logique profonde.

2. Le test du "Changement de Costume" (Substitution Sémantique)

C'est ici que l'illusion se brise. Les chercheurs ont pris une phrase logique et ont changé un mot clé pour qu'il n'ait plus de sens, tout en gardant la structure identique.

• Phrase originale : "Si Matt est plongeur, il apportera son combinaison." (Logique : il a une combinaison).
• Phrase truquée : "Si Matt est plongeur, l'ami de John apportera sa combinaison." (Logique : on ne sait pas si Matt a une combinaison).

Résultat : Les IA sont tombées dans le piège ! Elles ont continué à dire "Oui, Matt a une combinaison" même quand le mot "sa" ne se référait plus à Matt.

• La métaphore : C'est comme si vous disiez à un robot : "Si le roi porte une couronne, alors le roi est riche." Puis vous changez la phrase en : "Si le roi porte une couronne, alors le jardinier est riche." Le robot, aveugle au sens, répondrait encore "Oui, le roi est riche" parce qu'il a juste repéré le mot "couronne" et la structure de la phrase, sans voir que le sujet a changé.

3. L'effet "Mauvaise Habitude" (Surapprentissage)

Dans certains cas, les IA ont appris de "mauvaises habitudes" à force d'entraînement. Elles ont associé des mots comme "encore" (again) à une réponse négative, même quand le contexte changeait. C'est comme un étudiant qui apprend par cœur : "Si la question contient le mot 'encore', la réponse est 'Non'". Quand le contexte devient bizarre, l'étudiant échoue lamentablement.

💡 La Conclusion en une image

Imaginez que les modèles de langage sont des acteurs de théâtre très talentueux.

• Ils peuvent réciter leur texte parfaitement et faire pleurer le public (ils donnent la bonne réponse).
• Mais si on leur demande de changer une réplique pour en changer le sens profond, ils paniquent ou continuent de réciter l'ancien texte par habitude.

Le message principal de l'article :
Les IA actuelles sont excellentes pour imiter la compréhension humaine, mais elles ne comprennent pas vraiment le langage. Elles jouent aux devinettes basées sur la forme des mots plutôt que sur leur sens. Pour les rendre vraiment intelligentes, il faudra les entraîner à comprendre la logique et le contexte, pas juste à reconnaître des motifs statistiques.

C'est une étape importante : nous savons maintenant qu'il ne faut pas se fier aveuglément à la précision des réponses des IA pour juger de leur "intelligence" réelle. Il faut regarder comment elles réfléchissent, pas seulement ce qu'elles disent.

Résumé technique

Voici un résumé technique détaillé de l'article « Do Language Models Know Theo Has a Wife? Investigating the Proviso Problem » en français.

1. Le Problème : Le « Proviso Problem »

L'article s'attaque à un problème non résolu en pragmatique et en sémantique formelle, appelé le problème du proviso (proviso problem). Ce phénomène concerne la projection des présuppositions dans les phrases conditionnelles.

• Définition : Une présupposition est une information considérée comme vraie et partagée par les interlocuteurs (ex: « Theo a arrêté de fumer » présuppose que Theo fumait auparavant).
• Le Conflit Théorique vs Humain :
  • Théorie sémantique formelle : Dans une phrase conditionnelle de la forme « Si A, alors B(p) » (où p est la présupposition de B), la théorie prédit que la présupposition est conditionnelle.
    • Exemple : « Si Theo déteste les sonnets, sa femme aussi. »
    • Prédiction théorique : « Si Theo déteste les sonnets, alors Theo a une femme. » (La présence de la femme dépend de la condition).
  • Jugement humain (Pragmatique) : Les locuteurs humains tendent à « accommoder » une présupposition inconditionnelle.
    • Jugement humain : « Theo a une femme. » (La présence de la femme est acceptée comme un fait, indépendamment de la condition).
• Objectif : L'étude vise à déterminer si les Modèles de Langage (LLM) suivent la prédiction théorique (conditionnelle) ou le jugement humain (inconditionnel) lorsqu'ils traitent ces structures.

2. Méthodologie

Les auteurs ont conçu une approche rigoureuse combinant création de données, évaluation par classification et analyses d'explicabilité.

A. Construction du Dataset (PROVISER)

• Base : Le dataset est construit à partir de CONFER, un benchmark existant pour le raisonnement présuppositionnel.
• Échelle : Expansion de 900 paires originales à environ 8 500 exemples.
• Tâche : Reformulation du problème sous forme de Déduction Naturelle (NLI - Natural Language Inference).
  • Prémisse : « Si A, alors B(p) ».
  • Hypothèse : « p » (la présupposition elle-même).
  • Étiquettes :
    • Entraînement (Entailment - E) : Correspond au jugement humain (présupposition inconditionnelle).
    • Neutre (Neutral - N) : Correspond à la prédiction théorique (présupposition conditionnelle).
• Variations contrôlées : Le dataset est divisé en quatre sous-ensembles pour tester la robustesse :
  1. Original : Paires de CONFER sans modification.
  2. Variations Structurelles : Ajout de conjonctions, disjonctions, ou encadrement sous des verbes d'attitude (ex: « X croit que... »).
  3. Pertinence Sémantique (Trigger-Hypothèse) : Modification des mots déclencheurs (triggers) pour créer des liens sémantiques forts, faibles ou nuls avec l'hypothèse (ex: changer « sa femme » en « son ami »).
  4. Pertinence Contextuelle : Modification du lien logique entre l'antécédent et le conséquent de la conditionnelle, tout en gardant le déclencheur constant.

B. Modèles Évalués

Quatre modèles ont été testés :

• RoBERTa-large-MNLI et DeBERTa-large-MNLI (modèles spécialisés NLI).
• LLaMA-3.2-1B et Gemma-3-1B (modèles de langage ouverts récents).
• Protocole : Évaluation en zero-shot (sans fine-tuning) et après fine-tuning sur le jeu de données CONFER.

C. Métriques d'Évaluation et Explicabilité

Au-delà de la simple précision (accuracy), les auteurs utilisent des techniques d'explicabilité pour comprendre comment les modèles raisonnent :

• Integrated Gradients (IG) : Pour mesurer l'attribution des tokens. Cela permet de voir si le modèle se concentre sur les mots déclencheurs de présupposition (ex: « sa femme », « encore »).
• Ratio IG du déclencheur : Quantifie l'influence proportionnelle des mots déclencheurs par rapport aux autres tokens.
• Analyse d'Attention : Pour Subset 4, mesure des flux d'attention entre le contexte (K2) et le déclencheur (K1), ainsi que vers les tokens spéciaux ([SEP], [CLS]).

3. Résultats Clés

A. Alignement avec les Humains, pas avec la Théorie

• Les modèles (surtout RoBERTa et DeBERTa) alignent leurs prédictions avec les jugements humains (étiquette E) plutôt qu'avec les prédictions théoriques (étiquette N).
• En zero-shot, RoBERTa et DeBERTa atteignent 100% de précision sur les jugements humains, mais 0% sur les labels théoriques.

B. Dépendance aux Motifs Superficiels (Pattern Matching)

C'est la découverte la plus critique : les modèles semblent réussir par correspondance de motifs superficiels plutôt que par un raisonnement pragmatique profond.

• Échec sur les variations sémantiques (Subset 3) : Lorsque les mots déclencheurs sont remplacés par des termes sémantiquement non liés (ex: changer « sa femme » en « son ami » alors que l'hypothèse reste « Theo a une femme »), les modèles continuent de prédire « Entraînement » (E) avec une grande confiance, même si la relation logique est brisée.
• Analyse IG : Les modèles maintiennent un ratio IG élevé pour les déclencheurs même lorsque leur sens est modifié. Cela indique qu'ils se fient à la position structurelle du mot plutôt qu'à son contenu sémantique.

C. Surapprentissage et Biais d'Entraînement

• Sur le Subset 4 (modifications contextuelles), les modèles fine-tunés sur CONFER montrent une baisse drastique de performance sur les exemples « IND-again » (avec le déclencheur « encore »).
• L'analyse d'attention révèle que les modèles ont appris une corrélation fallacieuse dans le jeu d'entraînement : « Antécédent sémantiquement lié + déclencheur 'encore' = Neutre (N) ». Ils appliquent cette règle de manière inappropriée même lorsque le contexte est modifié, prouvant un surapprentissage (overfitting) à des motifs statistiques plutôt qu'à la logique pragmatique.

D. Comparaison des Modèles

• RoBERTa/DeBERTa : Très performants en précision, mais DeBERTa montre une attention très faible aux déclencheurs (IG < 1), ce qui le rend plus fragile aux modifications sémantiques (0% de précision sur Subset 3 modifié) comparé à RoBERTa.
• LLaMA/Gemma : Performances plus variables, avec des fluctuations importantes dans les ratios IG, suggérant une instabilité dans la gestion des présuppositions.

4. Contributions Principales

1. Reformulation du problème : Transformation du « proviso problem » en une tâche NLI standardisée, rendant l'évaluation computationnelle possible.
2. Dataset Diagnostique (PROVISER) : Création du premier dataset de 8 500 exemples avec des variations structurales, sémantiques et contextuelles contrôlées spécifiquement pour tester la projection des présuppositions.
3. Cadre d'évaluation Multi-méthodes : Combinaison de la précision de classification et de l'analyse d'explicabilité (IG, Attention) pour distinguer le raisonnement sémantique réel du simple « triche » par motifs superficiels.

5. Signification et Conclusion

L'étude conclut que, bien que les LLM actuels semblent maîtriser le raisonnement pragmatique (en alignant leurs réponses avec les humains), ils ne le font pas par compréhension sémantique profonde.

• Limitation majeure : Les modèles reposent sur des heuristiques de surface (position des mots, co-occurrences statistiques) plutôt que sur une véritable compréhension du contexte et de la logique pragmatique.
• Implication : L'évaluation des modèles par la seule précision est trompeuse. Il est impératif d'utiliser des ressources diagnostiques couplées à des analyses d'explicabilité pour révéler les mécanismes internes des modèles.
• Perspectives : Ce travail ouvre la voie à l'évaluation d'autres phénomènes pragmatiques (implicatures, présuppositions factives) et suggère la nécessité de méthodes d'évaluation plus robustes pour éviter le surapprentissage de corrélations fallacieuses.

En résumé, les modèles « savent » que Theo a une femme dans la phrase conditionnelle, mais ils y parviennent en reconnaissant un motif statistique (« Si... alors sa femme... ») plutôt qu'en déduisant la nécessité pragmatique de l'existence de l'épouse.