Abductive Reasoning with Syllogistic Forms in Large Language Models

Cet article examine la capacité des grands modèles de langage à effectuer un raisonnement abductif, défini comme l'inverse du syllogisme, afin de déterminer s'ils présentent des biais similaires à ceux des humains et d'identifier des pistes pour améliorer leur raisonnement contextuel au-delà de la déduction formelle.

L'essentiel

🕵️‍♂️ Les Détectives de l'IA : Quand les Robots se trompent de logique

Imaginez que vous avez un super-ordinateur (une "Intelligence Artificielle" ou IA) qui a lu presque tous les livres, articles et sites web du monde. On lui demande de résoudre des énigmes. Mais il y a un problème : ce robot est très fort pour faire des calculs stricts, mais il a du mal à comprendre le monde tel qu'il est vraiment, avec ses incertitudes.

C'est exactement ce que cette équipe de chercheurs de l'Université Keio a voulu tester. Ils ont demandé à ces IA de jouer à deux jeux de logique différents : la Déduction et l'Abduction.

1. Les deux types de jeux de logique

Pour bien comprendre, prenons l'exemple d'un train en retard.

• Le jeu de la Déduction (Le Mathématicien Rigide)
  C'est la logique "si... alors..." stricte.

  • Règle : Si le feu rouge est cassé, le train est en retard.
  • Observation : Le feu rouge est cassé.
  • Conclusion (Déduction) : Donc, le train est en retard.
    C'est comme un calcul mathématique : si A est vrai, B est forcément vrai. C'est ce que les écoles enseignent.

• Le jeu de l'Abduction (Le Détective Intuitif)
  C'est la logique de l'explication. C'est ce que nous faisons tous les jours quand on cherche la cause d'un événement.

  • Observation : Le train est en retard.
  • Règle : Si le feu rouge est cassé, le train est en retard.
  • Hypothèse (Abduction) : "Peut-être que le feu rouge est cassé ?"
    Attention ! Ce n'est pas une certitude. Le train pourrait être en retard pour une autre raison (une panne de moteur, un passager malade...). L'abduction, c'est deviner la meilleure explication possible à partir d'indices incomplets. C'est de l'inférence, pas du calcul.

2. Le test : Les robots sont-ils de bons détectives ?

Les chercheurs ont créé un jeu de 216 énigmes basées sur des syllogismes (des petits raisonnements logiques) pour voir comment les IA (comme GPT-4 ou Llama) réagissaient.

Ils ont posé deux types de questions :

1. Déduction : "Voici les faits, quelle est la conclusion certaine ?"
2. Abduction : "Voici un fait étrange et une règle, quelle est l'explication la plus probable ?"

Le résultat surprenant :
Les IA sont excellentes pour la Déduction (surtout si on leur donne quelques exemples avant). Mais elles sont très mauvaises pour l'Abduction.

• L'analogie du robot aveugle : Imaginez un robot qui a lu des millions de manuels de mathématiques. Si on lui demande de résoudre une équation, il est parfait. Mais si on lui demande : "Pourquoi cette pomme est-elle rouge ?" et qu'il doit deviner si c'est parce qu'elle est mûre ou parce qu'elle a été peinte, il panique. Il essaie de faire un calcul mathématique là où il faudrait de l'intuition.

3. Le piège de nos propres croyances (Le "Biais de Croyance")

L'article révèle quelque chose de fascinant : les IA ont les mêmes défauts que les humains.

En psychologie, on sait que les humains ont du mal à accepter une logique qui contredit ce qu'ils croient être vrai.

• Exemple : Si on dit "Tous les chats sont verts" (ce qui est faux dans la réalité), et "Félix est un chat", un humain aura du mal à conclure "Félix est vert" car cela heurte son bon sens.

Les chercheurs ont découvert que les IA font exactement la même chose !

• Si l'énigme est logique mais "bizarre" (contre-intuitive), l'IA a tendance à dire "Non, ça ne marche pas", même si la logique est parfaite.
• Si l'énigme est logique et "normale" (conforme à nos croyances), l'IA réussit mieux.

C'est comme si l'IA avait développé une "opinion" sur le monde, et qu'elle refusait de suivre la logique pure quand celle-ci contredit son "bon sens" appris dans ses données d'entraînement.

4. Pourquoi est-ce important ?

Pourquoi se soucier de savoir si un robot est bon pour deviner des explications ?

• L'IA Explicable (XAI) : Aujourd'hui, on veut que les IA nous disent pourquoi elles prennent une décision (par exemple, pourquoi un prêt bancaire a été refusé). Pour cela, elles doivent maîtriser l'abduction (trouver la cause), pas juste la déduction (appliquer une règle).
• Le fossé Humain-Machine : Les humains sont naturellement doués pour l'abduction (nous cherchons des causes tout le temps). Les IA, elles, sont entraînées sur des textes qui ressemblent plus à de la déduction. Tant qu'elles ne sauront pas "deviner" intelligemment comme nous, elles resteront limitées dans les tâches complexes de la vie réelle.

En résumé

Cette étude nous dit : Ne vous attendez pas à ce que votre IA soit un génie de la logique intuitive. Elle est très forte pour suivre des règles strictes (Déduction), mais elle trébuche quand il faut inventer une explication plausible (Abduction). De plus, elle hérite de nos propres préjugés : elle préfère les réponses qui ont du sens pour nous, même si elles sont logiquement fausses.

C'est un rappel important : pour que l'IA devienne vraiment intelligente, elle ne doit pas seulement "calculer", elle doit apprendre à "comprendre" et à "expliquer" le monde, un peu comme un détective humain.

Résumé technique

Voici un résumé technique détaillé de l'article « Abductive Reasoning with Syllogistic Forms in Large Language Models » en français.

1. Problématique et Contexte

La recherche actuelle sur les Grands Modèles de Langage (LLM) se concentre souvent sur la comparaison de leurs capacités de raisonnement avec celles des humains, en particulier dans le domaine du raisonnement déductif. Des études antérieures ont montré que les LLMs, tout comme les humains, souffrent de biais de croyance (ils rejettent des inférences logiquement valides si elles contredisent leurs connaissances communes).

Cependant, l'article souligne une lacune critique : le raisonnement humain quotidien ne se limite pas à la déduction. Il inclut massivement l'abduction, un processus de raisonnement qui consiste à formuler des hypothèses explicatives à partir d'informations limitées (inférer la cause à partir d'un effet).

• Le problème : Il est injuste de critiquer les LLMs uniquement sur leurs biais déductifs, car ils sont entraînés sur du langage naturel où l'abduction est prédominante.
• La question de recherche : Dans quelle mesure les LLMs sont-ils capables de réaliser un raisonnement abductif ? Présentent-ils des biais similaires à ceux observés en déduction, et comment leur performance se compare-t-elle à celle du raisonnement déductif ?

2. Méthodologie

Les auteurs ont conçu une approche systématique pour évaluer l'abduction en s'appuyant sur le cadre syllogistique défini par Charles Sanders Peirce.

A. Construction du Dataset

L'équipe a créé un jeu de données spécifique en transformant des syllogismes déductifs valides en problèmes abductifs :

• Structure : L'abduction est modélisée comme le passage d'une Règle (Majeure) et d'une Observation (Mineure) vers une Hypothèse (Conclusion).
  • Exemple : Règle : « Tous les objets dans le sac sont blancs » + Observation : « Ces boules sont blanches » $\rightarrow$ Hypothèse : « Ces boules étaient dans le sac ».
• Génération : À partir de 27 triplets de termes (Sujet, Prédicat observable, Prédicat non observable), ils ont généré 216 problèmes d'abduction (108 corrects, 108 incorrects) et 216 problèmes de déduction correspondants.
• Étiquetage des biais : Chaque problème a été classé selon trois catégories pour tester les biais de croyance :
  • Consistant : La règle correspond aux croyances communes.
  • Inconsistant : La règle contredit les croyances communes.
  • Neutre : La règle est sans rapport avec les croyances communes.

B. Modèles Évalués

L'étude a testé quatre modèles d'état de l'art (sans fine-tuning, uniquement en in-context learning) :

• GPT-3.5 et GPT-4 (modèles fermés).
• Llama-3-8B et Llama-3-70B (modèles open-source).

C. Protocole Expérimental

Les modèles ont été évalués sur deux tâches distinctes :

1. Tâche d'Abduction : Choisir l'hypothèse la plus plausible (H, Non-H, ou « Ni l'un ni l'autre ») à partir d'une Règle et d'une Observation.
2. Tâche de Déduction : Choisir la conclusion valide à partir de deux prémisses.

Les tests ont été réalisés en configurations Zero-shot (sans exemple) et Few-shot (avec 8 exemples de démonstration).

3. Résultats Clés

Les résultats, présentés dans les tableaux 5 et 6 de l'article, révèlent des tendances surprenantes :

• Performance Globale : Les LLMs performent moins bien en abduction qu'en déduction.
  • En Zero-shot, la meilleure performance (GPT-4) atteint environ 41,7 % en abduction contre 72,2 % en déduction.
  • En Few-shot, Llama-3-70B montre une amélioration significative en abduction (75,5 %), mais reste inférieur à sa performance en déduction (84,7 %).
• Difficulté avec la réponse « Ni l'un ni l'autre » : Les modèles éprouvent des difficultés majeures à identifier les cas où aucune hypothèse n'est valide (réponse « Neither »). En abduction, ils ont tendance à forcer une réponse (souvent négative) même lorsque la logique exige de rejeter les deux options.
• Présence de Biais de Croyance : Comme en déduction, les modèles montrent des biais de croyance en abduction. La précision chute significativement (d'environ 10 points) sur les problèmes Inconsistants (règles contredisant le sens commun) par rapport aux problèmes Consistants ou Neutres.
• Confusion Déduction/Abduction : L'analyse montre que les modèles tentent souvent d'appliquer une logique déductive aux problèmes abductifs. Par exemple, ils traitent parfois une affirmation de la conséquence comme une inférence valide, ce qui est une erreur logique en abduction mais une erreur de catégorie en déduction.
• Effet de Négation : Il existe une tendance marquée à sélectionner des hypothèses contenant une négation (« Non ») lorsque la Règle ou l'Observation contient une négation, indépendamment de la validité logique (effet d'atmosphère).

4. Contributions Principales

1. Création d'un Dataset Spécialisé : Introduction d'un ensemble de données structuré pour évaluer spécifiquement l'abduction syllogistique, comblant un vide dans la littérature qui se concentrait principalement sur la déduction.
2. Comparaison Systématique : Première comparaison directe et rigoureuse des performances des LLMs entre tâches déductives et abductives, démontrant que l'abduction est plus difficile pour les modèles actuels.
3. Identification des Biais : Confirmation que les biais de croyance humains (rejet de la logique au profit du sens commun) se reproduisent également dans le raisonnement abductif des LLMs.
4. Analyse des Erreurs : Mise en évidence de la tendance des modèles à « déduire » là où ils devraient « abduire », et de leur difficulté à gérer les cas où aucune hypothèse n'est plausible.

5. Signification et Perspectives

• Pour l'IA Explicable (XAI) : L'abduction est fondamentale pour répondre aux questions « Pourquoi ? » et pour l'explicabilité des systèmes. Si les LLMs échouent à raisonner abductivement, leur capacité à fournir des explications naturelles et logiques est compromise.
• Compréhension Cognitive : Le fait que les LLMs soient moins performants en abduction (qui est censée être plus « naturelle » et quotidienne que la déduction) suggère que leur entraînement sur du texte naturel n'a pas suffi à internaliser les structures logiques de l'inférence hypothétique.
• Futur de la Recherche : L'article ouvre la voie à des recherches sur :
  • L'entraînement spécifique pour améliorer l'abduction.
  • La comparaison directe avec les performances humaines sur ces tâches.
  • L'exploration d'approches probabilistes (Bayésiennes) pour modéliser l'abduction.
  • L'extension à des formes de raisonnement plus complexes (conditionnels, syllogismes étendus).

En conclusion, cet article démontre que malgré leurs avancées, les LLMs actuels manquent encore de robustesse dans le raisonnement abductif, un pilier essentiel de l'intelligence artificielle générale et de l'interaction humaine.