🤖 machine learning

Hybrid Models for Natural Language Reasoning: The Case of Syllogistic Logic

Cet article examine les défis distincts de généralisation liés à la compositionnalité et à la récursivité dans les grands modèles de langage en utilisant la logique syllogistique comme référence, révélant que, bien que les LLMs gèrent bien la récursivité, ils éprouvent des difficultés avec la compositionnalité, et propose une architecture hybride neuro-symbolique qui surmonte efficacement ces limitations en combinant l'efficacité neuronale avec l'exhaustivité symbolique.

Auteurs originaux : Manuel Vargas Guzmán, Jakub Szymanik, Maciej Malicki

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Manuel Vargas Guzmán, Jakub Szymanik, Maciej Malicki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un assistant robot très intelligent et bien informé. Vous lui avez appris à lire des milliers d'histoires et à résoudre des énigmes simples. Il est excellent pour repérer des motifs, comme savoir que si une histoire mentionne « chats » et « chiens », elle mentionne probablement aussi « animaux de compagnie ». Mais lorsque vous lui demandez de résoudre une énigme logique stricte — comme un syllogisme (par exemple : « Tous les chats sont des mammifères ; tous les mammifères sont des animaux ; donc, tous les chats sont des animaux ») — il commence à trébucher.

Ce document examine précisément pourquoi cela se produit et propose un moyen de corriger le tir. Voici une explication simplifiée :

1. Les deux types de « intelligence »

Les auteurs soutiennent qu'il existe deux façons différentes pour un modèle d'être « doué en raisonnement », et que l'IA actuelle les confond :

Récursivité (Le « Copieur ») : C'est la capacité à répéter indéfiniment la même action, allongeant ainsi les choses. Imaginez un robot qui apprend la règle « Si A mène à B, et que B mène à C, alors A mène à C ». Si vous lui demandez d'enchaîner cette règle cinq fois (A→B→C→D→E→F), il peut le faire facilement car il ne fait que répéter le même motif. C'est comme un perroquet capable de répéter parfaitement une longue phrase car il a mémorisé le rythme.
Compositionnalité (L'« Architecte ») : C'est la capacité à décomposer une structure complexe en ses règles atomiques minuscules et à comprendre comment elles s'assemblent. En reprenant le même exemple, un penseur véritablement compositionnel comprend pourquoi la chaîne fonctionne. Si vous lui donnez une chaîne plus courte (A→B→C) qu'il n'a jamais vue, il peut tout de même la résoudre car il comprend la règle sous-jacente, et non seulement le motif.

Le problème : L'étude a révélé que les grands modèles de langage (LLM) actuels sont d'excellents Copieurs (récursivité) mais de terribles Architectes (compositionnalité). Ils peuvent gérer de longues chaînes s'ils en ont vu de similaires, mais si vous leur demandez de décomposer une énigme complexe en ses parties les plus simples, ils se perdent.

2. L'expérience : l'énigme des « pseudomots »

Pour tester cela sans que l'IA ne se laisse distraire par des connaissances du monde réel (comme savoir que les « chats » sont de vrais animaux), les chercheurs ont créé un jeu logique utilisant des mots fictifs (pseudomots).

Le dispositif : Ils ont fourni à l'IA une liste de règles telles que « Tous les preacs sont des verdes » et « Aucun verde n'est un ramer ».
Le test : Ils ont demandé à l'IA d'identifier les règles spécifiques nécessaires pour prouver une conclusion (sélection de prémisse) ou de trouver une contradiction (preuve par contradiction).
La surprise : Ils ont entraîné l'IA sur des chaînes logiques « courtes » et l'ont testée sur des chaînes « longues », et vice versa.

Les résultats :

La bonne nouvelle : Lorsque l'IA était entraînée sur des chaînes courtes et qu'on lui demandait d'en résoudre de plus longues, elle s'en sortait plutôt bien. Elle pouvait étirer le motif.
La mauvaise nouvelle : Lorsque l'IA était entraînée sur des chaînes longues et complexes et qu'on lui demandait d'en résoudre une simple et courte, elle échouait lamentablement. Elle ne pouvait pas « zoomer » pour voir les règles simples cachées au milieu du désordre. C'était comme un étudiant qui a mémorisé tout un chapitre d'un manuel mais qui ne peut pas répondre à une seule question de la première page.

3. La solution : l'équipe « Humain + Calculatrice »

Puisque l'IA est bonne pour repérer des motifs mais mauvaise en logique stricte, et qu'un programme informatique (Preuveur Symbolique) est parfait en logique stricte mais lent et rigide, les auteurs ont construit un Modèle Hybride.

Pensez-y comme à une équipe :

L'Assistant Neuronal (l'IA) : C'est l'éclaireur rapide et intuitif. Il examine le tas désordonné de règles et dit : « Hé, je parie que ces trois règles spécifiques sont celles dont vous avez besoin pour résoudre ceci », ou « Je pense que cette contradiction est la clé ». Il réduit le champ de recherche.
Le Preuveur Symbolique (la Calculatrice) : C'est le logicien lent et parfait. Il prend les suggestions de l'IA et les vérifie avec une certitude mathématique de 100 %.

Comment cela fonctionne :

L'IA devine rapidement le chemin le plus probable vers la réponse.
La Calculatrice vérifie ce chemin.
Si l'IA se trompe, la Calculatrice ignore la supposition et tente elle-même le chemin suivant.

Le résultat :
Cette équipe est incroyablement efficace. L'IA réduit le travail d'environ 1 000 fois (trois ordres de grandeur). Même si l'IA fait une erreur, la Calculatrice garantit que la réponse finale reste correcte. L'IA accélère le processus ; la Calculatrice assure que rien n'est cassé.

4. Ce qui a mal tourné (les « hallucinations »)

Les chercheurs ont également examiné pourquoi l'IA échouait lorsqu'elle travaillait seule. Ils ont identifié deux types principaux d'erreurs :

Le « Trop-Aide » : Parfois, l'IA incluait des règles supplémentaires et inutiles. Ce n'était pas strictement faux (la preuve fonctionnait toujours), mais ce n'était pas efficace.
Le « Fais semblant jusqu'à ce que ça marche » : Lorsque l'IA était bloquée, elle inventait parfois de fausses règles qui n'existaient pas dans la liste originale, simplement pour faire fonctionner la logique. Par exemple, si elle avait besoin d'une règle sur les « verdes » mais n'en avait pas, elle pouvait en inventer une parce qu'elle pensait que c'était ainsi que le motif devait se présenter.

La conclusion

L'étude conclut que, bien que l'IA s'améliore dans la reconnaissance de motifs, elle manque toujours d'une compréhension profonde et structurelle de la logique. Elle peut imiter la forme du raisonnement, mais ne saisit pas toujours les mécanismes.

La meilleure voie à suivre ne consiste pas simplement à rendre l'IA plus grande ou plus intelligente ; il s'agit d'associer la rapidité de l'IA à un système logique strict et fondé sur des règles. Cette équipe « neuro-symbolique » offre le meilleur des deux mondes : la rapidité de l'IA et la fiabilité d'un manuel de mathématiques.

Résumé Technique : Modèles Hybrides pour le Raisonnement en Langage Naturel

Énoncé du Problème
Malgré des avancées significatives des modèles neuronaux, leur capacité de généralisation demeure un goulot d'étranglement critique pour les applications de raisonnement logique. La littérature actuelle confond souvent deux aspects distincts de la généralisation : la compositionnalité et la récursivité.

La compositionnalité est définie ici non pas comme la construction « ascendante » standard du sens, mais comme une capacité analytique « descendante » : la capacité d'abstraire des règles logiques atomiques à partir de structures complexes et de les appliquer à des composants plus simples.
La récursivité est la capacité de construire des représentations complexes par l'application itérative d'un ensemble fini de règles (par exemple, étendre une chaîne transitive).

Les auteurs soutiennent que si les modèles peuvent être récursifs (traitant de longues chaînes en imitant des motifs de surface), ils manquent souvent de véritable compositionnalité (comprendre la combinaison structurelle des liens individuels). Cette déficience empêche un raisonnement logique robuste, en particulier lorsque des modèles entraînés sur des inférences complexes échouent à identifier leurs composants plus simples sous-jacents.

Méthodologie
Pour investiguer ces capacités, les auteurs utilisent la logique syllogistique comme benchmark contrôlé. Ce fragment du raisonnement en langage naturel est suffisamment expressif pour être non trivial, tout en restant traitable computationnellement, contrairement à la logique du premier ordre complète.

Cadre Formel : L'étude adopte un système de preuve syllogistique basé sur Smiley (1973), comportant quatre types de quantificateurs (A, E, I, O) et permettant des déductions à partir de prémisses arbitraires. Le système est prouvé correct et complet.
Composante Symbolique : Un prouveur automatique non déterministe a été implémenté. Il tente de dériver une hypothèse $H$ $H$ à partir d'une base de connaissances $KB$ en utilisant :
- Des preuves directes basées sur des règles (triviales et fondées sur des règles).
- La preuve par contradiction (trouver une formule $F$ telle que $KB \cup \{H\} \vdash F$ et $KB \vdash \neg F$ ).
Composante Connectionniste : Deux grands modèles de langage (LLM) pré-entraînés — FLAN-T5-base (encodeur-décodeur) et GPT-4o-mini (décodeur uniquement) — ont été affinés sur des données synthétiques pour agir en tant qu'assistants. Les données consistent en des bases de connaissances représentées sous forme de graphes, converties en langage naturel à l'aide de pseudomots pour éviter les biais de contenu.
- Tâche 1 (Sélection de Prémisses) : Prédire un sous-ensemble minimal de prémisses $P \subseteq KB$ tel que $P \vdash H$ .
- Tâche 2 (Preuve par Contradiction) : Prédire une formule de réfutation $F$ pour faciliter une preuve par contradiction.
Évaluation de la Généralisation : Les auteurs ont opérationnalisé la compositionnalité et la récursivité en manipulant les ensembles d'entraînement et de test basés sur les longueurs de chaînes A (la longueur des inclusions transitives) :
- Compositionnel (COM) : Modèles entraînés sur des chaînes longues, testés sur des chaînes courtes (déconstruction).
- Récursif (REC) : Modèles entraînés sur des chaînes courtes, testés sur des chaînes longues (construction).
- Global (OVE) : Modèles entraînés et testés sur toutes les longueurs.

Contributions Clés

Distinction Empirique : Une démonstration rigoureuse que les LLM possèdent une compétence raisonnable en récursivité mais éprouvent des difficultés significatives avec la compositionnalité. Les modèles entraînés sur des inférences complexes échouent à généraliser vers leurs composants constitutifs plus simples.
Contraintes Structurelles : Une découverte théorique selon laquelle la généralisation dans les modèles neuronaux est contrainte par la structure logique. La performance varie systématiquement selon les différents types de syllogismes (par exemple, le type $\tau_2$ , l'inférence la plus simple, est maîtrisé, tandis que les combinaisons complexes comme $\tau_1$ et $\tau_5$ restent difficiles).
Architecture Hybride : La proposition et l'évaluation d'un cadre neuro-symbolique où des composants neuronaux assistent un prouveur symbolique. Les modèles neuronaux réduisent l'espace de recherche en prédisant des prémisses candidates et des formules de contradiction, tandis que le prouveur symbolique garantit la complétude et la correction logiques.

Résultats

Disparité de Généralisation : Dans le cadre Récursif, les modèles ont performé de manière comparable à la ligne de base globale, suggérant qu'ils peuvent étendre les motifs à des chaînes plus longues. Cependant, dans le cadre Compositionnel, la performance a chuté substantiellement (par exemple, la précision de GPT sur la sélection de prémisses est passée d'environ 94 % en OVE-court à environ 76 % en COM).
Variabilité Dépendante du Type : La performance était fortement dépendante du type spécifique de syllogisme. Le type $\tau_2$ (chaîne A unique) a atteint une précision quasi parfaite dans tous les cadres, tandis que les types nécessitant plusieurs chaînes ou des quantificateurs mixtes ont montré une dégradation significative dans les tâches compositionnelles.
Analyse des Erreurs :
- Prémisses Inutiles : Les modèles ont souvent inclus des prémisses supplémentaires qui n'étaient pas minimales mais néanmoins valides, permettant au prouveur symbolique de réussir.
- Prémisses Fabriquées : Dans les cas d'échec réel, les modèles ont généré des prémisses bien formées mais sémantiquement incorrectes, confondant souvent des types de syllogismes ayant des structures d'hypothèses similaires (par exemple, tentant de construire une preuve $\tau_3$ pour une hypothèse $\tau_1$ ).
Efficacité Hybride : Les modèles hybrides ont considérablement réduit le coût computationnel du prouveur symbolique.
- Le prouveur symbolique pur nécessitait en moyenne $\approx 10^{5.7}$ étapes.
- Les modèles hybrides avec des assistants Globaux ou Récursifs ont réduit cela à $\approx 10^{2.4}$ étapes (une réduction de trois ordres de grandeur).
- Même avec des assistants Compositionnels (qui avaient une précision plus faible), le système hybride est resté robuste, ne nécessitant que légèrement plus d'étapes ( $\approx 10^{2.7}$ à $10^{3.1}$ ) que les assistants les plus performants, sans compromettre la correction ou la complétude de la preuve finale.

Signification et Revendications
L'article revendique que les limitations observées dans le raisonnement neuronal ne sont pas simplement une question d'échelle, mais découlent d'une incapacité fondamentale à effectuer une décomposition structurelle (compositionnalité) par opposition à la répétition de motifs (récursivité). Les auteurs postulent que les mécanismes d'attention des transformateurs peuvent naturellement soutenir ce dernier mais pas le premier.

La signification de ce travail réside dans la démonstration que les modèles hybrides offrent une voie viable. En exploitant les réseaux de neurones pour une réduction efficace de l'espace de recherche et le raisonnement symbolique pour des garanties logiques, il est possible de surmonter les barrières de généralisation des systèmes neuronaux purs. L'étude suggère que cette approche modulaire est essentielle pour développer des prouveurs logiques fiables, même lorsque les composants neuronaux sont imparfaits ou entraînés sur des données limitées. Les auteurs concluent que si la logique syllogistique est un fragment simple, elle révèle déjà des limites non triviales pour la généralisation neuronale, motivant davantage de recherches sur des fragments logiques plus riches et les raisons structurelles derrière l'apprenabilité.