💬 NLP

Deductive Logic in Language Models: Horizontal vs Vertical Reasoning

Cet article étudie comment de petits modèles transformer entraînés sur des tâches déductives synthétiques implémentent le raisonnement à travers des mécanismes distincts, horizontaux (autorégressifs) et verticaux (implicites), révélant que la supervision par chaîne de pensée favorise un véritable inférence basée sur des règles dans les contextes horizontaux, tout en agissant comme un apprentissage par curriculum pour développer des motifs de raisonnement complexes dans les contextes verticaux.

Auteurs originaux : Davide Maltoni, Matteo Ferrara

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Davide Maltoni, Matteo Ferrara

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un minuscule cerveau de robot, une page blanche (un petit modèle de langage), qui ne connaît rien au monde. Vous voulez lui apprendre à résoudre des énigmes logiques. Ce document est comme une histoire de détective où les chercheurs scrutent l'intérieur du cerveau de ce robot pour voir comment il parvient à résoudre les problèmes. Ils ont découvert que le robot peut résoudre ces énigmes de deux manières très différentes, selon la façon dont on lui enseigne.

Voici le détail de leurs découvertes en utilisant des analogies simples :

Les deux façons de penser : « Marcher » vs « Téléporter »

Les chercheurs ont testé le robot sur deux types d'énigmes :

L'énigme de la chaîne : Relier des points (par exemple, si A mène à B, et que B mène à C, est-ce que A mène à C ?).
Le labyrinthe de l'arbre : Trouver un chemin du sommet d'un arbre jusqu'à une feuille spécifique à la base.

Ils ont découvert que le robot utilise deux modes de pensée distincts :

1. Le raisonnement horizontal : « Le marcheur pas à pas »

L'analogie : Imaginez que vous marchez dans une forêt sombre. Vous ne pouvez voir que le prochain pas devant vous. Pour arriver au bout, vous devez faire un pas, regarder autour de vous, faire le pas suivant, et ainsi de suite. Vous ne pouvez pas sauter les étapes.

Comment ça fonctionne : Cela se produit lorsque le robot est enseigné via la Chaîne de Pensée (Chain-of-Thought ou CoT). C'est comme donner au robot un carnet de notes où il doit écrire chaque étape de son voyage avant de donner la réponse finale.
Ce que le robot apprend : Le robot apprend à agir comme un détective suivant une piste. Il trouve une règle (A mène à B), l'écrit, puis utilise ce résultat pour trouver la règle suivante (B mène à C).
Le mécanisme secret : À l'intérieur du cerveau du robot, il y a de minuscules « moteurs de recherche » (appelés Têtes d'Induction ou Induction Heads) qui agissent comme une fonction « copier-coller ». Ils regardent ce qui vient d'être écrit, trouvent une information correspondante et copient l'élément suivant de l'énigme vers l'avant. C'est un processus très clair et mécanique de « Trouver A, obtenir B, puis trouver C ».

2. Le raisonnement vertical : « Le penseur par téléportation »

L'analogie : Imaginez que vous êtes au pied d'une haute tour, mais que vous devez savoir ce qui se trouve tout en haut avant même de pouvoir faire votre premier pas vers le haut. Vous ne pouvez pas monter pas à pas car vous ne savez pas encore quels escaliers sont sûrs. Au lieu de cela, vous devez mentalement vous « téléporter » tout en haut, comprendre tout le chemin dans votre tête, et ensuite commencer à parler.

Comment ça fonctionne : Cela se produit lorsque le robot doit résoudre le Labyrinthe de l'Arbre sans avoir le droit d'écrire les étapes intermédiaires. Il doit résoudre tout le problème à l'intérieur de ses couches de neurones avant de produire le premier mot.
Le mécanisme secret : Le robot ne « marche » pas sur le chemin ; il construit le chemin verticalement à travers ses couches. C'est comme une pile de feuilles transparentes. La feuille du bas contient le point de départ, la feuille suivante contient l'étape suivante, et ainsi de suite, jusqu'au sommet. Lorsqu' l'information atteint la couche supérieure, tout le chemin est assemblé.
Le rôle de l'enseignement : Étonnamment, même si le robot n'écrit pas les étapes, lui donner un exemple de « Chaîne de Pensée » l'aide à apprendre. Les chercheurs appellent cela l'Apprentissage par Curriculum (Curriculum Learning). C'est comme un professeur montrant d'abord des énigmes faciles (chemins courts) à un élève, puis lui donnant progressivement des énigmes plus difficiles (chemins longs). Le robot apprend d'abord les schémas simples, puis utilise ces connaissances pour s'attaquer aux plus complexes, le tout se déroulant « silencieusement » à l'intérieur de son cerveau.

Le piège : « Tricher » sans professeur

Les chercheurs ont tenté d'enseigner au robot sans les notes étape par étape (la Chaîne de Pensée).

Le résultat : Le robot a principalement échoué à apprendre la logique réelle. Au lieu de cela, il a commencé à « tricher ».
L'analogie : Imaginez un élève passant un examen. Si le professeur ne demande pas de montrer le calcul, l'élève pourrait simplement mémoriser que « les questions avec 5 nombres donnent généralement une réponse 'Oui' » au lieu de réellement faire les mathématiques.
La conclusion : Sans ce guidage étape par étape, le robot a mémorisé des schémas dans les données de test (des biais) plutôt que d'apprendre les règles de la logique. Il pouvait obtenir des scores élevés lors des tests d'entraînement, mais échouait complètement face à de nouvelles questions complexes.

La grande conclusion

Cette étude montre que la façon dont vous enseignez à un robot importe plus que le robot lui-même.

Si vous forcez le robot à exprimer ses pensées (Horizontal), il construit une chaîne de logique claire et mécanique que nous pouvons facilement comprendre et tracer.
Si vous le forcez à penser silencieusement (Vertical), il peut toujours apprendre, mais il le fait en construisant progressivement la complexité, presque comme un élève maîtrisant une compétence par la pratique plutôt que par un manuel.
Si vous ne lui donnez aucun guidage, il a tendance à tricher en mémorisant des raccourcis, ce qui le rend peu fiable lorsque les règles changent.

En résumé, la « Chaîne de Pensée » n'est pas seulement une astuce sophistiquée pour obtenir de meilleures réponses ; c'est un outil fondamental qui change la façon dont le cerveau du robot est câblé pour résoudre les problèmes, le transformant de simple mémorisateur en un penseur logique.

Résumé technique : Logique déductive dans les modèles de langage : Raisonnement horizontal vs vertical

Énoncé du problème

Les modèles de langage de grande taille (LLM) récents font preuve de capacités de raisonnement logique significatives, pourtant les mécanismes de calcul de bas niveau soutenant l'inférence déductive restent mal compris. Alors que la littérature existante se concentre sur les performances des benchmarks ou sur des descriptions de circuits de haut niveau dans les modèles préentraînés, il existe une lacune dans la compréhension de la manière dont les transformers implémentent le raisonnement déductif multi-étapes à partir de principes fondamentaux. Plus précisément, l'article étudie la distinction entre deux paradigmes de raisonnement :

Raisonnement horizontal : Un processus autorégressif où les étapes intermédiaires sont générées jeton par jeton, en exploitant les jetons précédemment générés pour les étapes suivantes (généralement elicited via la Chaîne de Pensée, ou CoT - Chain-of-Thought).
Raisonnement vertical : Un processus implicite où l'inférence se déroule à travers la hiérarchie des couches avant la production du premier jeton de sortie. Cela est nécessaire lorsque le premier jeton nécessite la résolution d'une partie non triviale du problème (par exemple, déterminer un chemin de la racine vers une feuille dans un arbre binaire) sans l'aide d'étapes intermédiaires autorégressives.

L'étude examine si de petits modèles transformers non préentraînés peuvent apprendre des règles logiques explicites plutôt que des raccourcis statistiques, et comment la supervision par CoT influence ces distincts modes de raisonnement.

Méthodologie

Les auteurs utilisent une approche d'interprétabilité mécaniste utilisant de petits modèles transformers de type décodeur uniquement, entraînés à partir de zéro sur deux tâches synthétiques conçues pour éliminer l'ambiguïté du langage naturel et le recours aux connaissances de préentraînement.

Tâches

Tâche 1 (Conséquence logique) : Une tâche d'inférence de logique propositionnelle impliquant des chaînes d'implications (clauses de Horn). Le modèle doit décider si une requête ( $q_0 \to q_1$ $q_{0} \to q_{1}$ ) est une conséquence logique de cinq règles données.
- Configuration CoT : Le modèle génère la chaîne d'implications intermédiaire menant à la décision finale avant de produire un jeton de décision (1 ou 0).
- Configuration Non-CoT : Le modèle produit uniquement le jeton de décision final.
Tâche 2 (Navigation Racine-Feuille) : Une tâche exigeant que le modèle navigue dans un arbre binaire de la racine vers un nœud feuille spécifié, étant donné une liste non ordonnée de paires parent-enfant.
- Configuration CoT : Le modèle génère la séquence complète des nœuds du chemin.
- Configuration Non-CoT : Le modèle produit un jeton binaire indiquant l'accessibilité.

Architecture du modèle et entraînement

Architecture : Modèles "NanoGPT" de type GPT-2 (décodeur uniquement) entraînés à partir de zéro. Les expériences ont utilisé des configurations simplifiées (par exemple, 2 couches, 1 tête) pour l'interprétabilité et des configurations standards (6 couches, 8 têtes) pour la performance.
Entraînement : Les modèles ont été entraînés sur des jeux de données synthétiques (4K à 150K exemples) avec et sans supervision CoT.
Outils d'interprétabilité :
- LogitLens : Décodage du contenu du flux résiduel dans l'espace du vocabulaire aux couches intermédiaires.
- Visualisation de l'attention : Analyse des motifs d'attention et filtrage par force.
- Pseudo-inverse tronquée : Une nouvelle technique introduite pour décoder l'information transportée par les vecteurs Requête (Query), Clé (Key) et Valeur (Value), permettant de distinguer l'information spécifique extraite par les têtes d'attention.
- Moyennage : Calcul de la force d'attention moyenne à travers les jeux de données pour isoler les liens d'attention indépendants du jeton (positionnels).

Contributions clés

Compte rendu mécaniste du raisonnement horizontal : L'article fournit une explication de bas niveau de la manière dont un modèle peu profond (2 couches) entraîné avec CoT résout la Tâche 1. Il identifie des circuits spécifiques et interprétables :
- Complétion de règle : Des mécanismes de type tête d'induction qui recherchent l'antécédent d'une règle correspondant au jeton actuel et récupèrent le conséquent.
- Chaînage de règles : Des mécanismes qui connectent la queue d'une règle à la tête de la suivante.
- Prise de décision : Des circuits qui vérifient la chaîne finale par rapport à la requête.
Analyse du raisonnement vertical : L'étude démontre que la Tâche 2 (navigation racine-feuille) nécessite un raisonnement vertical. Le modèle apprend à calculer l'intégralité du chemin inverse (feuille vers racine) en interne à travers les couches avant de générer le chemin direct. Cela implique que les "jetons registres" dans le prompt servent de mémoire de travail.
Le rôle du CoT comme apprentissage curriculaire : L'article révèle que dans le raisonnement vertical, le CoT ne fournit pas seulement un guidage étape par étape (comme dans le raisonnement horizontal) mais agit comme un Apprentissage Curriculaire. Il permet au modèle de maîtriser d'abord des sous-problèmes plus simples (par exemple, des chemins plus courts ou des nœuds proches de la cible) et de généraliser progressivement à des cas complexes.
Nouvelle technique d'interprétabilité : L'introduction d'une méthode de pseudo-inverse tronquée pour décoder les vecteurs Requête, Clé et Valeur, offrant un nouvel outil pour inspecter le flux d'information dans les mécanismes d'attention.
Modes de défaillance sans CoT : L'étude montre que sans CoT, les modèles échouent à apprendre les algorithmes logiques prévus pour les tâches complexes, optant plutôt pour la mémorisation ou l'exploitation de biais de l'ensemble de données (par exemple, compter les littéraux distincts) lorsque de tels biais existent.

Résultats

Raisonnement Horizontal (Tâche 1) : Un modèle simple de 2 couches entraîné avec CoT atteint ~100 % de précision et généralise parfaitement. L'analyse mécaniste confirme l'émergence de têtes d'induction qui effectuent des opérations de "copie-recherche-récupération" pour chaîner les règles. Sans CoT, le modèle ne parvient pas à converger vers une solution généralisable, mémorisant souvent l'ensemble d'entraînement ou exploitant des raccourcis statistiques (ex: compter les littéraux) si des biais de données sont présents.
Raisonnement Vertical (Tâche 2) : Un modèle de 6 couches entraîné avec CoT résout avec succès la tâche de navigation racine-feuille. Le modèle apprend implicitement à traverser l'arbre à rebours (feuille vers racine) au sein du flux résiduel du dernier jeton du prompt, stockant les nœuds intermédiaires dans des positions de "registre", puis génère le chemin vers l'avant.
- Sans CoT, le modèle échoue à apprendre la logique de navigation, à moins qu'un biais de génération spécifique (caractéristique statistique exploitable) ne soit présent. Une fois ce biais supprimé, la performance chute à un niveau proche du hasard.
- Le CoT facilite cet apprentissage en permettant un effet de curriculum : le modèle apprend d'abord à prédire les jetons proches de la feuille cible, puis étend cette compétence vers la racine.
Têtes d'induction : Les têtes d'induction sont identifiées comme des composants centraux dans les deux modes de raisonnement, facilitant la correspondance des antécédents de règles et la récupération des conséquents dans le raisonnement horizontal, et permettant le chaînage inverse dans le raisonnement vertical.

Signification et affirmations

L'article affirme fournir un compte rendu de bas niveau de la manière dont les transformers implémentent le raisonnement déductif, contrastant avec les travaux précédents qui proposent des descriptions de haut niveau ou se concentrent sur des raccourcis statistiques.

Distinction des modes de raisonnement : Le travail clarifie que le CoT sert des fonctions différentes selon le paradigme de raisonnement : il permet une décomposition explicite étape par étape dans le raisonnement horizontal, tandis qu'il agit comme un échafaudage curriculaire pour un calcul implicite par couche dans le raisonnement vertical.
Nécessité de la supervision : Les résultats suggèrent que pour des tâches déductives complexes, la supervision intermédiaire explicite (CoT) est cruciale pour apprendre les algorithmes logiques sous-jacents. Sans elle, les modèles ont tendance à mémoriser ou à exploiter des biais plutôt qu'à apprendre des règles de raisonnement généralisables.
Généralisabilité des mécanismes : Les conclusions soutiennent l'idée que les modèles de langage peuvent reposer sur des stratégies computationnelles différentes (symboliques basées sur des règles vs sub-symboliques numériques) selon la nature de la tâche. L'étude souligne que les têtes d'induction, précédemment associées principalement à l'apprentissage en contexte (in-context learning), sont fondamentales pour implémenter des circuits d'inférence logique.
Limites : Les auteurs notent modestement que leur analyse de bas niveau repose sur des architectures simplifiées (modèles peu profonds, partages d'embeddings) et une syntaxe symbolique. Bien que les mécanismes soient clairs dans ce cadre, ils pourraient ne pas se transférer directement aux modèles plus larges et préentraînés ou aux contextes naturalistes. De plus, les mécanismes spécifiques de fusion des chemins partiels dans le raisonnement vertical lorsque la longueur du chemin dépasse la profondeur du modèle restent partiellement inexpliqués.

En résumé, l'article soutient que la compréhension des circuits de calcul spécifiques (comme les têtes d'induction) et du rôle de la supervision (CoT) est essentielle pour concevoir des modèles robustes capables d'un véritable raisonnement déductif, plutôt qu'une simple approximation statistique.