🤖 machine learning

A Verifiable Search Is Not a Learnable Chain-of-Thought

Cet article démontre que, bien que les modèles puissent apprendre efficacement à vérifier et à mémoriser des solutions pour des tâches de raisonnement, ils échouent fondamentalement à apprendre des procédures de recherche vérifiables sous forme de dérivations de type chaîne de pensée (chain-of-thought) vers l'avant, quels que soient l'échelle du modèle ou la méthode d'entraînement, car ces tâches manquent d'un chemin étape par étape fidèle et préservant l'information à imiter.

Auteurs originaux : Harsh Patel

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Harsh Patel

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un apprenti très intelligent mais au littéralisme rigide comment résoudre un puzzle complexe. Vous avez un maître solveur parfait qui parvient à craquer le puzzle à chaque fois. Votre plan est simple : écrire dans un carnet le processus de pensée étape par étape du maître (le « Chain of Thought » ou chaîne de pensée), montrer le carnet à l'apprenti, et espérer qu'il apprendra la logique et résoudra le problème par lui-même.

Cet article soutient que ce plan fonctionne pour certains puzzles, mais échoue de manière spectaculaire pour d'autres, et la raison n'est pas que l'apprenti est « stupide ». C'est à cause de la façon dont le puzzle est résolu.

Voici la décomposition des conclusions de l'article en utilisant des analogies simples :

1. Les deux types de puzzles

Le chercheur a testé l'apprenti sur neuf types différents de puzzles logiques. Ils se répartissent en deux groupes distincts :

Les puzzles en « ligne droite » (les plus faciles) :
Pensez à cela comme le suivi d'une recette. « Mélanger la farine, ajouter les œufs, cuire pendant 20 minutes. » Les étapes se déroulent en ligne droite du début à la fin. Si vous écrivez ces étapes et que vous les enseignez à l'apprenti, il apprend parfaitement. L'article a constaté que pour des tâches comme les chiffres romains ou les conversions mathématiques simples, l'apprenti pouvait copier les étapes du maître et obtenir la bonne réponse 99 % du temps.
- La leçon : Si la solution est un chemin direct, vous pouvez l'enseigner en montrant le chemin.
Les puzzles avec « retour en arrière » (les plus difficiles) :
Pensez à cela comme la navigation dans un immense labyrinthe sombre où vous devez deviner quelle porte est la bonne. Si vous tombez sur une impasse, vous devez revenir tout au long du chemin jusqu'au départ et essayer une autre porte. Le maître solveur fait cela en essayant une porte, en réalisant qu'elle est mauvaise, en effaçant cette pensée, puis en essayant une autre.
- Le problème : Vous ne pouvez pas écrire une histoire en « ligne droite » de ce processus. Une histoire qui dit « J'ai essayé la Porte A, elle a échoué, j'ai essayé la Porte B, elle a échoué... » est en réalité un mensonge si l'apprenti n'a pas réellement la capacité de revenir en arrière et d'effacer ses pensées précédentes en temps réel.

2. Le piège du « Verdict-as-Token » (Le verdict comme jeton)

L'article a découvert un mode d'échec spécifique avec les puzzles de « retour en arrière » (plus précisément un type appelé Cryptarithme, où il faut découvrir quelle lettre correspond à quel chiffre).

Lorsque le chercheur a enseigné le processus de « recherche » du maître à l'apprenti, l'apprenti n'a pas appris la logique de la recherche. Au lieu de cela, il a appris la forme de la réponse.

L'analogie : Imaginez que le maître dise : « J'ai vérifié la porte rouge, elle était mauvaise, donc je l'ai éliminée. » L'apprenti mémorise la phrase « Éliminer la porte rouge » mais ne comprend pas réellement pourquoi elle était mauvaise.
Le résultat : Lorsque l'apprenti essaie de résoudre un nouveau puzzle par lui-même, il voit une porte rouge et dit aveuglément « Éliminer la porte rouge », même si la porte rouge était en fait la bonne. Il récite un script sans comprendre l'histoire. L'article appelle cela le « Verdict-as-Token » : le modèle traite la conclusion comme un mot fixe à prononcer, plutôt que comme une décision basée sur des preuves.

3. Pourquoi des cerveaux plus gros n'ont pas aidé

Le chercheur a testé cela sur de nombreux modèles, des plus petits aux plus massifs et ultra-intelligents (jusqu'à 671 milliards de paramètres).

La conclusion : Même les modèles géants ont échoué aux puzzles de « retour en arrière » lorsqu'on leur demandait de montrer leur travail étape par étape. Ils ont tous atteint le même plafond bas (environ 5 % de précision).
La raison : Le problème n'était pas la taille du cerveau ; c'était le type de pensée requis. Vous ne pouvez pas forcer un modèle à « se souvenir de ce qu'il a essayé et revenir en arrière » si son architecture interne n'est pas conçue pour maintenir ce genre d'« état de recherche » pendant qu'il écrit une histoire.

4. L'expérience de la « Clé Magique »

Pour prouver que le problème était la recherche et non le calcul, le chercheur a utilisé un tour de passe-passe astucieux. Il a donné à l'apprenti une « feuille de triche » (la clé de chiffrement) qui transformait le labyrinthe en une ligne droite.

Le résultat : Dès que la recherche a été supprimée et que la tâche est devenue un calcul en ligne droite, la précision de l'apprenti est passée de 3 % à 57 %.
La conclusion : Le modèle pouvait faire les mathématiques et la logique très bien. Il ne pouvait simplement pas effectuer la partie « recherche » tout en écrivant l'histoire.

5. La vraie solution : La mémorisation, pas le raisonnement

Alors, comment le vainqueur de la compétition a-t-il résolu les puzzles difficiles ? Il n'a pas appris au modèle à chercher.

La stratégie : Il a réalisé que le labyrinthe possédait un nombre fini de chemins possibles. Au lieu d'apprendre au modèle à parcourir le labyrinthe, il lui a fait mémoriser une carte de chaque configuration possible de labyrinthe.
L'analogie : Au lieu d'apprendre à l'apprenti comment naviguer dans un labyrinthe, vous lui donnez un livre qui dit : « Si le labyrinthe ressemble à cela, alors la réponse est celle-là ». Le modèle a mémorisé ce livre (un catalogue de solutions) et n'avait ensuite plus qu'à faire une vérification rapide pour s'assurer que la réponse correspondait.
La leçon à retenir : L'article conclut que pour ces problèmes de recherche difficiles, la mémorisation fonctionne, mais la distillation du processus de recherche échoue.

Résumé

Le message principal de l'article est : Vous ne pouvez pas apprendre à un modèle à « chercher » en lui montrant simplement les étapes de la recherche.

Si la tâche est une ligne droite, montrer les étapes fonctionne.
Si la tâche nécessite un retour en arrière (essayer, échouer et réessayer), le modèle mémorisera simplement les mots de l'échec, et non la logique.
Pour résoudre ces tâches difficiles, vous devez soit apprendre au modèle à effectuer la recherche lui-même (ce qui est difficile), soit pré-calculer les réponses et apprendre au modèle à mémoriser le catalogue des possibilités.

L'article est un avertissement pour les chercheurs en IA : Ce n'est pas parce qu'un programme informatique peut résoudre un problème qu'un modèle de langage peut apprendre à « réfléchir » pour arriver à cette solution simplement en lisant les notes du programme. Parfois, la seule façon d'apprendre est de mémoriser la carte, et non le voyage.

Résumé Technique : Une recherche vérifiable n'est pas une chaîne de pensée apprenable

Énoncé du Problème

Le papier étudie une hypothèse centrale dans la distillation du raisonnement : si une tâche peut être résolue par un programme déterministe court, la logique de ce programme peut-elle être enseignée à un modèle de langage plus petit sous forme de chaîne de pensée (Chain-of-Thought - CoT) vérifiable ? L'intuition suggère que l'écriture des étapes d'un solveur en langage naturel et le réglage fin (fine-tuning) d'un modèle sur celles-ci devraient permettre au modèle de reproduire le raisonnement.

L'auteur conteste cette intuition à l'aide d'un benchmark contrôlé de neuf tâches de raisonnement. Le benchmark possède une propriété unique : l'ensemble de test caché est généré par les mêmes générateurs déterministes que l'ensemble d'entraînement public. Cela garantit qu'une tranche de l'ensemble d'entraînement mise à l'écart est un proxy fidèle de la précision de test, permettant à l'auteur de mesurer l'« écart d'apprenabilité » entre un solveur symbolique parfait et un modèle ajusté sans avoir recours à des étiquettes de test externes.

La question centrale est de savoir si la couverture d'un solveur vérifiable prédit la précision d'un modèle tentant d'apprendre la procédure via la CoT. L'étude se concentre spécifiquement sur les tâches où la solution nécessite une recherche (ex: backtracking/retour sur trace) par rapport aux tâches qui sont calculables de manière directe (ex: arithmétique, conversion d'unités).

Méthodologie

La recherche emploie un pipeline rigoureux et instrumenté pour isoler l'apprenabilité du bruit de données ou des limitations architecturales :

Construction du Benchmark : Neuf catégories de tâches ont été définies, incluant les chiffres romains, la conversion d'unités, la physique de chute libre, les chiffrements par substitution monoalphabétique, l'induction de règles booléennes sur 8 bits, l'induction d'équations, et deux familles de cryptarithmes (déduction et supposition).
Rétro-ingénierie du Solveur : L'auteur a rétro-conçu les générateurs déterministes en solveurs Python. Cinq tâches ont produit des solveurs avec une précision $\ge$ 98 %. La tâche de cryptarithme a été résolue via un solveur de recherche par backtracking atteignant environ 71 % de précision (le reste étant informationnellement ambigu).
Génération de CoT Synthétique : Les solveurs ont été instrumentés pour narrer leurs propres étapes dans le style ASCII natif du modèle de base. Une discipline critique a été imposée : chaque « verdict » (ex: « rejeter ce candidat ») devait être témoigné, signifiant que l'évidence forçant la décision devait être explicitement réitérée sur la même ligne.
Régime d'Entraînement :
- Modèle de Base : Nemotron-3-Nano-30B-A3B (un modèle hybride Mamba-2/Mixture-of-Experts).
- Adapter : Adapteurs LoRA de rang $\le$ 32 entraînés par apprentissage supervisé (SFT) sur la CoT synthétique.
- Escalades : Lorsque le SFT plafonnait, l'auteur a appliqué l'apprentissage par renforcement avec récompenses vérifiables (RLVR/GRPO) et l'entraînement STaR (Self-Taught Reasoner), récoltant les propres déploiements réussis du modèle.
Évaluation : Les modèles ont été évalués sur des lignes d'entraînement réelles mises à l'écart (faisant office de test) sous décodage glouton (greedy decoding). L'étude comprenait également un contrôle d'architecture (test de Transformers denses et MoE de 3B à 671B) et une intervention causale (révélation de parties de la clé du chiffre pour tester la dérivabilité directe).

Contributions Clés et Résultats

1. L'Écart Solvabilité–Apprenabilité

Le papier quantifie une divergence flagrante entre la précision du solveur et celle du modèle.

Tâches Calculables de Manière Directe : Pour les tâches comme les chiffres romains, la conversion d'unités et les chiffres simples, la couverture du solveur (proche de 100 %) se traduit directement par la précision du modèle ( $\ge$ 0,99).
Tâches de Recherche : Pour le cryptarithme, le solveur atteint ~71 % de précision, mais le modèle ajusté plafonne à 0,01–0,07, quelle que soit la méthode d'entraînement (SFT, RLVR, STaR) ou la conception de la CoT (11 designs différents testés).
Manipulation de Bits : Cette tâche se situe entre les deux. Le solveur atteint 98,9 %, mais le modèle atteint seulement 0,678. L'écart est partiellement comblé par STaR, qui permet au modèle d'imiter ses propres recherches réussies, suggant que le modèle peut apprendre la recherche si il peut exécuter la recherche lui-même dans la fenêtre de contexte.

2. Le Mécanisme d'Échec : "Verdict-as-Token" (Le Verdict comme Token)

Le papier identifie un mode de défaillance spécifique dans les tâches de recherche appelé "verdict-as-token".

Observation : Dans les traces de cryptarithme, le modèle effectue correctement l'arithmétique sur 97–100 % des lignes. Cependant, le verdict (la conclusion que l'on rejette un candidat) est souvent déconnecté de l'évidence sur cette ligne.
Mécanisme : Sous l'effet du "teacher forcing", le modèle apprend à émettre une phrase fixe (ex: "aucun ne correspond $\to$ rejeter") car elle apparaît toujours dans un contexte correct durant l'entraînement. À l'inférence (en mode libre), cette phrase se déclenche de manière inconditionnelle, même lorsque l'arithmétique de la ligne la contredit.
Preuve : Un audit de fidélité par ligne a montré que si la justesse arithmétique était quasi parfaite, la fidélité logique du verdict (la conclusion suit-elle les nombres ?) n'était que de 16–57 %.

3. Indépendance de l'Architecture et Dérivabilité Directe

L'échec n'est pas spécifique à l'architecture hybride Mamba-2/MoE.

Contrôle d'Architecture : Entraîner le même corpus de cryptarithme sur des Transformers denses (Llama-3.2-3B, Qwen3.5-4B) et des Transformers MoE (gpt-oss-20b) a abouti au même plancher de précision de $\le$ 0,04.
Intervention Causale : Révéler la clé complète du chiffre (transformant la tâche de recherche en simple recherche directe/lookup) a élevé la précision du modèle de 0,03 à 0,571. Révéler seulement la moitié de la clé n'a presque pas aidé.
Conclusion : La contrainte contraignante est la dérivabilité directe. Une tâche dont la seule solution honnête est une recherche par backtracking sur une structure sans information ne permet aucune CoT fidèle. Sans une trace directe à imiter, le SFT n'apprend que la forme de surface de la recherche, pas sa logique.

4. L'Échappatoire : Mémorisation, non Recherche

Le papier démontre que la tâche est apprenable, mais pas en distillant le processus de recherche.

La Solution de la 1ère Place : Le vainqueur de la compétition (Private LB 0.92) n'a pas appris au modèle à chercher. Au lieu de cela, il a pré-calculé le cœur combinatoire de la recherche (un catalogue de 4 205 signatures de candidats pour le cryptarithme) et l'a mémorisé. La CoT du modèle se réduit alors à la récupération (consultation du catalogue) plus une vérification bornée.
Implication : Ce qui se distille, c'est la mémorisation et la vérification, et non la recherche elle-même. Une recherche vérifiable est apprenable via une CoT uniquement si sa structure de candidats peut être compressée en un catalogue fini assez petit pour être mémorisé.

Signification et Revendications

La principale contribution du papier est un résultat négatif avec des preuves convergentes : une recherche vérifiable n'est pas une chaîne de pensée apprenable.

Réfutation de l'Intuition : L'hypothèse selon laquelle "toute tâche soluble est apprenable via la CoT" échoue pour les procédures nécessitant un backtracking sur des structures dépourvues d'information.
Identification du Mécanisme : Le papier isole le "verdict-as-token" comme le mode de défaillance spécifique où le SFT déconnecte la forme d'une étape de raisonnement de son contenu logique, menant à des traces non fidèles qui s'effondrent lors de l'inférence.
Heuristique Prédictive : L'auteur propose un test d'apprenabilité lors du pré-entraînement : La clôture purement directe (sans backtracking) couvre-t-elle une fraction significative des instances ? Si non, la tâche résistera probablement à la distillation par CoT.
Distinction : Le papier distingue la solvabilité (une réponse existe) de l'apprenabilité (un modèle peut raisonner pour l'atteindre). La couverture du solveur ne prédit la précision du modèle que lorsque le solveur est une application directe ; pour les procédures de recherche, elle ne prédit presque rien.

L'auteur déclare explicitement que la contribution n'est pas une nouvelle capacité de modèle ou un classement en compétition (son meilleur score était de 0,85, la médiane du domaine), mais un "compte rendu clair et instrumenté de pourquoi et comment une recherche vérifiable échoue à devenir un raisonnement de modèle". Les conclusions suggèrent que pour les tâches de recherche complexes, la voie vers une haute performance réside dans la reformulation de la tâche pour séparer la mémorisation du calcul, plutôt que de tenter de distiller le processus de recherche lui-même.