Résumé Technique : Chercher, Échouer, Récupérer : Un Cadre d'Entraînement pour le Raisonnement Sensible à la Correction

Énoncé du Problème

La supervision classique de la Chaîne de Pensée (CoT - Chain-of-Thought) entraîne généralement les modèles sur des chemins de raisonnement polis et réussis, masquant ainsi efficacement le processus d'exploration, d'échec et de récupération. De nombreuses tâches de raisonnement complexes ne sont pas naturellement linéaires ; un solveur doit souvent poursuivre une branche plausible, découvrir un échec différé, puis revenir à un point de décision précédent pour essayer une alternative. Les paradigmes d'entraînement actuels ne parviennent pas à enseigner aux modèles quand abandonner des branches improductives ou comment se remettre d'une erreur, car le signal d'entraînement inclut rarement les tentatives ratées. Ce document traite de l'écart entre la formulation théorique de l'« Apprenant Diligent » (Diligent Learner) — qui postule que la validation est plus facile que la génération et que le retour en arrière est une capacité comportementale apprenable — et la mise en œuvre pratique de cet entraînement pour les modèles de langage (LLM) contemporains relativement petits.

Méthodologie : Le Cadre Pyligent

Les auteurs introduisent Pyligent, un cadre d'entraînement et d'inférence qui représente le raisonnement comme une recherche validée sur des chaînes de solutions partielles. Le cadre opérationnalise la théorie de l'Apprenant Diligent en convertissant à la fois les continuations réussies et les branches échouées en exemples d'entraînement supervisés.

Composants Clés

1. Solveur (Solver) : Un modèle de langage entraînable qui émet des actions une à une en utilisant un vocabulaire de balises restreint :
   • <node> : Ajoute une étape intermédiaire.
   • <done> : Propose une réponse finale.
   • <backtrack> : Rend le contrôle à un nœud antérieur avec une raison.
2. Explorateur (Explorer) : Sélectionne des préfixes à partir desquels le solveur échantillonne des continuations. Le cadre utilise deux stratégies :
   • Linéaire : Étend un nombre limité de chaînes parallèles pour un coût prévisible.
   • Dendritique : Commence de manière large et concentre le budget sur des continuations plus profondes.
3. Validateur (Validator) : Un vérificateur spécifique à la tâche qui valide les actions proposées par rapport à l'état actuel. Il étiquette les continuations comme valides ou invalides et identifie les états d'échec (ex: impasses, violations de contraintes).
4. ChainTree : Stocke l'arbre de recherche, assignant des cibles de retour en arrière (backtrack) pour les branches échouées et convertissant la structure de l'arbre en exemples d'entraînement de type préfixe-vers-action.

Pipeline d'Entraînement

Le processus d'entraînement se compose de trois étapes :

1. SFT-A (Jeu de données Enseignant) : Le solveur est affiné (fine-tuned) sur des chaînes de solutions optimales pour apprendre le format d'action et acquérir une probabilité non nulle de proposer des étapes suivantes valides.
2. Exploration Guidée par le Validateur : Le solveur explore l'espace des tâches à partir de préfixes sélectionnés. Le validateur enregistre à la fois les continuations valides et les branches échouées.
3. SFT-B (Jeu de données d'Exploration) : Le modèle est affiné sur les données de la ChainTree, qui incluent :
   • Paires de succès : Entraînement à l'extension de branches valides.
   • Paires d'échec : Entraînement à émettre une action <backtrack> lorsque les contraintes sont violées. La cible est un ID de nœud antérieur spécifique avec une raison dérivée du validateur.
   • Récupération tracée (Optionnel) : Pour empêcher le modèle de répéter la même erreur après la troncature, un <trace> synthétique est injecté après un backtrack. Ce trace résume la branche abandonnée et la raison du validateur, enseignant au modèle comment reprendre efficacement.

Le cadre utilise un curriculum inversé, commençant l'exploration près de la fin des chaînes d'or (récupération courte) et se déplaçant vers la racine (récupération longue) pour augmenter progressivement la difficulté.

Contributions Clés

• Implémentation de la Théorie de l'Apprenant Diligent : Le papier fournit un pipeline d'entraînement concret qui traduit les conditions comportementales de l'Apprenant Diligent (génération d'étapes valides + apprentissage du retour en arrière vers le préfixe maximal récupérable) en une configuration d'apprentissage supervisé pour les petits LLM.
• Supervision Explicite des Branches Échouées : Contrairement à la CoT standard, Pyligent s'entraîne explicitement sur les branches échouées, les convertissant en cibles supervisées pour l'action <backtrack>.
• Mécanisme de Récupération par Trace : L'introduction des jetons <trace> permet au modèle de conserver des informations d'échec compactes après un backtrack, facilitant une meilleure continuation après la récupération.
• Évaluation Contrôlée : Les auteurs introduisent une tâche de Graphe Dirigé Caché spécifiquement conçue pour isoler la récupération face à un échec différé, où le modèle ne peut pas résoudre la tâche en copiant des descriptions statiques et doit compter sur la recherche et la récupération.

Résultats Expérimentaux

Le cadre a été évalué sur quatre domaines : Graphes Dirigés Cachés, Sudoku 4×4, Sudoku 4×4 avec Traces de Raisonnement, et Blocksworld.

1. Graphe Dirigé Caché

Cette tâche isole la capacité de récupérer d'un échec différé.

• Performance : Pyligent a atteint un taux de résolution de 76,5 %, une amélioration massive par rapport au SFT Gold-uniquement (3,8 %) et au modèle de base (0,0 %).
• Comportement : Les modèles Pyligent utilisent activement le retour en arrière (moyenne de 2,14 backtracks par exécution) avec 47,7 % des backtracks classés comme « parfaits » (retournant au point de choix immédiat responsable de l'échec). En revanche, le SFT Gold-uniquement effectue rarement des backtracks et répète souvent les erreurs.

2. Sudoku 4×4

• Difficulté Mixte : Pyligent (explorateur linéaire) atteint un taux de résolution de 82 % contre 65 % pour le SFT Gold-uniquement.
• Difficulté Expert : Pyligent atteint 66 % contre 48 % pour le SFT Gold-uniquement.
• Ablations : L'utilisation de traces de raisonnement a considérablement amélioré la performance. Cependant, l'augmentation du nombre d'époques d'entraînement sur les chemins échoués a amélioré la qualité de la syntaxe de backtrack mais n'a pas toujours été corrélée à des taux de résolution finaux plus élevés, suggérant un compromis entre l'apprentissage des mécanismes de récupération et la continuation finale.

3. Sudoku avec Traces de Raisonnement (w/ RT)

Dans cette variante, les modèles génèrent des justifications en langage naturel aux côtés des états de la grille. Bien que les scores globaux soient inférieurs au Sudoku standard, les modèles Pyligent surpassent tout de même le SFT Gold-uniquement (ex: 34 % contre 20 % sur les tâches expertes), démontant l'applicabilité du cadre aux tâches nécessitant un raisonnement en langage naturel.

4. Blocksworld

Un domaine de planification classique où la validité locale ne garantit pas le progrès global.

• Performance : Pyligent a atteint un taux de résolution de 50,35 %, surpassant nettement le SFT Gold-uniquement (29,37 %) et le modèle de base (0,0 %).
• Récupération : Le modèle a appris à effectuer des backtracks efficacement, avec 14,4 % des backtracks classés comme « parfaits ». Le cadre a permis au modèle de résoudre des tâches qui n'étaient résolvables qu'avec le mécanisme de récupération.

Signification et Revendications

Le papier positionne Pyligent comme une étude d'implémentation empirique de l'hypothèse de l'Apprenant Diligent. Les auteurs affirment que :

1. La Récupération est Apprenable : La supervision explicite des branches échouées enseigne aux modèles des comportements de récupération utiles qui ne sont pas présents dans les modèles entraînés uniquement sur des trajectoires de solutions polies.
2. Signal au-delà de la Réponse : La structure des tentatives échouées et le point de retour correct constituent un signal d'apprentissage critique, distinct de la réponse finale ou du chemin réussi.
3. Comportemental vs Niveau de Jeton : Le cadre démontre que les capacités de raisonnement peuvent être améliorées en se concentrant sur les conditions comportementales (recherche et validation) plutôt que sur la simple prédiction de jetons sur des trajectoires réussies.

Les auteurs restent modestes quant aux limites, notant que le cadre repose actuellement sur des validateurs exacts et de petites tâches synthétiques. Ils reconnaissent que le compromis précision-coût de l'exploration et la sensibilité de l'entraînement aux formats de trace et à la pondération des données d'échec nécessitent une étude plus systématique. Ils ne prétendent pas que la méthode résout le raisonnement en langage naturel ouvert sans vérification, mais suggèrent qu'elle offre une voie d'ingénierie concrète pour enseigner le raisonnement sensible à la correction dans des domaines avec des contraintes vérifiables.