🤖 machine learning

STRIDE: Learnable Stepwise Language Feedback for LLM Reasoning

STRIDE est un nouveau cadre d'entraînement qui améliore le raisonnement des grands modèles de langage en entraînant conjointement un générateur et un vérificateur génératif en utilisant uniquement des récompenses basées sur le résultat pour remplacer les scores scalaires par un feedback linguistique apprenable et étape par étape qui localise explicitement les échecs et redirige les trajectoires de raisonnement.

Auteurs originaux : Junjie Zhang, Guozheng Ma, Shunyu Liu, Zetian Hu, Yongcheng Jing, Ting-En Lin, Yongbin Li, Dacheng Tao

Publié 2026-05-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junjie Zhang, Guozheng Ma, Shunyu Liu, Zetian Hu, Yongcheng Jing, Ting-En Lin, Yongbin Li, Dacheng Tao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un étudiant brillant mais légèrement confus comment résoudre un labyrinthe complexe. Autrefois, la façon dont nous formions ces « étudiants » IA (les grands modèles de langage) consistait à leur soumettre un test et à ne leur indiquer que le score final : « Vous avez échoué. »

C'est le problème que l'article STRIDE tente de résoudre. Voici une explication simple de son fonctionnement, utilisant des analogies du quotidien.

Le Problème : La « Note Silencieuse »

Actuellement, la plupart des formations d'IA utilisent une méthode appelée Apprentissage par Renforcement. Imaginez un jeu vidéo où l'IA joue un niveau, et tout à la fin, elle reçoit un message « Game Over » ou « Vous avez gagné ».

Le Problème : Si l'IA commet une erreur à l'étape 3 d'un problème mathématique en 10 étapes, l'enseignant (l'ordinateur) ne dit pas : « Hé, vous avez mal additionné les nombres à l'étape 3. » Il dit simplement : « Mauvaise réponse. »
Le Résultat : L'IA doit deviner où elle s'est trompée. C'est comme essayer de réparer un moteur cassé en sachant seulement que la voiture ne démarre pas, sans qu'un mécanicien vous indique quelle pièce est desserrée. C'est ce qu'on appelle un goulot d'étranglement informationnel : l'enseignant fournit trop peu d'informations pour corriger l'erreur spécifique.

Certaines méthodes précédentes tentaient de donner des scores étape par étape (comme « Étape 1 : Bien, Étape 2 : Mauvais »), mais ces scores ne sont que des nombres (0 ou 1). Ils n'expliquent toujours pas pourquoi l'étape était mauvaise.

La Solution : STRIDE (Le Coach « Parleur »)

Les auteurs proposent STRIDE, qui signifie Redirection Trajectoire Intrinsèque De Etape avec Évaluation Deep In-context (en anglais : Stepwise Trajectory Redirection with In-context Deep Evaluation).

Au lieu d'une note silencieuse, STRIDE introduit un Vérificateur Génératif. Imaginez cela comme un assistant de coaching qui s'assoit à côté de l'étudiant et discute du problème en temps réel.

Voici comment STRIDE fonctionne en trois phases, comme un camp d'entraînement :

Phase 1 : L'Échauffement (Politique de Base)

L'étudiant IA tente de résoudre les problèmes seul. Il reçoit un simple score « Vrai/Faux » tout à la fin. Cela construit une base fondamentale, tout comme apprendre les règles du jeu.

Phase 2 : Former le Coach (Le Vérificateur)

Maintenant, le système entraîne une deuxième IA (le Vérificateur) pour qu'elle agisse comme un coach.

La Magie : Le coach n'est pas enseigné par un humain lui donnant une liste de réponses justes/erronées pour chaque étape (ce qui serait trop coûteux et lent). Au lieu de cela, le coach apprend en observant l'étudiant résoudre des problèmes et en vérifiant si la réponse finale était correcte.
La Compétence : Avec le temps, le coach apprend à examiner le travail brouillon de l'étudiant et à dire : « Attends, à l'étape 3, tu as oublié de retenir la retenue », ou « Tu as sauté une étape logique ici ». Il apprend à transformer un simple score « Faux » en une critique écrite détaillée.

Phase 3 : Le « Recommencer » avec Guidance (Redirection de Trajectoire)

C'est l'innovation centrale. Lorsque l'étudiant échoue à un problème :

Trouver la Première Erreur : Le Coach (Vérificateur) examine le travail de l'étudiant et trouve le Premier Point de Défaillance (FPF). Il identifie exactement où la logique s'est brisée.
La « Redirection » : Au lieu de faire recommencer l'étudiant tout le problème depuis le début (ce qui est gaspilleur), le système dit : « D'accord, tu te débrouillais bien jusqu'à l'étape 2. Arrêtons-nous là. Voici ma note écrite expliquant pourquoi l'étape 3 a échoué. Maintenant, essaie de résoudre le reste du problème à nouveau, en commençant par l'étape 2, en utilisant mes conseils. »
Stratégie Multi-Points : Parfois, l'erreur à l'étape 3 était en réalité causée par un « mauvais choix » fait à l'étape 1 qui semblait correct à l'époque. STRIDE est assez intelligent pour dire : « Essayons de recommencer depuis l'étape 1 et l'étape 2 », offrant à l'étudiant plusieurs chances de trouver un meilleur chemin.

Pourquoi C'est Important

L'article affirme que cette approche résout deux problèmes majeurs :

Briser le « Silence » : En utilisant un feedback linguistique (des mots) au lieu de simples récompenses scalaires (des nombres), l'IA reçoit une explication beaucoup plus riche. C'est la différence entre un enseignant qui dit « Échec » et un enseignant qui dit « Vous avez oublié de distribuer le signe négatif ».
Résoudre l'« Irrésoluble » : Les auteurs ont constaté que pour des problèmes très difficiles où l'IA obtient habituellement 0 % de réussite, les méthodes standard abandonnent car elles ne reçoivent aucun signal utile. STRIDE, en revanche, peut encore apprendre. Même si l'IA échoue, le Coach peut pointer l'erreur, et l'IA peut essayer un chemin différent à partir de ce point précis, finissant par percer le code.

Résumé de l'Analogie

Ancienne Méthode : Vous passez un examen. Vous obtenez un « 0/100 ». Vous ne savez pas quoi réviser.
Méthode « Étape » Précédente : Vous obtenez un examen avec « Étape 1 : 10/10, Étape 2 : 0/10 ». Vous savez où vous avez échoué, mais pas pourquoi.
STRIDE : Vous passez un examen. Vous obtenez un « 0/100 », mais votre professeur vous remet également une note écrite qui dit : « Vous êtes bloqué à l'étape 2 parce que vous avez utilisé la mauvaise formule. Revenons à l'étape 1, lisons cette note, et essayons une approche différente. »

Les Résultats

L'article a testé cela sur des énigmes mathématiques et logiques difficiles.

STRIDE a battu toutes les autres méthodes actuelles (y compris l'état de l'art précédent).
Il a fonctionné sur des problèmes mathématiques, des défis de programmation et des énigmes logiques.
Plus important encore, il a réussi à résoudre des problèmes précédemment considérés comme « impossibles » pour ces modèles, transformant un taux de réussite de 0 % en une opportunité d'apprentissage.

En bref, STRIDE apprend à l'IA à apprendre de ses erreurs en se parlant à elle-même, plutôt qu'en devinant aveuglément.

Résumé Technique : STRIDE - Retour d'Information Linguistique Étape par Étape Apprenable pour le Raisonnement des LLM

1. Énoncé du Problème

Les récents progrès dans le raisonnement des Grands Modèles de Langage (LLM) ont été motivés par l'Apprentissage par Renforcement à partir de Récompenses Vérifiables (RLVR). Cependant, les approches existantes se heurtent à deux limitations critiques :

Goulot d'étranglement informationnel des récompenses scalaires : Les Modèles de Récompense de Processus (PRM) tentent de fournir une supervision au niveau des étapes mais reposent sur des scores scalaires. La compression de chemins de raisonnement de haute dimension en des valeurs numériques uniques crée un goulot d'étranglement informationnel où des modes d'erreur sémantiquement distincts (par exemple, erreurs arithmétiques vs sauts logiques) se réduisent à des scores identiques, offrant une bande passante sémantique insuffisante pour guider les corrections.
Limites du retour d'information linguistique existant : Bien que les méthodes basées sur la critique offrent un retour d'information textuel plus riche, elles reposent souvent sur des critiques figés ou externes, limitant l'évolutivité et l'adaptabilité. De plus, les récents cadres de co-entraînement (par exemple, TANGO) utilisant des vérificateurs génératifs convertissent souvent la sortie linguistique en récompenses scalaires, réintroduisant ainsi le même goulot d'étranglement informationnel.
Attribution du crédit : Le RL basé sur les résultats ne fournit aucune information sur les étapes individuelles de raisonnement, laissant le problème de l'« attribution du crédit » (identifier quelles étapes spécifiques ont conduit au succès ou à l'échec) largement non résolu dans le raisonnement multi-étapes.

2. Méthodologie : Le Cadre STRIDE

STRIDE (Retour d'Information Linguistique Étape par Étape Apprenable) propose un changement de paradigme passant de la supervision de processus scalaire à un retour d'information linguistique étape par étape apprenable. Il emploie un calendrier d'entraînement en trois phases entrelacées impliquant un Générateur ( $G_\theta$ ) et un Vérificateur Génératif ( $V_\phi$ ), entraînés conjointement en utilisant uniquement des récompenses basées sur les résultats (sans annotations au niveau des étapes).

Composants Principaux

Co-entraînement Générateur-Vérificateur : Les deux modèles sont optimisés via l'Optimisation de Politique Relative par Groupes (GRPO) en utilisant uniquement la justesse du résultat final ( $c^*$ ). Le vérificateur apprend à décomposer la récompense terminale en critiques linguistiques étape par étape ( $v_t$ ) sans étiquettes explicites au niveau des étapes.
Phase I : Optimisation de la Politique de Base : Le générateur est entraîné sur des récompenses de résultats pour construire des capacités de raisonnement fondamentales. Cette phase occupe la majeure partie du calendrier d'entraînement (9/13).
Phase II : Optimisation du Vérificateur Génératif : Le vérificateur est entraîné pour générer des critiques linguistiques haute fidélité ( $v = (v_1, ..., v_T)$ ) pour chaque étape de raisonnement. Il apprend à localiser les erreurs et à les expliquer linguistiquement, agissant efficacement comme un « Navigateur Contextuel ».
Phase III : Redirection Guidée de la Trajectoire : Il s'agit de l'innovation centrale. Lorsque le générateur échoue, le vérificateur identifie le Premier Point d'Échec (FPF), noté $t^*$ $t^{*}$ . Au lieu de redémarrer à zéro, STRIDE emploie une Stratégie de Redirection Multi-Points :
- Ancres : Elle construit des échantillons de redirection à partir de toutes les étapes de préfixe $t \in [1, t^*]$ , et non seulement du FPF.
- Instructions :
  - Prompt de Rectification ( $t=t^*$ ) : Le générateur est instruit de corriger le sophisme logique spécifique identifié par le vérificateur.
  - Prompt d'Exploration ( $t<t^*$ ) : Le générateur est instruit de poursuivre le raisonnement à partir d'un préfixe vérifié, encourageant la découverte de chemins alternatifs et plus robustes (adressant la « dérive latente » où des choix sous-optimaux précoces entraînent des échecs ultérieurs).
- Stabilité de l'Entraînement : Crucialement, la fonction d'avantage dans la Phase III est calculée strictement sur la base de la justesse du résultat final de la trajectoire redirigée. Cela garantit que même si le retour d'information linguistique du vérificateur est bruité ou halluciné, la mise à jour de la politique reste ancrée dans le résultat vérifiable, empêchant un bruit de gradient nuisible.

3. Contributions Clés

Changement de Paradigme vers un Retour d'Information Haute Bande Passante : L'article propose de passer de la supervision de processus par des récompenses scalaires unidimensionnelles à un retour d'information linguistique en contexte apprenable. Cela débloque des signaux d'entraînement plus riches capables de distinguer des modes d'erreur qualitativement différents.
Le Cadre STRIDE : Un calendrier de co-entraînement en trois phases entrelacées intégrant une stratégie de Redirection Multi-Points. Il utilise des ancres sémantiques vérifiées pour contraindre efficacement l'espace d'exploration du raisonnement, permettant au modèle d'apprendre à partir de problèmes précédemment insolubles.
Robustesse au Bruit du Vérificateur : En ancrant strictement les signaux d'apprentissage à la justesse du résultat, STRIDE assure une « amélioration de politique inoffensive ». Même avec une localisation imparfaite du vérificateur, le cadre garantit une amélioration non négative, car seules les redirections réussies contribuent aux mises à jour de la politique.

4. Résultats Expérimentaux

Des expériences ont été menées sur divers benchmarks incluant le raisonnement mathématique (MATH-500, AIME 2024/2025, AMC 2023, OlympiadBench) et le raisonnement hors domaine (BoardgameQA, CRUXEval, StrategyQA, TableBench).

Performance : STRIDE surpasse nettement les bases de l'état de l'art, y compris le RL basé sur les résultats (GRPO) et le cadre de co-entraînement à récompense scalaire TANGO.
- Sur Qwen2.5-7B, STRIDE a obtenu 84,6 sur MATH-500 contre 81,4 pour TANGO et 74,6 pour GRPO.
- Sur Llama-3.1-8B, STRIDE a obtenu 70,4 sur MATH-500, surpassant TANGO (69,2) et GRPO (66,8).
- Les gains étaient constants à travers les tâches de raisonnement logique, de code, de bon sens et tabulaire, indiquant une généralisation au-delà des mathématiques.
Problèmes à Taux de Passage Zéro : Dans les études d'ablation, STRIDE a atteint un Taux de Succès de Correction (CSR) de 6,8 % sur des problèmes où toutes les bases à récompense scalaire produisaient un signal de gradient nul (c'est-à-dire des problèmes que le modèle ne pouvait pas résoudre initialement). Cela démontre la capacité du cadre à convertir des instances insolubles en signaux d'apprentissage productifs.
Dynamiques d'Entraînement :
- Qualité du Vérificateur : La précision de localisation au niveau des étapes et l'utilité des critiques du vérificateur se sont améliorées régulièrement pendant l'entraînement, confirmant que la supervision au niveau des résultats suffit à développer des capacités fiables au niveau des processus.
- Exploration : STRIDE a maintenu une entropie de politique constamment plus élevée que les bases à récompense scalaire, empêchant une convergence prématurée et un effondrement représentationnel.
- Profondeur de Raisonnement : Les phases de redirection ont favorisé l'émergence de chaînes de raisonnement plus profondes et structurellement plus complexes que l'échantillonnage indépendant ne pouvait produire.

5. Signification et Revendications

L'article revendique que STRIDE adresse l'effondrement représentationnel fondamental inhérent aux systèmes de récompense scalaire. En utilisant un retour d'information linguistique étape par étape apprenable, le cadre fournit la direction sémantique nécessaire pour localiser et rectifier des erreurs de raisonnement spécifiques.

Les auteurs soulignent que l'efficacité de STRIDE découle du changement de paradigme dans la supervision plutôt que d'une augmentation du budget de calcul. Les bases appariées en termes de calcul (augmentation des étapes d'entraînement ou de la taille des lots) ont montré des gains négligeables par rapport au bond de performance de STRIDE. De plus, le cadre démontre qu'un guidage linguistique haute bande passante peut produire des bénéfices même à partir de vérificateurs imparfaits, atténuant les préoccupations concernant la fiabilité des critiques appris. Le travail suggère que le passage d'une supervision de processus scalaire à une supervision basée sur le langage est une voie viable pour surmonter les plateaux de raisonnement dans les LLM, permettant une auto-correction guidée plutôt qu'un échantillonnage exhaustif.