Supervised Reinforcement Learning: From Expert Trajectories to Step-wise Reasoning

Ce papier propose le Supervised Reinforcement Learning (SRL), un cadre novateur qui combine l'apprentissage supervisé et le renforcement pour permettre aux petits modèles de langage de maîtriser le raisonnement complexe et les tâches d'ingénierie logicielle en générant des monologues de réflexion guidés par des actions d'experts, surpassant ainsi les limites des méthodes SFT et RLVR traditionnelles.

L'essentiel

🧠 Le Dilemme des Petits Cerveaux Numériques

Imaginez que vous essayez d'enseigner les mathématiques à un élève brillant mais encore jeune (un modèle d'intelligence artificielle de taille moyenne, comme un "7B"). Vous lui donnez un problème très difficile, par exemple un casse-tête de niveau olympique.

Actuellement, il existe deux méthodes principales pour l'aider, mais elles ont toutes deux des défauts majeurs :

1. La méthode "Copie Conforme" (SFT) : Vous lui montrez la solution étape par étape et vous lui dites : "Recopie-moi exactement ça".

   • Le problème : L'élève devient un robot. Il mémorise les mots, mais ne comprend pas la logique. Si le problème change un tout petit peu, il est perdu. C'est comme apprendre à conduire en mémorisant une vidéo d'une seule route spécifique, sans jamais comprendre comment tourner le volant.

2. La méthode "Essais et Erreurs" (RL) : Vous laissez l'élève essayer de résoudre le problème tout seul. S'il trouve la bonne réponse finale, vous le félicitez. S'il se trompe, vous le punissez.

   • Le problème : Pour les problèmes très difficiles, l'élève n'arrive jamais à trouver la bonne réponse, même après 1000 essais. Il ne reçoit donc jamais de félicitations. Il se décourage, ne sait pas où il a fait l'erreur (est-ce au début ? à la fin ?) et n'apprend rien. C'est comme essayer d'ouvrir un coffre-fort en tirant au hasard sur des combinaisons : si vous n'avez jamais la bonne combinaison, vous ne saurez jamais comment la trouver.

🚀 La Solution : L'Apprentissage Supervisé par Renforcement (SRL)

Les auteurs de cet article proposent une troisième voie, qu'ils appellent SRL. C'est un mélange intelligent des deux méthodes précédentes.

Imaginez que l'élève ne regarde plus la solution finale, mais qu'il joue à un jeu de "Jeux de Rôle Guidés".

1. Découper le problème en petits pas (Les "Actions")

Au lieu de regarder la solution complète d'un coup, on découpe l'expertise d'un grand professeur (l'expert) en petites étapes logiques.

• L'analogie : Imaginez que vous apprenez à cuisiner un plat complexe. Au lieu de regarder quelqu'un faire tout le repas d'un coup, vous regardez une vidéo où le chef dit : "Étape 1 : Coupez les oignons. Étape 2 : Faites chauffer l'huile."

2. Le "Monologue Intérieur" (La pensée avant l'action)

C'est la partie la plus géniale du SRL. Avant que l'élève n'effectue l'étape (l'action), il doit penser à voix haute dans sa tête (un "monologue").

• Ce qui se passe : L'élève dit : "Hmm, je dois couper les oignons. Je me souviens que le chef a dit de les couper finement pour qu'ils cuisent vite. Donc, je vais prendre ce couteau..."
• Ensuite, il effectue l'action : il coupe les oignons.

3. La Récompense Intelligente (Le "Miroir")

C'est ici que la magie opère. Le professeur ne regarde pas seulement si l'élève a coupé les oignons. Il compare l'action de l'élève avec l'action du professeur.

• Si l'élève a coupé les oignons (même s'il a pensé différemment dans sa tête), il reçoit une récompense partielle.
• Si l'élève a raté l'étape, il reçoit une petite correction immédiate.

Pourquoi c'est mieux ?
Même si l'élève ne résout jamais le problème entier, il reçoit des récompenses à chaque petit pas réussi. Il apprend à agir comme un expert, étape par étape, tout en développant sa propre façon de penser.

🌟 Les Résultats Concrets

Les chercheurs ont testé cette méthode sur des modèles d'intelligence artificielle (des "petits cerveaux") avec des problèmes de mathématiques très durs et même sur de la programmation informatique.

• Résultat : Les modèles formés avec cette méthode (SRL) sont devenus beaucoup plus intelligents que ceux formés par simple copie ou par essais-erreurs.
• Le combo gagnant : La meilleure stratégie a été d'abord d'entraîner le modèle avec cette méthode "pas à pas" (SRL), puis de lui faire faire quelques essais-erreurs (RL) pour peaufiner. C'est comme apprendre à nager d'abord avec un moniteur qui vous guide chaque mouvement, puis en lâchant la bouée pour nager seul.

🎯 En Résumé

Imaginez que vous apprenez à un enfant à jouer aux échecs :

• L'ancienne méthode (SFT) : Vous lui montrez une partie gagnante et vous lui dites "Répète-moi ces coups". Il devient un perroquet.
• L'ancienne méthode (RL) : Vous le laissez jouer contre un ordinateur très fort. Il perd 1000 fois de suite et ne comprend jamais pourquoi.
• La nouvelle méthode (SRL) : Vous jouez avec lui. À chaque tour, il doit vous expliquer sa stratégie à voix haute ("Je vais avancer ce pion pour protéger mon roi"). Vous vérifiez si son mouvement est logique par rapport à un grand maître. Vous le félicitez pour chaque bon mouvement, même s'il perd la partie au final.

Grâce à cette approche, même les petits modèles d'intelligence artificielle peuvent apprendre à résoudre des problèmes complexes qui semblaient auparavant impossibles. C'est une façon de transformer l'apprentissage par cœur en véritable compréhension logique.

Résumé technique

`.
2. Une action concrète (la prochaine étape logique de la solution).

• Récompense par Similarité de Séquence : Contrairement au RLVR qui ne récompense que la réponse finale, SRL fournit une récompense dense et par étape. La récompense est calculée en comparant l'action générée par le modèle avec l'action de l'expert correspondante.
  • La métrique utilisée est basée sur la similarité de séquence (implémentée via difflib.SequenceMatcher en Python), calculant un ratio de correspondance entre les éléments des deux séquences.
  • Une récompense négative est appliquée si le format de sortie n'est pas respecté.
• Échantillonnage Dynamique : Pour éviter les mises à jour inutiles, l'algorithme filtre les échantillons où la variance des récompenses au sein d'un lot de rollouts est trop faible (indiquant un signal d'apprentissage nul).

Flux d'Entraînement

1. Construction de données : À partir d'une solution experte à $N$ étapes, on crée $N-1$ instances d'entraînement où le contexte inclut le problème et les étapes précédentes, et la cible est l'étape suivante.
2. Optimisation : Le modèle est optimisé via l'algorithme GRPO (Group Relative Policy Optimization) en utilisant la récompense de similarité d'action comme signal de guidage.
3. Pipeline Hybride : Les auteurs montrent que l'initialisation par SRL, suivie d'un affinage par RLVR, produit les meilleurs résultats.

3. Contributions Principales

1. Cadre SRL : Introduction d'une nouvelle méthode permettant l'apprentissage sur des tâches de raisonnement difficiles là où le SFT et le RLVR échouent, grâce à des récompenses denses basées sur la similarité des actions d'experts.
2. Guidage Granulaire : Démonstration qu'un guidage étape par étape (plutôt qu'une récompense globale) induit des comportements de raisonnement flexibles et sophistiqués (planification, vérification itérative) sans simplement allonger la longueur de la sortie.
3. Généralisation : Validation de l'efficacité de la méthode non seulement en mathématiques, mais aussi dans des tâches d'ingénierie logicielle agentic (résolution de bugs de code).

4. Résultats Expérimentaux

Raisonnement Mathématique (Benchmarks : AMC23, AIME24, AIME25, Minerva)

• Modèle de base : Qwen2.5-7B-Instruct entraîné sur le jeu de données difficile s1K.
• Comparaison :
  • Le SFT direct entraîne une dégradation des performances par rapport au modèle de base.
  • Le RLVR apporte une amélioration marginale.
  • SRL surpasse significativement les deux, avec une amélioration moyenne de +3,0%.
  • Le pipeline SRL $\rightarrow$ RLVR atteint les performances les plus élevées, surpassant même les modèles distillés officiels (S1K-7B) et des méthodes avancées comme R3.
• Analyse : La décomposition multi-étapes est cruciale. Une récompense de similarité sur l'ensemble de la solution (étape unique) est moins efficace que la récompense par étape.

Ingénierie Logicielle (Benchmarks : SWE-Bench-Verified)

• Tâche : Entraînement d'agents (Qwen2.5-Coder-7B) pour corriger des bugs dans de grandes bases de code.
• Résultats :
  • SRL dépasse largement le modèle de base et le modèle SFT (SWE-Gym-7B).
  • En configuration "Oracle" (fichiers cibles fournis), SRL atteint un taux de résolution de 14,8% (contre 8,4% pour SWE-Gym-7B), soit une amélioration relative de 74%.
  • En configuration "End-to-End", SRL double la performance du modèle SFT.

5. Signification et Impact

L'article établit que SRL comble le fossé entre l'apprentissage par imitation (SFT) et l'apprentissage par renforcement (RL).

• Robustesse : Il permet aux petits modèles d'apprendre des problèmes complexes en fournissant un signal d'apprentissage dense même lorsque la solution finale est incorrecte.
• Flexibilité : En séparant le monologue interne (libre) de l'action (guidée), le modèle apprend à raisonner de manière autonome tout en suivant une stratégie experte.
• Versatilité : La méthode s'applique aussi bien aux mathématiques qu'au développement logiciel, suggérant qu'elle peut être généralisée à d'autres domaines nécessitant un raisonnement séquentiel complexe.

En conclusion, SRL représente une avancée majeure pour l'entraînement de modèles de raisonnement, offrant une voie viable pour exploiter des données d'experts complexes sans les limitations de l'imitation pure ou de la rareté des récompenses du RL traditionnel.