🤖 AI

MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop

Le papier introduit MulFeRL, un cadre d'apprentissage par renforcement multi-tours qui améliore le raisonnement en convertissant les retours verbaux riches sur les échantillons échoués en signaux d'apprentissage entraînables, surpassant ainsi les bases de référence existantes de l'apprentissage supervisé et du RLVR dans les tâches en domaine et hors domaine.

Auteurs originaux : Xuancheng Li, Haitao Li, Yujia Zhou, YiqunLiu, Qingyao Ai

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuancheng Li, Haitao Li, Yujia Zhou, YiqunLiu, Qingyao Ai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'« Échec Silencieux » de l'IA

Imaginez que vous enseigniez à un élève comment résoudre des problèmes mathématiques complexes. Vous lui donnez un test, et il se trompe dans sa réponse.

Dans l'entraînement standard de l'IA (appelé RLVR), le professeur dit simplement : « Faux. » C'est tout. Pas d'explication, pas d'indice, juste un score de zéro.

Le Problème : Si l'élève se trompe sur 100 problèmes, il reçoit 100 scores de « Faux ». Il n'a aucune idée de pourquoi il a échoué. A-t-il mal additionné les nombres ? A-t-il mal compris la question ? A-t-il sauté une étape ?
Le Résultat : L'IA reste bloquée. Elle continue de deviner au hasard car le « signal d'apprentissage » (le feedback) est trop rare et peu utile. C'est comme essayer d'apprendre à conduire en se faisant seulement dire « Crash » quand on percute un mur, sans jamais être informé qu'on a oublié de regarder dans le rétroviseur.

La Solution : MulFeRL (Le « Coach avec un Porte-bloc »)

Les chercheurs proposent MulFeRL (Multi-turn Feedback-guided Reinforcement Learning). Au lieu de dire simplement « Faux », ce système agit comme un coach dur mais utile qui donne des conseils verbaux spécifiques.

Voici comment cela fonctionne, étape par étape :

1. Le Piège du « Tout a Échoué »

Habituellement, si une IA essaie de résoudre un problème difficile et échoue, elle s'arrête. La boucle d'apprentissage se brise car il n'y a pas de « bonne » réponse pour comparer la « mauvaise » réponse.

Le Mouvement de MulFeRL : Quand l'IA échoue complètement, le système n'abandonne pas. Il fait une pause et demande à un « Fournisseur de Feedback » (comme un humain intelligent ou une IA plus puissante) d'examiner le désastre.

2. Le « Feedback Verbal » (Les Notes du Coach)

Le Fournisseur de Feedback ne se contente pas de dire « Faux ». Il écrit une note :

« Tu as essayé d'utiliser le théorème de Pythagore, mais tu as oublié de mettre les nombres au carré d'abord. »
« Tu as oublié un signe négatif à l'étape 3. »
C'est le Feedback Verbal. Il transforme un échec vague en une leçon spécifique.

3. La « Régénération » (Le Deuxième Essai)

Maintenant, l'IA a une seconde chance. Elle prend le problème d'origine plus les notes du coach et essaie de résoudre le problème à nouveau.

La Magie : Si l'IA utilise correctement les notes, elle peut enfin trouver la bonne réponse.
Le Crédit : Le système sait alors : « Ah ! Quand nous avons donné à l'IA la note spécifique sur le fait de mettre les nombres au carré, elle a réussi. » Cela transforme l'« échec » en un « succès » dont on peut tirer des leçons.

4. Deux Façons d'Apprendre (La Carte de Notation)

L'article présente deux façons spécifiques de noter ce nouveau processus :

Scénario A : Le « Mélange de Résultats » (GRPO)
Parfois, après avoir reçu les notes, l'IA essaie 8 fois. Certaines tentatives sont encore fausses, mais d'autres sont correctes.
Analogie : C'est comme une équipe de sport où certains joueurs ont fait des erreurs mais d'autres ont très bien joué. Le coach peut dire : « Regardez les joueurs qui ont réussi ; copiez leurs mouvements. » L'IA apprend en comparant ses propres tentatives réussies par rapport à ses propres tentatives ratées.
Scénario B : Le « Retournement Total » (FCO)
Parfois, les notes sont si bonnes que les 8 tentatives deviennent toutes correctes.
Analogie : Toute l'équipe joue soudainement parfaitement. Dans l'entraînement standard, cela est déroutant car il n'y a pas d'exemples « mauvais » pour comparer.
L'Astuce de MulFeRL : Il regarde l'avant et l'après. Il compare l'« Avant » (où tout le monde a échoué) avec l'« Après » (où tout le monde a réussi). Il dit à l'IA : « Souviens-toi de comment tu as échoué avant ? Souviens-toi de comment tu as réussi après les notes ? Fais plus de la version "Après". » C'est ce qu'on appelle l'Optimisation par Contraste de Feedback (FCO).

5. L'« Emplacement Fixe » (Le Post-it)

Pour s'assurer que l'IA lit réellement les notes, MulFeRL ne se contente pas de coller le feedback au bas de la page. Il place le feedback dans une boîte spéciale et fixe (comme une balise <feedback>) directement au milieu du processus de réflexion.

Analogie : C'est comme un étudiant qui aurait un post-it sur sa calculatrice disant « Vérifie tes signes ! » plutôt que de lire un bulletin de notes à la fin de la semaine. Cela force l'IA à regarder les conseils pendant qu'elle travaille.

Pourquoi cela Importe

L'article montre qu'en utilisant cette approche de « Coach avec un Porte-bloc » :

Cela règle le problème de l'« Échec Silencieux » : Il trouve un moyen d'apprendre même lorsque l'IA échoue sur tout au départ.
L'apprentissage est plus rapide : L'IA s'améliore plus rapidement car elle reçoit des instructions spécifiques sur comment corriger ses erreurs, et non juste un score.
Cela fonctionne sur de nouvelles choses : Bien qu'elle ait été entraîée sur des problèmes mathématiques, elle s'est aussi améliorée en sciences et en raisonnement général, prouvant qu'elle a appris une meilleure manière de réfléchir, et non qu'elle a simplement mémorisé des réponses mathématiques.

Résumé

MulFeRL est une méthode qui empêche l'IA de rester bloquée lorsqu'elle échoue. Au lieu d'ignorer les tentatives ratées, elle utilise le feedback verbal pour guider l'IA afin qu'elle essaie à nouveau. Elle récompense ensuite l'IA non seulement pour avoir trouvé la bonne réponse, mais aussi pour s'être améliorée grâce au feedback. Elle transforme le « J'ai échoué » en « Voici comment je l'ai réparé », rendant le processus d'apprentissage beaucoup plus riche et efficace.

Résumé Technique : MulFeRL

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu une approche standard pour améliorer le raisonnement des grands modèles de langage (LLM), particulièrement en mathématiques et en génération de code. Cependant, le RLVR standard repose sur des récompenses scalaires basées uniquement sur le résultat (par exemple, des signaux binaires correct/incorrect). Les auteurs soutiennent que, à mesure que les performances du modèle augmentent, cette approche atteint un goulot d'étranglement dû à la parcité et au caractère peu informatif des récompenses scalaires, notamment pour les échantillons échoués.

Lorsqu'un modèle génère une grande fraction de solutions entièrement incorrectes, le RLVR standard attribue des récompenses proches de zéro ou négatives qui indiquent simplement l'échec sans expliquer pourquoi le raisonnement a échoué ou comment s'améliorer. Cela conduit à :

Une mauvaise attribution de crédit : Les estimations de gradient deviennent bruitées.
Des plateaux d'apprentissage : Le signal d'apprentissage s'effondre pour les groupes de tirages (rollouts) en situation de « tout-échec » où aucun contraste intra-groupe n'existe.
Une inefficacité d'échantillonnage : L'entraînement peine à progresser sur des problèmes difficiles où les récompenses scalaires ne fournissent aucun contraste utilisable.

Alors que les humains utilisent le feedback verbal pour localiser les erreurs et combler les écarts vers les solutions cibles, les méthodes de feedback existantes de type RL allouent souvent le feedback de manière large à travers les échantillons plutôt que de cibler spécifiquement les cas de « tout-échec » où les récompenses de résultat sont les moins informatives.

Méthodologie : MulFeRL

Le papier propose MulFeRL (Multi-turn Feedback-guided Reinforcement Learning), un cadre de RLVR déclenché par événement et à plusieurs tours, conçu pour convertir le feedback verbal en signaux d'apprentissage stables et entraînables pour les échantillons échoués. Le cadre opère à travers deux étapes principales : l'Induction de Progrès et l'Attribution de Crédit de Progrès.

1. Induction de Progrès Déclenchée par Événement

MulFeRL cible les groupes de tirages où les $K$ échantillons échouent tous à la vérification (l'état FAILED). Dans cet état, le RLVR standard ne fournit aucun signal d'apprentissage.

Le Feedback comme Conditionnement : Au lieu d'optimiser directement le feedback, MulFeRL utilise le feedback verbal comme une intervention de conditionnement. Lorsqu'un groupe est dans l'état FAILED, un fournisseur de feedback (par exemple, un simulateur LLM) génère un feedback actionnable identifiant les modes d'échec dominants et suggérant des révisions.
Régénération : Ce feedback est injecté dans le contexte, et le modèle régénère un nouveau groupe de $K$ tirages.
Objectif : L'objectif est d'induire une transition d'un état FAILED vers un état CONTRASTIVE (succès et échecs mixtes) ou un état SOLVED (tous les succès). Cette transition constitue un « progrès certifié par le vérificateur ».

2. Attribution de Crédit de Progrès

Une fois le progrès induit, MulFeRL attribue le crédit selon la nature de la transition en utilisant deux objectifs complémentaires :

Crédit Intra-État (GRPO) : Si le groupe régénéré est CONTRASTIVE (contient des réponses à la fois correctes et incorrectes), MulFeRL applique l'optimisation de groupe relative (GRPO - Group Relative Policy Optimization) standard. Cela exploite l'avantage relatif entre les tirages réussis et échoués au sein du même contexte conditionné par le feedback.
Crédit Inter-État (FCO) : Si le groupe régénéré devient SOLVED (tous corrects), le contraste intra-groupe disparaît (toutes les récompenses sont de 1), rendant le GRPO standard inefficace. Pour récupérer le signal d'apprentissage, MulFeRL introduit l'Optimisation Contrastive de Feedback (FCO - Feedback-Contrastive Optimization). La FCO construit des paires entre le groupe SOLVED actuel et le groupe FAILED immédiatement précédent. Elle optimise la politique pour augmenter le score relatif des trajectoires réussies (conditionnées par le feedback) par rapport aux trajectoires échouées (conditionnées par le prompt original), traitant ainsi la transition comme une tâche d'apprentissage de préférence.

3. Injection de Feedback Structurée

Pour garantir que le modèle utilise efficacement le feedback lors de la régénération, MulFeRL emploie un mécanisme d'injection à slot fixe. Le feedback verbal est inséré dans une balise <feedback> dédiée au sein du template de raisonnement (par exemple, à l'intérieur d'un bloc <thinking>) plutôt que d'être simplement ajouté au prompt. Cette conception :

Traite le feedback comme un signal de conditionnement explicite.
Intègre étroitement le feedback dans le contexte de raisonnement.
Permet un masquage précis des tokens pendant l'entraînement, garantissant que le modèle apprend à raisonner étant donné le feedback sans optimiser les tokens de feedback eux-mêmes.

Principales Contributions

Nouveau Cadre pour les Régimes à Faible Signal : MulFeRL répond à la limitation spécifique du RLVR sur les échantillons « tout-échec » en introduisant une boucle multi-tour qui utilise le feedback verbal pour induire du progrès, convertissant des échecs auparavant non informatifs en opportunités d'apprentissage certifiées par le vérificateur.
Optimisation Contrastive de Feedback (FCO) : Le papier introduit un nouvel objectif pour gérer le progrès « saturé en récompense » (transitions FAILED $\to$ SOLVED). Cela permet au modèle d'apprendre des cas où le feedback résout avec succès tous les échecs, un scénario où les méthodes de contraste intra-groupe standard échouent.
Intégration de Feedback Structurée : Les auteurs démontrent que l'injection de feedback dans un slot de raisonnement fixe, plutôt qu'un simple prompting, améliore considérablement la capacité du modèle à se conditionner sur le feedback et à l'utiliser pour la régénération.
Routage Déclenché par Événement : Le cadre route dynamiquement les signaux d'entraînement en fonction de l'observation de l'état du groupe par le vérificateur (CONTRASTIVE vs SOLVED vs FAILED), garantissant que les mises à jour ne sont appliquées que lorsqu'un signal de discrimination utilisable existe.

Résultats Expérimentaux

Les auteurs ont évalué MulFeRL sur un sous-ensemble échantillonné de OpenR1-Math et ont testé les performances sur cinq benchmarks de raisonnement mathématique (AMC 2023, AIME 2024, OlympiadBench, MATH-500, Minerva-Math) et trois tâches de raisonnement scientifique/général hors domaine (OOD) (MMLU-Pro, GPQA-Diamond, TheoremQA).

Gains de Performance : MulFeRL a systématiquement surpassé les bases solides, y compris le SFT (Supervised Fine-Tuning), l'Auto-Distillation (SDPO) et diverses méthodes de RL (GRPO, Dr.GRPO, Critique-GRPO, RLTF-FM).
- Sur le backbone Qwen2.5-7B-Base, MulFeRL a atteint un Pass@1 moyen de 46,26 %, dépassant nettement la meilleure base RL (Critique-GRPO à 42,83 %).
- Sur le backbone Qwen3-4B-Inst, MulFeRL a atteint un Pass@1 moyen de 68,36 %, surpassant Critique-GRPO (63,65 %) et d'autres bases.
Généralisation : Le modèle a montré une forte généralisation hors domaine, améliorant les performances sur les tâches de raisonnement scientifique et général malgré un entraînement principalement sur des données mathématiques.
Études d'Ablation : La suppression des composants clés a entraîné une dégradation des performances :
- La suppression de la régénération guidée par le feedback a causé la chute la plus importante, confirmant la nécessité d'induire du progrès à partir des échecs.
- La suppression de la FCO a considérablement nui aux performances, validant son rôle dans la capture des transitions FAILED $\to$ SOLVED.
- La suppression de l'injection de feedback structurée a entraîné des déclins constants, soulignant l'importance de la conception à slot fixe.
Robustesse du Simulateur : La méthode est restée efficace même en utilisant des simulateurs de feedback plus faibles (par exemple, le modèle de base ou GPT-4o-mini), bien que des simulateurs plus forts (GPT-4o) aient apporté des gains supplémentaires.

Signification et Revendications

Le papier affirme que MulFeRL fournit une solution robuste au goulot d'étranglement de la « récompense parcimonieuse » dans le RLVR en exploitant la richesse du feedback verbal sans tomber dans les pièges de l'optimisation directe du feedback ou de la simple imitation.

Mécanisme : Les auteurs soulignent que l'amélioration provient non seulement de l'exposition au feedback, mais du mécanisme spécifique d'induction de progrès (transformer les échecs en succès via le feedback) et d'attribution de crédit sensible au feedback (utiliser la FCO pour apprendre de ces transitions).
Efficacité vs Coût : Les auteurs reconnaissent que MulFeRL entraîne des coûts d'entraînement plus élevés en raison de la régénération multi-tour et des frais de vérification. Cependant, ils soutiennent que la méthode est plus efficace en termes d'échantillonnage, atteignant une performance élevée en moins d'étapes d'optimisation car elle extrait des signaux d'apprentissage plus denses des échantillons échoués qui seraient autrement rejetés.
Limites : Le papier note modestement que l'approche dépend de la fiabilité de la vérification des résultats et de l'utilité du feedback. Il souligne également que la conception actuelle se concentre sur le feedback au niveau du tirage (rollout) pour les groupes en échec total, manquant potentiellement des améliorations plus fines pour les solutions partiellement correctes, ce qui suggère que les travaux futurs pourraient étendre cela au feedback par étape.

En conclusion, MulFeRL démontre que transformer le feedback verbal en signaux d'apprentissage déclenchés par le vérificateur permet à l'entraînement par RL de continuer à progresser sur les échantillons échoués difficiles, menant à des capacités de raisonnement supérieures tant sur les tâches in-domain que hors domaine.