🤖 AI

MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop

Het artikel introduceert MulFeRL, een multi-turn reinforcement learning-framework dat redeneren verbetert door rijke verbale feedback op mislukte monsters om te zetten in trainbare leersignalen, waardoor het bestaande supervised en RLVR-baselines overtreft in zowel in-domain als out-of-domain taken.

Oorspronkelijke auteurs: Xuancheng Li, Haitao Li, Yujia Zhou, YiqunLiu, Qingyao Ai

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xuancheng Li, Haitao Li, Yujia Zhou, YiqunLiu, Qingyao Ai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Stille Mislukking" van AI

Stel je voor dat je een student leert om complexe wiskundeproblemen op te lossen. Je geeft ze een toets, en ze geven een fout antwoord.

Bij standaard AI-training (genaamd RLVR) zegt de leraar alleen maar: "Fout." Dat is het. Geen uitleg, geen hint, alleen een score van nul.

Het Probleem: Als de student 100 problemen fout heeft, krijgt hij 100 keer de score "Fout". Hij heeft geen idee waarom hij is gefaald. Heeft hij de getallen verkeerd opgeteld? Heeft hij de vraag verkeerd begrepen? Heeft hij een stap overgeslagen?
Het Resultaat: De AI loopt vast. Hij blijft willekeurig gokken omdat het "leersignaal" (de feedback) te schaars en onbehulpzaam is. Het is alsof je probeert te leren autorijden door alleen te horen "Crash" wanneer je tegen een muur rijdt, zonder ooit te horen dat je bent vergeten in je achteruitkijkspiegel te kijken.

De Oplossing: MulFeRL (De "Coach met een Klembord")

Onderzoekers stellen MulFeRL voor (Multi-turn Feedback-guided Reinforcement Learning). In plaats van alleen maar "Fout" te zeggen, werkt dit systeem als een strenge maar behulpzame coach die specifieke, verbale adviezen geeft.

Zo werkt het, stap voor stap:

1. De "Alles-Gefaald" Valstrik

Normaal gesproken, als een AI probeert een moeilijk probleem op te lossen en faalt, stopt het proces. De trainingslus wordt doorbroken omdat er geen "goed" antwoord is om het "slechte" antwoord mee te vergelijken.

MulFeRL's Zet: Wanneer de AI volledig faalt, geeft het systeem niet op. Het pauzeert en vraagt een "Feedback Provider" (zoals een slim mens of een sterkere AI) om naar de puinhoop te kijken.

2. De "Verbale Feedback" (De Notities van de Coach)

De Feedback Provider zegt niet alleen "Fout". Het schrijft een notitie:

"Je probeerde de stelling van Pythagoras te gebruiken, maar je bent vergeten de getallen eerst te kwadrateren."
"Je bent een minteken vergeten in stap 3."
Dit is de Verbale Feedback. Het verandigt een vage mislukking in een specifieke les.

3. De "Regeneratie" (De Doen-het-opnieuw)

Nu krijgt de AI een tweede kans. De AI neemt het oorspronkelijke probleem plus de notities van de coach en probeert het opnieuw op te lossen.

De Magie: Als de AI de notities correct gebruikt, kan het eindelijk het juiste antwoord vinden.
De Credit: Het systeem weet nu: "Ah! Toen we de AI de specifieke opmerking over het kwadrateren van getallen gaven, slaagde hij." Dit verandert de "mislukking" in een "succes" waarvan geleerd kan worden.

4. Twee Manieren om te Leren (Het Scorebord)

Het paper introduceert twee specifieke manieren om dit nieuwe proces te beoordelen:

Scenario A: De "Gemengde Zak" (GRPO)
Soms, nadat de AI de notities heeft gekregen, probeert hij het 8 keer. Sommige pogingen zijn nog steeds fout, maar andere zijn goed.
Analogie: Het is als een sportteam waarbij sommige spelers fouten maakten maar anderen geweldig speelden. De coach kan zeggen: "Kijk naar de spelers die succes hadden; kopieer hun bewegingen." De AI leert door zijn eigen goede pogingen te vergelijken met zijn eigen slechte pogingen.
Scenario B: De "Totale Ommekeer" (FCO)
Soms zijn de notities zo goed dat alle 8 pogingen correct zijn.
Analogie: Het hele team speelt plotseling perfect. In standaard training is dit verwarrend omdat er geen "slechte" voorbeelden zijn om mee te vergelijken.
MulFeRL's Truc: Het kijkt naar het voor en na. Het vergelijkt het "Voor" (waar iedereen faalde) met het "Na" (waar iedereen slaagde). Het vertelt de AI: "Herinner je hoe je hiervoor faalde? Herinner je hoe je succesvol was na de notities? Doe meer van de 'Na'-versie." Dit wordt Feedback-Contrastive Optimization (FCO) genoemd.

5. De "Vaste Slot" (Het Plaknotitie)

Om ervoor te zorgen dat de AI de notities ook echt leest, plakt MulFeRL de feedback niet zomaar onderaan de pagina. Het plaatst de feedback in een vast, speciaal vak (zoals een <feedback> tag) midden in het denkproces.

Analogie: Het is alsoals een student een plaknotitie op zijn rekenmachine heeft met de tekst "Check je tekens!" in plaats van alleen een rapportcijfer aan het einde van de week te lezen. Het dwingt de AI om het advies te bekijken terwijl hij aan het werk is.

Waarom Dit Belangrijk Is

Het paper laat zien dat door deze "Coach met een Klembord"-aanpak te gebruiken:

Het lost het "Stille Mislukking"-probleem op: Het vindt een manier om te leren, zelfs wanneer de AI in eerste instantie alles fout heeft.
Het leert sneller: De AI verbetert sneller omdat hij specifieze instructies krijgt over hoe hij zijn fouten moet herstellen, niet alleen een score.
Het werkt op nieuwe zaken: Hoewel het getraind was op wiskundeproblemen, werd het ook beter in wetenschap en algemene redeneertaken, wat bewijst dat het een betere manier van denken heeft geleerd, en niet alleen wiskundige antwoorden heeft uit het hoofd geleerd.

Samenvatting

MulFeRL is een methode die voorkomt dat AI vastloopt wanneer het faalt. In plaats van mislukte pogingen te negeren, gebruikt het verbale feedback om de AI aan te sturen om het opnieuw te proberen. Het beloont de AI vervolgens niet alleen voor het goed krijgen van het antwoord, maar ook voor het verbeteren op basis van de feedback. Het verandert "Ik ben mislukt" in "Hier is hoe ik het heb opgelost", waardoor het leerproces veel rijker en effectiever wordt.

Technische Samenvatting: MulFeRL

Probleemstelling

Reinforcement Learning met Verifieerbare Beloningen (RLVR) is een standaardmethode geworden voor het verbeteren van redeneren in Large Language Models (LLMs), met name in wiskunde en codegeneratie. De auteurs stellen echter dat de standaard RLVR een knelpunt ervaart naarmate de prestaties van het model toenemen, door de schaarste en de oninformatieve aard van scalaire beloningen, vooral voor mislukte samples.

Wanneer een model een groot deel van de volledig onjuiste oplossingen genereert, wijst standaard RLVR bijna nul of negatieve beloningen toe die enkel falen aangeven zonder uit te leggen waarom het redeneren is vastgelopen of hoe er verbetering kan worden geboekt. Dit leidt tot:

Slechte credit assignment: Gradiënt-schattingen worden ruisachtig.
Trainingsplateaus: Het leerproces stagneert bij "alle-mislukte" rollout-groepen waar geen contrast binnen de groep bestaat.
Sample-inefficiëntie: Training heeft moeite met progressie op moeilijke problemen waar scalaire beloningen geen bruikbaar contrast bieden.

Hoewel mensen verbale feedback gebruiken om fouten te lokaliseren en de kloof naar doeloplossingen te dichten, wijzen bestaande RL-stijl feedbackmethoden feedback vaak breed toe over samples, in plaats van zich te richten op de specifieke "alle-mislukte" gevallen waar uitkomstbeloningen het minst informatief zijn.

Methodologie: MulFeRL

Het paper stelt MulFeRL voor (Multi-turn Feedback-guided Reinforcement Learning), een event-gestuurd, multi-turn RLVR-framework ontworpen om verbale feedback om te zetten in stabiele, trainbare leersignalen voor mislukte samples. Het framework werkt via twee primaire stadia: Progress Induction en Progress Credit Assignment.

1. Event-Triggered Progress Induction

MulFeRL richt zich op rollout-groepen waar alle $K$ samples de verificatie niet doorstaan (de FAILED staat). In deze staat biedt standaard RLVR geen leersignaal.

Feedback als Conditionering: In plaats van feedback direct te optimaliseren, gebruikt MulFeRL verbale feedback als een conditionerende interventie. Wanneer een groep zich in de FAILED-staat bevindt, genereert een feedback-provider (bijv. een LLM-simulator) actiegerichte feedback die dominante foutmodi identificeert en revisies suggereert.
Regeneratie: Deze feedback wordt in de context geïnjecteerd, en het model regenereert een nieuwe groep van $K$ rollouts.
Doel: Het doel is om een transitie te induceren van een FAILED staat naar ofwel een CONTRASTIVE staat (gemengde succes/falen) of een SOLVED staat (allemaal succesvol). Deze transitie vormt "verifier-gecertificeerde progressie".

2. Progress Credit Assignment

Zodra progressie is geïnduceerd, wijst MulFeRL krediet toe op basis van de aard van de transitie met behulp van twee complementaire doelstellingen:

Within-State Credit (GRPO): Als de geregenereerde groep CONTRASTIVE is (bevat zowel correcte als incorrecte antwoorden), past MulFeRL standaard Group Relative Policy Optimization (GRPO) toe. Dit maakt gebruik van het relatieve voordeel tussen succesvolle en mislukte rollouts binnen dezelfde feedback-geconditioneerde context.
Cross-State Credit (FCO): Als de geregenereerde groep SOLVED wordt (allemaal correct), verdwijnt het contrast binnen de groep (alle beloningen zijn 1), waardoor standaard GRPO ineffectief wordt. Om het leersignaal te herstellen, introduceert MulFeRL Feedback-Contrastive Optimization (FCO). FCO construeert paren tussen de huidige SOLVED groep en de direct voorafgaande FAILED groep. Het optimaliseert het beleid om de relatieve score van de succesvolle trajecten (geconditioneerd op feedback) te verhogen ten opzichte van de mislukte trajecten (geconditioneerd op de oorspronkelijke prompt), waarbij de transitie effectief wordt behandeld als een voorkeur-leertaken (preference learning task).

3. Gestructureerde Feedback Injectie

Om ervoor te zorgen dat het model feedback effectief gebruikt tijdens regeneratie, hanteert MulFeRL een mechanisme van fixed-slot injectie. Verbale feedback wordt ingevoegd in een speciale <feedback> tag binnen de redeneertemplate (bijv. binnen een <thinking> blok), in plaats van aan de prompt te worden toegevoegd. Dit ontwerp:

Behandelt feedback als een expliciet conditioneringssignaal.
Embedt feedback nauw in de redeneercontext.
Maakt precieze token-maskering mogelijk tijdens training, zodat het model leert te redeneren gegeven de feedback zonder de feedback-tokens zelf te optimaliseren.

Belangrijkste Bijdragen

Nieuw Framework voor Low-Signal Regimes: MulFeRL adresseert de specifieke beperking van RLVR op "alle-mislukte" samples door een multi-turn loop te introduceren die verbale feedback gebruikt om progressie te induceren, waardoor voorheen oninformatieve mislukkingen worden omgezet in verifieerder-gecertificeerde leermomenten.
Feedback-Contrastive Optimization (FCO): Het paper introduceert een nieuwe doelstelling om "belonings-verzadigde" progressie (FAILED $\to$ SOLVED transities) af te handelen. Dit stelt het model in staat om te leren van gevallen waarin feedback succesvol alle fouten oplost, een scenario waarin standaard binnen-groep contrastmethoden falen.
Gestructureerde Feedback Integratie: De auteurs demonstreren dat het injecteren van feedback in een vaste redeneer-slot, in plaats van eenvoudige prompting, de capaciteit van het model aanzienlijk verbetert om te conditioneren op en gebruik te maken van feedback voor regeneratie.
Event-Triggered Routing: Het framework routeert trainingssignalen dynamisch op basis van de observatie van de verifieerder over de staat van de groep (CONTRASTIVE vs. SOLVED vs. FAILED), waardoor updates alleen worden toegepast wanneer er een bruikbaar discriminatiesignaal aanwezig is.

Experimentele Resultaten

De auteurs evalueerden MulFeRL op een gesamplede subset van OpenR1-Math en testten de prestaties op vijf wiskundige redeneer-benchmarks (AMC 2023, AIME 2024, OlympiadBench, MATH-500, Minerva-Math) en drie out-of-domain (OOD) wetenschap/algemene redeneertaken (MMLU-Pro, GPQA-Diamond, TheoremQA).

Prestatiewinst: MulFeRL presteerde consequent beter dan sterke baselines, inclus_ief Supervised Fine-Tuning (SFT), Self-Distillation (SDPO) en diverse RL-gebaseerde methoden (GRPO, Dr.GRPO, Critique-GRPO, RLTF-FM).
- Op de Qwen2.5-7B-Base backbone bereikte MulFeRL een gemiddelde Pass@1 van 46,26%, wat de beste RL-baseline (Critique-GRPO met 42,83%) aanzienlijk overtreft.
- Op de Qwen3-4B-Inst backbone bereikte MulFeRL een gemiddelde Pass@1 van 68,36%, waarmee het Critique-GRPO (63,65%) en andere baselines verslaat.
Generalisatie: Het model vertoonde sterke out-of-domain generalisatie, waarbij de prestaties op wetenschaps- en algemene redeneertaken verbeterden, ondanks dat het primair op wiskundige data is getraind.
Ablatie Studies: Het verwijderen van kerncomponenten leidde tot prestatievermindering:
- Het verwijderen van feedback-gestuurde regeneratie veroorzaakte de grootste daling, wat de noodzaak bevestigt om progressie te induceren vanuit mislukte staten.
- Het verwijderen van FCO schaadde de prestaties aanzienlijk, wat de rol ervan bij het vastleggen van FAILED $\to$ SOLVED transities valideert.
- Het verwijderen van gestructureerde feedback injectie leidde tot consistente dalingen, wat het belang van het fixed-slot ontwerp benadrukt.
Robuustheid van de Simulator: De methode bleef effectief, zelfs bij het gebruik van zwakkere feedback-simulatoren (bijv. het basismodel zelf of GPT-4o-mini), hoewel sterkere simulatoren (GPT-4o) verdere winst opleverden.

Betekenis en Claims

Het paper claimt dat MulFeRL een robuuste oplossing biedt voor de "sparse reward" bottleneck in RLVR door de rijkdom van verbale feedback te benutten zonder in de valkuilen van directe feedback-optimalisatie of eenvoudige imitatie te vallen.

Mechanisme: De auteurs benadrukken dat de verbetering niet louter voortkomt uit blootstelling aan feedback, maar uit het specifieke mechanisme van progressie-inductie (het omzetten van fouten in successen via feedback) en feedback-bewuste credit assignment (het gebruik van FCO om van deze transities te leren).
Efficiëntie vs. Kosten: De auteurs erkennen dat MulFeRL hogere trainingskosten met zich meebrengt door de multi-turn regeneratie en verificatie-overhead. Ze argumenteren echter dat de methode meer sample-efficiënt is, omdat het in minder optimalisatiestappen een sterke prestatie bereikt door dichtere leersignalen te extraheren uit mislukte samples die anders zouden worden weggegooid.
Beperkingen: Het paper merkt bescheiden op dat de aanpak afhankelijk is van betrouwbare uitkomstverificatie en nuttige feedback. Het benadrukt ook dat het huidige ontwerp zich richt op rollout-niveau feedback voor alle-mislukte groepen, wat potentieel fijnere verbeteringen in gedeeltelijk correcte oplossingen mist, wat suggereert dat toekomstig werk dit naar stap-niveau kan uitbreiden.

Concluderend toont MulFeRL aan dat het transformeren van verbale feedback naar verifieerder-gestuurde leersignalen de RL-training in staat stelt om door te gaan met progressie op moeilijke, mislukte samples, wat leidt tot superieure redeneercapaciteiten over zowel in-domain als out-of-domain taken.