🤖 AI

MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop

Il documento introduce MulFeRL, un framework di apprendimento per rinforzo multi-turno che potenzia il ragionamento convertendo l'elaborata retroazione verbale sui campioni falliti in segnali di apprendimento addestrabili, superando così gli esistenti baseline di apprendimento supervisionato e di RLVR sia nei compiti in-domain che in quelli out-of-domain.

Autori originali: Xuancheng Li, Haitao Li, Yujia Zhou, YiqunLiu, Qingyao Ai

Pubblicato 2026-06-02

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xuancheng Li, Haitao Li, Yujia Zhou, YiqunLiu, Qingyao Ai

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Problema: Il "Fallimento Silenzioso" dell'IA

Immaginate di insegnare a uno studente come risolvere problemi matematici complessi. Gli date un test e lui sbaglia la risposta.

Nell'addestramento standard dell'IA (chiamato RLVR), l'insegnante dice semplicemente: "Sbagliato." Fine. Nessuna spiegazione, nessun suggerimento, solo un punteggio pari a zero.

Il Problema: Se lo studente sbaglia 100 problemi, riceve 100 volte il punteggio "Sbagliato". Non ha idea del perché abbia fallito. Ha sommato male i numeri? Ha frainteso la domanda? Ha saltato un passaggio?
Il Risultato: L'IA si blocca. Continua a indovinare a caso perché il "segnale di apprendimento" (il feedback) è troppo rado e poco utile. È come cercare di imparare a guidare ricevendo solo l'indicazione "Scontro" quando colpisci un muro, senza mai essere avvisati che hai dimenticato di guardare nello specchietto retrovisore.

La Soluzione: MulFeRL (L' "Allenatore con la Cartella Clinica")

I ricercatori propongono MulFeRL (Multi-turn Feedback-guided Reinforcement Learning). Invece di dire solo "Sbagliato", questo sistema agisce come un allenatore severo ma utile che fornisce consigli verbali specifici.

Ecco come funziona, passo dopo passo:

1. La Trappola del "Tutto Fallito"

Di solito, se un'IA prova a risolvere un problema difficile e fallisce, si ferma. Il ciclo di addestramento si interrompe perché non c'è una risposta "buona" con cui confrontare quella "cattiva".

La Mossa di MulFeRL: Quando l'IA fallisce completamente, il sistema non si arrende. Fa una pausa e chiede a un "Fornitore di Feedback" (come un essere umano intelligente o un'IA più forte) di esaminare il disastro.

2. Il "Feedback Verbale" (Gli Appunti dell'Allenatore)

Il Fornitore di Feedback non dice solo "Sbagliato". Scrive un appunto:

"Hai cercato di usare il teorema di Pitagora, ma hai dimenticato di elevare prima i numeri al quadrato."
"Hai saltato un segno meno nel passaggio 3."
Questo è il Feedback Verbale. Trasforma un fallimento vago in una lezione specifica.

3. La "Rigenerazione" (Il Secondo Tentativo)

Ora l'IA ha una seconda possibilità. Prende il problema originale più gli appunti dell'allenatore e prova a risolverlo di nuovo.

La Magia: Se l'IA usa correttamente gli appunti, potrebbe finalmente ottenere la risposta giusta.
Il Merito: Il sistema capisce ora: "Ah! Quando abbiamo dato all'IA il suggerimento specifico sul quadrato dei numeri, ha avuto successo." Questo trasforma il "fallimento" in un "successo" da cui imparare.

4. Due Modi per Imparare (Il Tabellone dei Punteggi)

Il paper introduce due modi specifici per valutare questo nuovo processo:

Scenario A: Il "Mix Variabile" (GRPO)
A volte, dopo aver ricevuto gli appunti, l'IA prova 8 volte. Alcuni tentativi sono ancora errati, altri sono corretti.
Analogia: È come una squadra sportiva dove alcuni giocatori hanno sbagliato ma altri hanno giocato benissimo. L'allenatore può dire: "Guardate i giocatori che hanno avuto successo; copiate le loro mosse". L'IA impara confrontando i propri tentativi buoni con i propri tentativi cattivi.
Scenario B: La "Svolta Totale" (FCO)
A volte, gli appunti sono così buoni che tutti gli 8 tentativi diventano corretti.
Analogia: L'intera squadra improvvisamente gioca alla perfezione. Nell'addestramento standard, questo è confusionario perché non ci sono esempi "cattivi" con cui confrontarsi.
Il Trucco di MulFeRL: Guarda il prima e il dopo. Confronta il "Prima" (dove tutti hanno fallito) con il "Dopo" (dove tutti hanno avuto successo). Dice all'IA: "Ricordi come hai fallito prima? Ricordi come hai avuto successo dopo gli appunti? Fai di più della versione 'Dopo'." Questo è chiamato Ottimizzazione Contrastiva del Feedback (FCO).

5. Lo "Slot Fisso" (Il Post-it)

Per assicurarsi che l'IA legga effettivamente gli appunti, MulFeRL non si limita a incollare il feedback in fondo alla pagina. Lo inserisce in una casella speciale e fissa (come un tag <feedback>) proprio nel mezzo del processo di pensiero.

Analogia: È come uno studente che ha un post-it sulla calcolatrice con scritto "Controlla i segni!" invece di leggere un rapporto di valutazione alla fine della settimana. Questo costringe l'IA a guardare il consiglio mentre sta lavorando.

Perché Questo è Importante

Il paper dimostra che usando questo approccio "Allenatore con la Cartella Clinica":

Risolve il problema del "Fallimento Silenzioso": Trova un modo per imparare anche quando l'IA sbaglia tutto inizialmente.
Impara più velocemente: L'IA migliora più rapidamente perché riceve istruzioni specifiche su come correggere i propri errori, non solo un punteggio.
Funziona su cose nuove: Anche se è stata addestrata su problemi matematici, è migliorata anche in compiti di scienza e ragionamento generale, dimostrando di aver imparato un migliore modo di pensare, non solo di aver memorizzato risposte matematiche.

Riassunto

MulFeRL è un metodo che impedisce all'IA di bloccarsi quando fallisce. Invece di ignorare i tentativi falliti, utilizza il feedback verbale per guidare l'IA a riprovare. Successivamente, premia l'IA non solo per aver trovato la risposta giusta, ma per essersi migliorata in base al feedback. Trasforma il "Ho fallito" in "Ecco come l'ho risolto", rendendo il processo di apprendimento molto più ricco ed efficace.

Sintesi Tecnica: MulFeRL

Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un approccio standard per potenziare il ragionamento nei Large Language Models (LLM), in particolare nella generazione di codice e matematica. Tuttavia, l'RLVR standard si basa su ricompense scalari basate solo sull'esito (ad esempio, segnali binari corretto/errato). Gli autori sostengono che, con l'aumentare delle prestazioni del modello, questo approccio incontri un collo di bottiglia dovuto alla scarsità e alla natura poco informativa delle ricompense scalari, specialmente per i campioni falliti.

Quando un modello genera una grande frazione di soluzioni interamente errate, l'RLVR standard assegna ricompense vicine allo zero o negative che indicano semplicemente il fallimento senza spiegare perché il ragionamento si sia interrotto o come migliorare. Ciò porta a:

Assegnazione del credito scarsa: le stime del gradiente diventano rumorose.
Plateau di addestramento: il segnale di apprendimento collassa per i gruppi di rollout "tutti falliti" dove non esiste contrasto intra-gruppo.
Inefficienza del campione: l'addestramento fatica a progredire su problemi difficili dove le ricompense scalari non forniscono alcun contrasto utilizzabile.

Mentre gli esseri umani sfruttano il feedback verbale per localizzare gli errori e colmare i divari rispetto alle soluzioni target, i metodi di feedback esistenti di tipo RL spesso allocano il feedback in modo ampio tra i campioni piuttosto che mirare ai casi specifici di "tutto fallito" dove le ricompense basate sull'esito sono meno informative.

Metodologia: MulFeRL

Il documento propone MulFeRL (Multi-turn Feedback-guided Reinforcement Learning), un framework RLVR a eventi e multi-turno progettato per convertire il feedback verbale in segnali di apprendimento stabili e addestrabili per i campioni falliti. Il framework opera attraverso due fasi primarie: Induzione del Progresso e Assegnazione del Credito del Progresso.

1. Induzione del Progresso Basata su Eventi

MulFeRL prende di mira i gruppi di rollout in cui tutti i $K$ campioni falliscono la verifica (lo stato FAILED). In questo stato, l'RLVR standard non fornisce alcun segnale di apprendimento.

Feedback come Condizionamento: Invece di ottimizzare direttamente il feedback, MulFeRL utilizza il feedback verbale come un intervento di condizionamento. Quando un gruppo si trova nello stato FAILED, un fornitore di feedback (ad esempio, un simulatore LLM) genera un feedback azionabile che identifica le modalità di fallimento dominanti e suggerisce revisioni.
Rigenerazione: Questo feedback viene iniettato nel contesto, e il modello rigenera un nuovo gruppo di $K$ rollout.
Obiettivo: L'obiettivo è indurre una transizione da uno stato FAILED a uno stato CONTRASTIVE (successi/fallimenti misti) o uno stato SOLVED (tutti successi). Questa transizione costituisce un "progresso certificato dal verificatore".

2. Assegnazione del Credito del Progresso

Una volta indotto il progresso, MulFeRL assegna il credito in base alla natura della transizione utilizzando due obiettivi complementari:

Credito Intra-Stato (GRPO): Se il gruppo rigenerato è CONTRASTIVE (contiene sia risposte corrette che errate), MulFe la applica l'ottimizzazione standard Group Relative Policy Optimization (GRPO). Questo sfrutta il vantaggio relativo tra i rollout riusciti e quelli falliti all'interno dello stesso contesto condizionato dal feedback.
Credito Inter-Stato (FCO): Se il gruppo rigenerato diventa SOLVED (tutti corretti), il contrasto intra-gruppo svanisce (tutte le ricompense sono 1), rendendo l'GRPO standard inefficace. Per recuperare il segnale di apprendimento, MulFeRL introduce l'Ottimizzazione Contrastiva del Feedback (FCO). FCO costruisce coppie tra il gruppo SOLVED attuale e il gruppo FAILED immediatamente precedente. Ottimizza la policy per aumentare il punteggio relativo delle traiettorie di successo (condizionate al feedback) rispetto alle traiettorie fallite (condizionate al prompt originale), trattando efficacemente la transizione come un compito di apprendimento delle preferenze.

3. Iniezione Strutturata del Feedback

Per garantire che il modello utilizzi efficacemente il feedback durante la rigenerazione, MulFeRL impiega un meccanismo di iniezione in slot fissi. Il feedback verbale viene inserito in un tag <feedback> dedicato all'interno del template di ragionamento (ad esempio, all'interno di un blocco <thinking>), invece di essere aggiunto alla fine del prompt. Questo design:

Tratta il feedback come un segnale di condizionamento esplicito.
Integra il feedback strettamente nel contesto di ragionamento.
Permette una maschera dei token precisa durante l'addestramento, assicurando che il modello impari a ragionare dato il feedback senza ottimizzare gli stessi token di feedback.

Contributi Chiave

Nuovo Framework per Regimi a Basso Segnale: MulFeRL affronta il limite specifico dell'RLVR sui campioni "tutti falliti" introducendo un ciclo multi-turno che utilizza il feedback verbale per indurre il progresso, convertendo i fallimenti precedentemente non informativi in opportunità di apprendimento certificate dal verificatore.
Ottimizzazione Contrastiva del Feedback (FCO): Il documento introduce un nuovo obiettivo per gestire il progresso "saturo di ricompensa" (transizioni FAILED $\to$ SOLVED). Ciò consente al modello di apprendere dai casi in cui il feedback risolve con successo tutti i fallimenti, uno scenario in cui i metodi standard di contrasto intra-gruppo falliscono.
Integrazione Strutturata del Feedback: Gli autori dimostrano che iniettare il feedback in uno slot di ragionamento fisso, piuttosto che in un semplice prompting, migliora significativamente la capacità del modello di condizionarsi e utilizzare il feedback per la rigenerazione.
Routing Basato su Eventi: Il framework instrada dinamicamente i segnali di addestramento in base all'osservazione dello stato del gruppo da parte del verificatore (CONTRASTIVE vs. SOLVED vs. FAILED), garantendo che gli aggiornamenti siano applicati solo quando esiste un segnale di discriminazione utilizzabile.

Risultati Sperimentali

Gli autori hanno valutato MulFeRL su un sottoinsieme campionato di OpenR1-Math e hanno testato le prestazioni su cinque benchmark di ragionamento matematico (AMC 2023, AIME 2024, OlympiadBench, MATH-500, Minerva-Math) e tre compiti di ragionamento scientifico/generale fuori dominio (OOD) (MMLU-Pro, GPQA-Diamond, TheoremQA).

Guadagni di Prestazione: MulFeRL ha superato costantemente i forti baseline, inclusi il Supervised Fine-Tuning (SFT), la Self-Distillation (SDPO) e vari metodi basati su RL (GRPO, Dr.GRPO, Critique-GRPO, RLTF-FM).
- Sulla backbone Qwen2.5-7B-Base, MulFeRL ha raggiunto un Pass@1 medio del 46,26%, superando significativamente il miglior baseline RL (Critique-GRPO al 42,83%).
- Sulla backbone Qwen3-4B-Inst, MulFeRL ha raggiunto il 68,36% di Pass@1 medio, superando Critique-GRPO (63,65%) e altri baseline.
Generalizzazione: Il modello ha mostrato una forte generalizzazione fuori dominio, migliorando le prestazioni nei compiti di ragionamento scientifico e generale nonostante l'addestramento sia avvenuto principalmente su dati matematici.
Studi di Ablazione: La rimozione dei componenti principali ha portato a un degrado delle prestazioni:
- Rimuovere la rigenerazione guidata dal feedback ha causato il calo più grande, confermando la necessità di indurre il progresso dai fallimenti.
- Rimuovere FCO ha danneggiato sostanzialmente le prestazioni, convalidando il suo ruolo nel catturare le transizioni FAILED $\to$ SOLVED.
- Rimuovere l'iniezione strutturata del feedback ha portato a declini costanti, evidenziando l'importanza del design a slot fissi.
Robustezza del Simulatore: Il metodo è rimasto efficace anche utilizzando simulatori di feedback più deboli (ad esempio, il modello base o GPT-4o-mini), sebbene simulatori più forti (GPT-4o) abbiano prodotto ulteriori guadagni.

Significato e Rivendicazioni

Il documento sostiene che MulFeRL fornisca una soluzione robusta al collo di bottiglia della "ricompensa sparsa" nell'RLVR, sfruttando la ricchezza del feedback verbale senza cadere nelle trappole dell'ottimizzazione diretta del feedback o della semplice imitazione.

Meccanismo: Gli autori sottolineano che il miglioramento deriva non solo dall'esposizione al feedback, ma dal meccanismo specifico di induzione del progresso (trasformare i fallimenti in successi tramite il feedback) e assegnazione del credito consapevole del feedback (usare FCO per apprendere da queste transizioni).
Efficienza vs. Costo: Gli autori riconoscono che MulFeRL comporta costi di addestramento più elevati a causa della rigenerazione multi-turno e dell'overhead di verifica. Tuttavia, sostengono che il metodo sia più efficiente in termini di campioni, raggiungendo prestazioni elevate in meno passi di ottimizzazione perché estrae segnali di apprendimento più densi dai campioni falliti che altrimenti verrebbero scartati.
Limitazioni: Il documento nota con modestia che l'approccio dipende da una verifica dell'esito affidabile e da un feedback utile. Evidenzia inoltre che il design attuale si concentra sul feedback a livello di rollout per i gruppi con "tutto fallito", potenzialmente perdendo miglioramenti più fini per le soluzioni parzialmente corrette, suggerendo che il lavoro futuro potrebbe estendere il metodo al feedback a livello di singolo step.

In conclusione, MulFeRL dimostra che trasformare il feedback verbale in segnali di apprendimento controllati dal verificatore permette all'addestramento RL di continuare a progredire su campioni difficili e falliti, portando a capacità di ragionamento superiori sia nei compiti in-domain che in quelli out-of-domain.