Riepilogo Tecnico: MURPHY – GRPO Consapevole del Feedback con Assegnazione Retrospectiva del Credito

Enunciato del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un approccio standard per il post-addestramento dei Modelli Linguistici di Grandi Dimensioni (LLM) su compiti di ragionamento, con l'Ottimizzazione della Politica Relativa di Gruppo (GRPO) che emerge come metodo leader. Tuttavia, la GRPO standard e le sue varianti sono intrinsecamente monoronda: ottimizzano basandosi su ricompense terminali da coppie isolate di prompt-risposta. Questa architettura è inadatta per ambienti agenziali, in particolare nella generazione di codice, dove i modelli devono affinare iterativamente le soluzioni in risposta a feedback ambientali (ad esempio, errori di esecuzione, stack trace, casi di test falliti).

I metodi multi-ronda esistenti spesso si affidano a macchinari ausiliari complessi, come verificatori appresi (µCODE), critici in stile PPO (RLEF) o politiche di verifica separate (REVEAL). Una linea di base naturale, GRPO-MT, estende la GRPO al multi-ronda trattando le interazioni condizionate dal feedback come traiettorie. Tuttavia, GRPO-MT soffre di un'assegnazione del credito grossolana: assegna la stessa ricompensa terminale a tutti i token in una traiettoria, indipendentemente dal fatto che i tentativi falliti intermedi abbiano fornito feedback informativi che hanno permesso un successivo affinamento di successo. Nella generazione di codice, un tentativo fallito non è uniformemente negativo; può esporre un caso limite specifico o un errore di runtime che è cruciale per la soluzione finale. I metodi attuali non riescono a distinguere tra "fallimenti informativi" e "fallimenti non informativi" quando condividono lo stesso esito terminale.

Metodologia: MURPHY

Gli autori introducono MURPHY (Multi-turn Update with Retrospective Policy Optimization), una minima estensione della GRPO progettata per rendere la ricetta standard di post-addestramento consapevole del feedback senza introdurre critici appresi o verificatori ausiliari.

1. Alberi di Rollout Condizionati dal Feedback

MURPHY costruisce una struttura ad albero per ogni prompt di input invece di una traiettoria lineare:

• Ronda 1: Il modello campiona un gruppo di programmi candidati.
• Esecuzione e Feedback: Ogni candidato viene eseguito contro una suite di test, producendo una ricompensa scalare (ad esempio, tasso di superamento) e feedback qualitativo (ad esempio, messaggi di errore).
• Espansione:
  • I candidati risolti terminano e diventano nodi foglia.
  • I candidati falliti vengono espansi. Viene formato un nuovo prompt concatenando il compito originale, l'output fallito e il feedback dell'esecutore. Il modello viene richiamato su questo prompt condizionato dal feedback per generare un nuovo gruppo di raffinamenti.
• Questo processo si ripete per un numero fisso di round, creando un albero in cui gli archi rappresentano passaggi di affinamento condizionati da feedback specifici.

2. Assegnazione Retrospectiva del Credito

L'innovazione centrale è l'assegnazione retrospectiva del credito. Una volta completato l'albero di rollout, le ricompense vengono propagate all'indietro dalle foglie alla radice. Questo permette ai successivi raffinamenti di successo di "credito" ai tentativi falliti precedenti che hanno prodotto feedback utili. Il documento propone due strategie di propagazione:

• Ricompensa Massima (MARS): Un backup ottimistico. Per un nodo $v$, la ricompensa aggiustata $\tilde{r}(v)$ è il massimo tra la sua ricompensa immediata $r(v)$ e il massimo della ricompensa aggiustata dei suoi figli:
  $$\tilde{r}(v) = \max\left(r(v), \max_{u \in C(v)} \tilde{r}(u)\right)$$
  Questo accredita un tentativo fallito se alcuno dei suoi discendenti risolve infine il compito.
• Ricompensa Media (MERS): Un backup basato sull'aspettativa. Propaga una media scontata delle ricompense future:
  $$\tilde{r}(v) = r(v) + \gamma \cdot \frac{\text{mean}_{u \in C(v)} \tilde{r}(u)}{Z(v)}$$
  dove $\gamma$ è un fattore di sconto e $Z(v)$ è un termine di normalizzazione.

3. Aggiornamento GRPO Locale

Una volta aggiustate le ricompense, MURPHY applica l'obiettivo standard GRPO localmente a ciascun gruppo di risposte all'interno dell'albero. Invece di utilizzare le ricompense immediate, utilizza le ricompense aggiustate per il credito ($\tilde{r}$) per calcolare i vantaggi. Questo preserva la struttura di baseline relativa al gruppo della GRPO incorporando al contempo il credito temporale dalla struttura ad albero.

4. Strategie di Potatura

Per affrontare il costo computazionale dell'espansione degli alberi (che può crescere esponenzialmente), MURPHY introduce meccanismi di potatura post-rollout che mantengono le traiettorie informative prima della propagazione delle ricompense:

• Potatura Intra-Gruppo (INTRAP): Mantiene un numero fisso di traiettorie all'interno di ciascun gruppo di risposte, selezionando specificamente quelle che contribuiscono maggiormente alla varianza delle ricompense (preservando segnali di apprendimento diversificati).
• Potatura Inter-Gruppo (INTERP): Mantiene interi gruppi di raffinamento in base alla loro varianza delle ricompense all'interno del gruppo. Questo alloca il budget di ottimizzazione ai contesti di feedback che producono i raffinamenti candidati più diversificati e informativi.

Contributi Chiave

1. Algoritmo MURPHY: Un'estensione GRPO multi-ronda che addestra LLM per codice a utilizzare il feedback di esecuzione attraverso un'assegnazione strutturata del credito temporale, eliminando la necessità di verificatori o critici appresi.
2. Strategie di Propagazione delle Ricompense: L'introduzione di strategie MARS (ottimistica) e MERS (basata sull'aspettativa) per assegnare credito dai raffinamenti di successo ai fallimenti precedenti e informativi.
3. Meccanismi di Potatura: Progettazione delle strategie INTRAP e INTERP che rendono l'ottimizzazione multi-ronda trattabile filtrando le traiettorie non informative mentre preservano il segnale di apprendimento.
4. Validazione Empirica: Valutazione completa su tre benchmark (HumanEval, MBPP, LiveCodeBench-v6) e due famiglie di modelli (Qwen, OLMo), che dimostra guadagni significativi rispetto ai precedenti metodi multi-ronda.

Risultati Sperimentali

Gli autori hanno valutato MURPHY su HumanEval, MBPP e LiveCodeBench-v6 utilizzando i modelli Qwen3 (1.7B, 4B) e OLMo-2-7B.

• Guadagni di Prestazione: MURPHY ha ottenuto fino a 6% di guadagni assoluti in pass@1 rispetto ai metodi multi-ronda con feedback di esecuzione più forti precedenti (inclusi GRPO-MT, µCODE e REVEAL).
• Scalabilità della Difficoltà: I guadagni sono stati più pronunciati sui sottoinsiemi Medio e Difficile. Ad esempio, su LiveCodeBench-v6 (sottoinsieme Medio), MURPHY ha mostrato un guadagno di +4,38% a Iter-5, e sul sottoinsieme Difficile un guadagno di +4,20%. Ciò suggerisce che il metodo è particolarmente efficace dove l'autocorrezione iterativa è critica.
• Confronto con le Linee di Base:
  • Su OLMo-2-7B, MURPHY ha superato la linea di base più forte di +6,20 pp su HumanEval e +6,07 pp su MBPP nella configurazione Iter-3.
  • Su Qwen3-4B (LiveCodeBench-v6), MURPHY ha superato REVEAL (un metodo con un auto-verificatore co-addestrato) su tutti i sottoinsiemi di difficoltà, nonostante l'architettura più complessa di REVEAL.
• Studi di Ablazione:
  • MARS vs. MERS: MARS ha generalmente superato MERS, in particolare in ambienti con ricompense sparse, propagando l'esito più forte invece di diluire il segnale attraverso la media.
  • Potatura: La strategia di potatura INTERP ha offerto il miglior compromesso costo-qualità, riducendo il tempo di ottimizzazione del 74,1% (producendo una riduzione del 21,4% nel tempo totale di addestramento per passo) mantenendo le prestazioni entro lo 0,8% del modello non potato. INTRAP, pur migliorando le prestazioni monoronda, ha causato un regresso nelle prestazioni multi-ronda.

Significato e Affermazioni

Il documento afferma che MURPHY dimostra che la ricetta standard di post-addestramento GRPO può essere resa consapevole del feedback attraverso un cambiamento strutturale nell'assegnazione del credito da sola.

• Minimalismo Architettonico: A differenza di lavori precedenti che richiedono funzioni di valore ausiliarie, verificatori appresi o politiche di verifica esplicite, MURPHY è un'"estensione minima che preserva l'architettura". Si basa esclusivamente sul feedback di esecuzione intrinseco al compito di generazione di codice.
• Disallineamento nell'Assegnazione del Credito: Il lavoro affronta un disallineamento fondamentale nella generazione di codice agenziale: il fallimento nel distinguere tra errori non informativi e fallimenti informativi. Propagando le ricompense all'indietro, MURPHY insegna al modello che "sbagliare e sbagliare di nuovo" (come citato da Piet Hein) è prezioso se gli errori forniscono il segnale necessario per la correzione.
• Scalabilità: Le strategie di potatura proposte rendono l'addestramento multi-ronda computazionalmente fattibile, riducendo il carico di ottimizzazione senza sacrificare la qualità del segnale di apprendimento.

Gli autori concludono che, sebbene i rollout multi-ronda aumentino i costi di addestramento rispetto alla GRPO monoronda, i guadagni nelle capacità di autocorrezione, in particolare su problemi difficili, giustificano l'approccio. Notano limitazioni riguardanti l'aumento del costo di addestramento e la dipendenza da feedback di esecuzione puliti, suggerendo che lavori futuri potrebbero esplorare segnali di feedback più rumorosi e budget di turni adattivi.