Riepilogo Tecnico: RC-GRPO per Agenti Multi-turn con Tool Calling

1. Definizione del Problema

Il tool calling multi-turn presenta sfide significative per i Large Language Models (LLM) a causa della scarsità di ricompense e dell'alto costo dell'esplorazione. Il Group Relative Policy Optimization (GRPO) è un metodo di reinforcement learning (RL) popolare che elimina la necessità di una rete critic separata, ma soffre di un modo di fallimento critico quando applicato ad agenti multi-turn inizializzati tramite Supervised Fine-Tuning (SFT).

Il problema centrale è il "paradosso della perfezione". Quando un LLM viene addestrato tramite SFT su dimostrazioni ottimali, sviluppa una policy altamente piccata (un forte prior del "percorso d'oro"). Durante l'addestramento GRPO, ciò porta a una bassa diversità nei gruppi di rollout; molteplici traiettorie campionate ricevono spesso ricompense identiche (ad esempio, tutte 0 o tutte 1). Di conseguenza, la deviazione standard intra-gruppo ($\sigma_g$) tende a zero, causando la degenerazione del segnale di vantaggio normalizzato per gruppo ($A_j \approx 0$). Ciò risulta in gradienti evanescenti e nell'arresto dell'apprendimento, particolarmente in ambienti parzialmente osservabili dove la fiducia locale può portare a comportamenti ripetitivi a breve orizzonte.

2. Metodologia: RC-GRPO

Gli autori propongono RC-GRPO (Reward-Conditioned Group Relative Policy Optimization), una pipeline a due stadi progettata per trattare la diversità intra-gruppo come una variabile controllabile piuttosto che come un sottoprodotto della temperatura di campionamento.

Stadio 1: Fine-tuning della Reward-Conditioned Trajectory Policy (RCTP)

Prima del RL, il modello base viene affinato in una Reward-Conditioned Trajectory Policy (RCTP).

• Costruzione dei Dati: Viene creato un dataset a qualità mista accoppiando le traiettorie con token di obiettivo di ricompensa discreti (ad esempio, <|high reward|> per il successo, <|low reward|> per il fallimento).
• Obiettivo: Il modello viene addestrato per massimizzare la log-likelihood delle azioni condizionate sia dalla cronologia che dal token di ricompensa specifico: $\pi_\theta(a_t | h_t, r)$.
• Risultato: La policy impara a generare traiettorie di qualità distinte su richiesta. Il condizionamento su <|high reward|> elenca azioni ottimali, mentre <|low reward|> genera modalità di fallimento plausibili.

Stadio 2: Reward-Conditioned GRPO

L'RCTP funge da inizializzazione per la fase di RL.

• Campionamento Controllato: Per ogni prompt, viene generato un gruppo di $G$ traiettorie. A differenza del GRPO standard, che campiona da una singola policy incondizionata, RC-GRPO campiona un token di ricompensa discreto $r_j$ per ciascuna traiettoria nel gruppo da una distribuzione fissa $P_{sample}(r)$.
• Rollout Condizionato: Ogni traiettoria $\tau_j$ viene generata condizionata al suo specifico token $r_j$ (ovvero, $a_{t,j} \sim \pi_\theta(\cdot | h_{t,j}, r_j)$).
• Calcolo del Vantaggio: Poiché il gruppo contiene traiettorie condizionate su diversi modi di ricompensa (alti vs bassi), la varianza della ricompensa intra-gruppo viene esplicitamente iniettata. Ciò assicura che il vantaggio normalizzato per gruppo $A_j = \frac{R(\tau_j) - \mu_g}{\sigma_g + \epsilon}$ rimanga non degenere e informativo.
• Funzione di Ricompensa: Viene utilizzata una funzione di ricompensa unificata a livello di traiettoria $R(\tau)$, definita come il prodotto della coerenza dello stato ($R_{state}$) e della copertura essenziale delle azioni ($R_{action}$), risultando in un segnale di successo binario (1 per successo, 0 per fallimento).

3. Contributi Chiave

1. Framework RC-GRPO: L'introduzione di un approccio condizionato alla ricompensa che trasforma l'esplorazione in un problema di steering controllabile tramite token di ricompensa discreti, prevenendo il problema del vantaggio evanescente nelle policy piccate.
2. Pipeline a Due Stadi: Un workflow specifico che prevede il fine-tuning RCTP su dati a qualità mista seguito da GRPO condizionato alla ricompensa, il che garantisce che la policy possa produrre in modo affidabile comportamenti diversificati necessari per un efficace aggiornamento relativo al gruppo.
3. Validazione Empirica: Esperimenti completi sul benchmark multi-turn Berkeley Function Calling Leaderboard v4 (BFCLv4) utilizzando LLaMA-3.1-8B-Instruct e Qwen2.5-7B-Instruct.
4. Analisi Teorica e Dinamica:
   • Teorica: Un'analisi basata sulla varianza (Proposizioni 4.2 e 4.3) che dimostra come il GRPO standard collassi quando $\sigma_g \to 0$ a causa delle policy SFT piccate, mentre il condizionamento alla ricompensa garantisce un limite inferiore sulla varianza intra-gruppo.
   • Dinamica: Evidenza che mostra come RC-GRPO migliori le prestazioni diminuendo l'entropia della policy, provando che i guadagni sono guidati da una varianza strutturata piuttosto che da un aumento della casualità.

4. Risultati Sperimentali

Il metodo è stato valutato sulla suddivisione multi-turn di BFCLv4.

• Qwen2.5-7B-Instruct: La pipeline completa RC-GRPO ha raggiunto un'accuratezza complessiva dell'85.00%. Questo ha superato significativamente il Modello Base (11.25%), lo standard SFT+GRPO (48.75%) e ha persino superato tutti i modelli API closed-source valutati (il migliore dei quali, Opus-4.5, ha raggiunto il 61.25%).
• LLaMA-3.1-8B-Instruct: Il metodo ha raggiunto il 48.75% di accuratezza, migliorando rispetto a SFT+GRPO (35.00%) e al Modello Base (0.00%).
• Studi di Ablazione:
  • Necessità di RCTP: L'aggiunta del condizionamento alla ricompensa a un'inizializzazione SFT standard ha prodotto guadagni trascurabili. Tuttavia, passare l'inizializzazione a RCTP sotto RC-GRPO ha portato a miglioramenti massicci (+38.75% su Qwen2.5-7B).
  • Meccanismo: L'analisi della dinamica di addestramento ha rivelato che RC-GRPO raggiunge alte prestazioni con un'entropia inferiore e una correlazione negativa tra entropia e ricompensa, contrastando con il GRPO standard dove le prestazioni dipendono da un'alta entropia.

5. Significato e Rivendicazioni

Il paper sostiene che RC-GRPO affronti un limite fondamentale nell'applicazione del RL basato su gruppi ad agenti forti, inizializzati tramite SFT: il collasso del segnale di apprendimento dovuto alla mancanza di diversità intra-gruppo.

• Diversità Controllata: Il lavoro dimostra che la diversità nei rollout di RL può essere controllata esplicitamente tramite token di condizionamento piuttosto che affidarsi alla temperatura di campionamento stocastica, che è spesso insufficiente per le policy piccate.
• Stabilità rispetto alla Casualità: Gli autori sostengono che i miglioramenti osservati non siano dovuti a un aumento della casualità (entropia) ma al ripristino di segnali di vantaggio informativi e non evanescenti attraverso una varianza strutturata.
• Impatto Pratico: Consentendo ai modelli open-weight di superare i modelli API closed-source in compiti complessi di multi-turn tool calling, il metodo offre una via scalabile per addestrare sistemi agentici robusti senza l'overhead computazionale delle reti critic o l'instabilità del GRPO standard.

Gli autori mantengono una posizione modesta, notando che, sebbene forniscano una spiegazione teorica basata sulla varianza per la stabilità del loro metodo, non rivendicano una teoria completa della dinamica di addestramento degli agenti multi-turn. Il contributo primario è inquadrare la generazione controllabile e il RL basato su gruppi come una soluzione unificata al problema del "vanishing update" in ambienti con ricompense sparse.