🤖 machine learning

Reinforcing Multi-Turn Reasoning in LLM Agents via Fine-Grained Reward Structure and Credit Assignment

Questo articolo propone e valida un framework per potenziare gli agenti basati su Large Language Model in scenari multi-turno, derivando algoritmi GRPO e PPO su misura che sfruttano strutture di ricompensa densa per turno per ottenere una superiore assegnazione del credito, stabilità dell'addestramento e prestazioni rispetto agli approcci con ricompensa terminale o ritardata sparsa.

Autori originali: Quan Wei, Siliang Zeng, Chenliang Li, Zhongruo Wang, William Brown, Oana Frunza, Wei Deng, Anderson Schneider, Yuriy Nevmyvaka, Yang Katie Zhao, Alfredo Garcia, Mingyi Hong

Pubblicato 2026-08-24

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Quan Wei, Siliang Zeng, Chenliang Li, Zhongruo Wang, William Brown, Oana Frunza, Wei Deng, Anderson Schneider, Yuriy Nevmyvaka, Yang Katie Zhao, Alfredo Garcia, Mingyi Hong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I grandi modelli linguistici sono i motori dietro i sistemi di intelligenza artificiale più avanzati di oggi, capaci di generare testi simili a quelli umani, risolvere problemi complessi e persino scrivere codice. Tuttavia, quando a questi modelli viene chiesto di eseguire compiti che richiedono una lunga catena di ragionamento — come cercare informazioni sul web, usare una calcolatrice o giocare a un gioco a più fasi — spesso incontrano difficoltà. La difficoltà principale risiede nel modo in cui imparano dai propri errori. Nel campo del machine learning, questi sistemi vengono spesso addestrati utilizzando un metodo chiamato apprendimento per rinforzo (reinforcement learning), in cui il modello prova diverse azioni e riceve un feedback sotto forma di ricompensa. Se la risposta finale è corretta, il modello riceve una ricompensa; se è errata, non riceve nulla. Questo approccio funziona bene per compiti semplici, ma per interazioni complesse e multi-step, aspettare fino alla fine per fornire il feedback è come cercare di imparare una nuova lingua venendo istruiti solo se si è giusti o sbagliati dopo aver concluso un'intera conversazione. L'apprendista non ha idea di quale parola o frase specifica abbia causato il successo o il fallimento, rendendo l'apprendimento incredibilmente difficile.

Un team di ricercatori ha deciso di affrontare questo problema cambiando il modo in cui questi agenti IA ricevono il feedback durante le loro interazioni. Invece di aspettare il risultato finale, hanno progettato un sistema che fornisce una piccola e specifica ricompensa dopo ogni singolo passo compiuto dall'agente. Immaginate un agente che cerca di trovare una risposta cercando sul web. Con il vecchio metodo, l'agente potrebbe formulare una cattiva query di ricerca, leggere risultati irrilevanti e poi indovinare la risposta sbagliata, ricevendo un segnale di "fallimento" solo alla fine. Il nuovo approccio fornisce all'agente un feedback immediato dopo ogni query di ricerca: una piccola ricompensa per aver trovato informazioni rilevanti o una penalità per una query scarsa. Ciò consente all'agente di imparare esattamente quali passi sono stati utili e quali no, affinando il proprio comportamento con molta più precisione.

I ricercatori hanno testato questa idea utilizzando due popolari algoritmi di addestramento: uno che raggruppa diversi tentativi per confrontarli e un altro che apprende da un flusso continuo di azioni. Hanno applicato questi metodi a due tipi di compiti molto diversi: un agente di ricerca che doveva trovare risposte a domande utilizzando un database di Wikipedia, e un agente di gioco che doveva risolvere un puzzle chiamato Sokoban, in cui le scatole devono essere spinte verso obiettivi specifici su una griglia. Nel gioco Sokoban, un singolo movimento errato può intrappolare il giocatore in un vicolo cieco, rendendo impossibile finire il livello. Questo rende il gioco un test perfetto per capire se un agente può imparare a pianificare diversi passi in anticipo. I ricercatori hanno confrontato il loro nuovo sistema di ricompensa "passo dopo passo" con il metodo tradizionale di attendere l'esito finale, nonché con un approccio intermedio in cui le ricompense venivano ritardate e combinate.

I risultati sono stati chiari e coerenti in entrambi i compiti, sia nella ricerca che nel gioco. Gli agenti addestrati con le ricompense dense e passo dopo passo hanno imparato più velocemente e sono diventati molto più stabili rispetto a quelli addestrati con i metodi precedenti. Nei compiti di ricerca, il nuovo metodo ha aiutato gli agenti non solo a trovare le risposte corrette con maggiore frequenza, ma anche a seguire le rigide regole di formattazione richieste per interagire con il motore di ricerca. Nel gioco Sokoban, gli agenti addestrati con il feedback passo dopo passo hanno imparato ad evitare i vicoli ciechi e a risolvere i puzzle con un tasso significativamente più elevato. I ricercatori hanno scoperto che il metodo tradizionale di attendere la risposta finale portava spesso a un addestramento instabile, in cui le prestazioni dell'agente fluttuavano selvaggiamente o non riuscivano a migliorare. Al contrario, l'approccio passo dopo passo ha fornito una guida costante, permettendo agli agenti di costruire complesse capacità di ragionamento senza smarrirsi.

Questo lavoro dimostra che, affinché l'intelligenza artificiale possa padroneggiare interazioni complesse a più turni, ha bisogno di qualcosa di più di un semplice voto finale sulla sua prestazione. Richiede una conversazione continua su ciò che sta facendo bene o male mentre lo sta facendo. Lo studio mostra che, scomponendo il processo di apprendimento in pezzi più piccoli e gestibili e fornendo un feedback immediato e specifico per ogni azione, gli agenti IA possono diventare molto più capaci e affidabili. Questa scoperta suggerisce una strada da seguire per costruire assistenti più intelligenti che possano navigare nel mondo reale, risolvere problemi intricati e interagire con gli strumenti in modo naturale ed efficace, andando oltre la semplice generazione di testo per raggiungere un vero ragionamento multi-step.

Sintesi Tecnica: Rinforzare il Ragionamento Multi-Turn in Agenti LLM tramite Strutture di Ricompensa a Grana Fine e Assegnazione del Credito

1. Definizione del Problema

L'Apprendimento per Rinforzo (RL) è diventato un meccanismo primario per potenziare le capacità di ragionamento dei Large Language Models (LLM) in scenari complessi, a lungo orizzonte e multi-turn. Queste interazioni sono formalmente modellate come processi decisionali di Markov (MDP) a livello di turno. Tuttavia, un limite critico nella letteratura esistente è la dipendenza da ricompense sparse a livello di traiettoria (ad esempio, solo la correttezza della risposta finale). Questo approccio porta a una scarsa assegnazione del credito, in cui il modello fatica ad attribuire il successo o il fallimento a specifici passaggi intermedi (turni) all'interno di una traiettoria multi-turn.

Sebbene alcuni lavori precedenti tentino di incorporare segnali intermedi, essi spesso fondono le ricompense di esito e intermedie in un unico segnale ritardato a livello di traiettoria, fallendo nel fornire la supervisione a grana fine necessaria per un apprendimento efficace in ambienti dinamici. Di conseguenza, gli agenti faticano a perfezionare comportamenti come la selezione delle query nei compiti di ricerca o le mosse strategiche nei giochi, poiché mancano di un feedback denso alla granularità dei singoli turni di interazione.

##- Metodologia
Il documento propone un'indagine sistematica sull'utilizzo di strutture di ricompensa dense a livello di turno per abilitare l'assegnazione del credito a grana fine. Gli autori categorizzano le strutture di ricompensa in tre tipi distinti in base alla granularità, ciascuno corrispondente a una specifica formulazione MDP a livello di turno:

Ricompensa Terminale ( $M_1$ ): Fornisce solo una ricompensa di esito finale (ad esempio, correttezza della risposta) senza segnali intermedi.
Ricompensa Ritardata ( $M_2$ ): Unisce le ricompense intermedie e di esito in un singolo segnale ritardato assegnato alla fine della traiettoria.
Ricompensa Per-Turno ( $M-3$ ): Fornisce ricompense esplicite e dense ad ogni turno, valutando la correttezza delle singole interazioni agente-ambiente (ad esempio, invocazione di strumenti e risultato).

Gli autori derivano algoritmi RL su misura per Group Relative Policy Optimization (GRPO) e Proximal Policy Optimization (PPO) per adattarsi a queste diverse formulazioni MDP.

2.1. GRPO con Assegnazione del Credito a Grana Fine (MT-GRPO)

Lo standard GRPO calcola i vantaggi a livello di traiettoria, assegnando un vantaggio uniforme a tutti i token in una risposta. Per affrontare questo problema, gli autori introducono il Multi-Turn GRPO (MT-GRPO):

Decomposizione del Vantaggio: Il metodo definisce due tipi di vantaggi:
- Vantaggio di Esito ( $A^O$ ): Cattura i segnali globali di completamento del compito basati sulla risposta finale.
- Vantaggio Intermedio ( $A^I$ ): Cattura i segnali di ottimizzazione locale confrontando i rendimenti tra le traiettorie allo stesso istante temporale (turno).
Vantaggio Aggregato: Questi vengono combinati in una funzione di vantaggio unificata che assegna il credito sia su scala globale che locale aggregando i vantaggi attuali e futuri:
$A^{MT-GRPO}_{i,(k)} = \sum_{l=k}^{K-1} \alpha^{l-k} A^I_{i,(l)} + \alpha^{K-k} A^O_i$
dove $\alpha$ è un coefficiente di sconto.
Struttura di Rollout: A differenza del GRPO standard che esegue rollout per traiettoria, MT-GRPO esegue rollout per stato (per-turno). Ciò produce una struttura basata su alberi in cui vengono prelevati $G$ campioni ad ogni turno, portando a $G^{K-1}$ traiettorie totali per un orizzonte di $K$ turni.

2.2. PPO con Ricompense a Livello di Turno (MT-PPO)

Per PPO, gli autori sfruttano la Generalized Advantage Estimation (GAE) per incorporare le ricompense a livello di turno:

Assegnazione della Ricompensa: Nella variante MT-PPO, le ricompense intermedie sono assegnate al token finale del corrispondente turno, mentre la ricompensa di esito è assegnata al token finale dell'intera traiettoria.
Modifica dell'Errore TD: L'errore di Differenza Temporale (TD) $\delta_t$ è modificato per incorporare esplicitamente le ricompense per-turno ( $R_I$ ) ai confini dei turni, permettendo alla funzione di valore di fornire segnali di addestramento a grana fine a ogni step.
PPO Decomposto per Turni: Il documento esplora anche una variante in cui i rollout multi-turn vengono decomposti in istanze di addestramento a singolo turno. Tuttavia, gli esperimenti suggeriscono che questa semplice decomposizione può portare a un'assegnazione del credito subottimale se non è accuratamente allineata con il successo finale del compito.

3. Contributi Chiave

Tassonomia delle Strutture di Ricompensa: Il documento categorizza formalmente il RL multi-turn in tre formulazioni MDP ( $M_1, M_2, M_3$ ) basate sulla granularità della ricompensa e deriva algoritmi specifici per GRPO e PPO per ciascuna.
Algoritmo MT-GRPO: Una nuova variante di GRPO che utilizza rollout per-turno e vantaggi aggregati per abilitare l'assegnazione del credito sia su scala globale che locale.
Strategia MT-PPO: Una strategia raffinata di assegnazione della ricompensa all'interno di GAE per PPO che utilizza esplicitamente ricompense dense per-turno, dimostrando una stabilità e una convergenza superiori rispetto ai baseline a livello di traiettoria.
Validazione Empirica: Estesi esperimenti su agenti di ricerca multi-turn (usando la ricerca su Wikipedia) e agenti di gioco (Sokoban) dimostrano che le strutture di ricompensa dense a livello di turno superano costantemente le strutture a ricompensa terminale e ritardata sparse.

4. Risultati Sperimentali

Gli autori hanno valutato i loro metodi su due domini primari: Agenti di Ricerca Multi-Turn e Agenti di Gioco Multi-Turn.

4.1. Agenti di Ricerca (Question Answering)

Dataset: NQ, TriviaQA, PopQA (QA Generale); HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle (Multi-Hop QA).
Configurazione: Utilizzato Qwen2.5-7B come modello base e un giudice basato su LLM (GPT-OSS-120B) per fornire ricompense intermedie a livello di turno.
Risultati:
- Dinamiche di Addestramento: MT-PPO ha mostrato una stabilità di addestramento significativamente maggiore e una convergenza più rapida rispetto a PPO-OR (solo terminale) e PPO-MR (ritardata). PPO-OR e PPO-MR hanno mostrato un'alta varianza e degradazione delle prestazioni, in particolare sui dataset multi-hop complessi.
- Prestazioni: MT-PPO ha ottenuto la più alta correttezza della risposta (Exact Match) in tutti i dataset, superando i metodi allo stato dell'arte (inclusi StepSearch e PPR) con margini significativi (ad esempio, +3,5% rispetto a PPO-OR in media).
- Formato e Recupero: MT-PPO ha raggiunto una correttezza del formato quasi perfetta (~100%) e una precisione di recupero più costante, indicando che le ricompense a livello di turno impongono efficacemente i vincoli strutturali e guidano il ragionamento.

4.2. Agenti di Gioco (Sokoban)

Configurazione: Utilizzato Qwen2.5-VL-3B su un ambiente Sokoban con griglia 6x6, un compito che richiede una pianificazione irreversibile a lungo orizzonte.
Risultati:
- MT-PPO ha raggiunto il più alto Success Rate (0,6563) e Effective Action Rate (0,9870) allo step 300, superando significativamente i baseline GRPO e PPO.
- Il metodo ha dimostrato la capacità di apprendere sequenze di azioni stabili e mirate, gestendo efficacemente la natura irreversibile dell'ambiente dove un singolo movimento errato porta a un vicolo cieco.

4.3. Risultati GRPO

Nell'impostazione di ricerca a due turni, MT-GRPO ha superato GRPO-OR e GRPO-MR in tutte le metriche di ricompensa, inclusa l'esecuzione degli strumenti, la correttezza della risposta di ricerca e l'accuratezza dell'Exact Match. In particolare, MT-GRPO ha mostrato una minore varianza durante l'addestramento e la capacità di recuperare da cali temporanei nell'uso degli strumenti, evidenziando la robustezza dell'assegnazione del credito a grana fine.

5. Significato e Rivendicazioni

Il documento sostiene che le strutture di ricompensa dense a livello di turno e l'assegnazione del credito a grana fine sono fondamentali per migliorare le prestazioni degli agenti LLM in compiti multi-turn a lungo orizzonte.

Superiorità rispetto alle Ricompense Sparse: Gli autori affermano che, per entrambi GRPO e PPO, le strutture di ricompensa dense per-turno superano costantemente i design a ricompensa terminale e ritardata sparsa in termini di dinamiche di addestramento, velocità di convergenza e prestazioni numeriche finali.
Stabilità e Robustezza: I metodi proposti (MT-PPO e MT-GRPO) forniscono una maggiore stabilità di addestramento, riducendo la varianza e il collasso spesso osservati negli approcci RL a livello di traiettoria.
Generalizzabilità: L'approccio si dimostra efficace in domini diversi, dal recupero di informazioni (ricerca) al processo decisionale complesso (Sokoban), validando che il feedback esplicito a livello di turno è cruciale affinché gli agenti apprendano strategie di interazione efficaci con gli ambienti dinamici.

Il documento conclude che l'utilizzo di queste strutture di ricompensa dense consente agli agenti LLM di perfezionare il proprio comportamento alla granularità dei singoli step di interazione, portando a esiti finali più accurati e output meglio strutturati.