Riepilogo Tecnico: TRACE (Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents)

1. Definizione del Problema

Gli agenti basati su Large Language Model (LLM) risolvono compiti complessi attraverso sequenze estese di interazioni con strumenti (ad esempio, ricerca web, esecuzione di codice) prima di produrre una risposta finale. Sebbene l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) sia stato di successo per compiti di ragionamento a turno singolo (come matematica o programmazione) utilizzando ricompense deterministiche basate sull'esito, l'applicazione di questo approccio ad agenti a lungo termine (long-horizon) presenta una fondamentale sfida di assegnazione del credito.

Nelle traiettorie multi-turno degli agenti, una singola ricompensa terminale (successo/fallimento) è sparsa e ad alta varianza. Essa non riesce a distinguere tra:

• Azioni utili: Chiamate agli strumenti precoci che raccolgono le prove necessarie ma che fanno parte di una traiettoria che alla fine fallisce.
• Azioni ridondanti o dannose: Passaggi intermedi che non contribuiscono all'obiettivo o che deviano il percorso.

L'addestramento basato solo sull'esito assegna lo stesso vantaggio a tutti i turni di una traiettoria, portando a un sottostima del credito per l'esplorazione produttiva, una sovrastima delle azioni irrilevanti e un aumento della varianza del gradiente all'aumentare dell'orizzonte delle traiettorie. I metodi esistenti di supervisione di processo richiedono spesso etichette a livello di singolo step, giudici LLM forti o modelli di ricompensa di processo addestrati, il che introduce complessità, deriva o dipendenza da una supervisione costosa.

2. Metodologia: TRACE

Gli autori propongono TRACE (Turn-level Reward Assignment via Credit Estimation), un framework privo di critic che genera ricompense dense a livello di turno senza l'addestramento di ulteriori etichette di processo o di un critic appreso.

Meccanismo Core

TRACE tratta la traiettoria dell'agente come una sequenza di transizioni di stato che avvengono ai confini delle chiamate agli strumenti (tool-call boundaries). Invece di apprendere una funzione di valore, utilizza un modello di riferimento congelato ($\pi_{ref}$) come sonda stabile per stimare la "prontezza" del prefisso attuale della traiettoria nel produrre la risposta d'oro (gold answer).

1. Rappresentazione dello Stato: Una traiettoria viene segmentata in prefissi $S_k$ ad ogni confine di chiamata allo strumento.
2. Stima del Valore dello Stato:
   • Il modello di riferimento congelato calcola la log-probabilità della risposta d'oro $y^*$ dato il prefisso $S_k$: $\bar{\ell}_k = \frac{1}{|y^*|} \sum \log \pi_{ref}(y^*_t | S_k, y^*_{<t})$.
   • Per gestire i problemi di scala in cui i cambiamenti della log-probabilità grezza possono trarre in inganno (ad esempio, un piccolo guadagno è significativo quando si è lontani dalla risposta, ma trascurabile quando si è vicini), TRACE trasforma questo in un valore di stato log-ratio:
     $$V(S_k) = \log \frac{-\bar{\ell}_0 + \epsilon}{-\bar{\ell}_k + \epsilon}$$
     dove $\epsilon$ è un offset. Questo valore misura la chiusura relativa del divario iniziale di verosimiglianza della risposta.
3. Ricompensa a Livello di Turno tramite Differenza Temporale (TD):
   • La ricompensa per una transizione $S_k \to S_{k+1}$ è derivata dall'errore TD (differenza di valore):
     $$\delta_k = V(S_{k+1}) - V(S_k) = \log \frac{d_k}{d_{k+1}}$$
   • Interpretazione: Una ricompensa positiva viene assegnata se la chiamata allo strumento e la sua osservazione rendono la risposta d'oro più prevedibile (aumentando il valore dello stato). Una ricompensa negativa viene assegnata se la traiettoria si allontana dalla risposta.
   • Proprietà Telescopica: La somma dei crediti TD a singolo step è telescopica rispetto al cambiamento totale del valore tra l'inizio e la fine della traiettoria. Ciò garantisce che i turni intermedi ridondanti non possano gonfiare artificialmente il credito totale.
4. Look-Ahead e Ancoraggio:
   • Per tenere conto degli effetti ritardati (ad esempio, una query di ricerca che produce risultati solo dopo l'apertura di un documento), TRACE utilizza un backup TD K-step troncato con un fattore di sconto $\gamma_{td}$.
   • Il turno finale combina il segnale di progresso TD con lo standard vantaggio a livello di esito ($A^{out}$) derivante da Group Relative Policy Optimization (GRPO), assicurando che la correttezza finale rimanga l'obiettivo ultimo dell'addestramento.
5. Ottimizzazione: La policy viene aggiornata utilizzando un obiettivo troncato (clipped objective) che mescola il vantaggio dell'esito con il credito TD a livello di turno, senza normalizzare i valori dei turni attraverso il gruppo di prompt.

3. Contributi Chiave

• Credito Denso Senza Critic: TRACE fornisce ricompense dense a livello di turno per agenti a lungo termine senza addestrare un critic separato, un modello di ricompensa di processo o fare affidamento su etichette umane o sintetiche a livello di step.
• Modello di Riferimento Congelato come Sonda: TRACE riutilizza un modello di riferimento congelato (tipicamente usato per la regolarizzazione KL) come stimatore di valore stabile, misurando quanto ogni interazione con lo strumento aumenti la prevedibilità della risposta d'oro.
• Formulazione TD Log-Ratio: Il metodo introduce una trasformazione log-ratio delle probabilità della risposta per creare un valore di stato robusto che normalizza il credito tra diversi livelli di confidenza e previene l'inflazione del premio dovuta a step ridondanti.
• Addestramento Pure RL: L'approccio consente l'addestramento efficace di modelli base utilizzando il pure RL (esito + ricompense a livello di turno) senza una fase iniziale di Supervised Fine-Tuning (SFT) a freddo, mid-training agentico o dati web dal vivo.

4. Risultati Sperimentali

Gli autori hanno valutato TRACE su compiti di ricerca complessi a lungo termine utilizzando i backbone Qwen3-4B e Qwen3-30B-A3B.

• Benchmark Closed-Web (BrowseComp-Plus):
  • Qwen3-4B: Migliorato da un punteggio base di 7.2 a 35.6.
  • Qwen3-30B-A3B: Migliorato da un punteggio base di 8.4 a 42.6.
  • TRACE ha superato significativamente i baseline basati solo sull'esito (GRPO, GSPO, GiGRPO) e si è avvicinato o ha superato agenti di ricerca profonda esterni più grandi (ad esempio, TongyiDS-30B-A3B) nonostante l'uso di un backbone più piccolo e una supervisione minima.
• Trasferimento Open-Web:
  • Il comportamento di ricerca appreso si è trasferito su benchmark open-web (BrowseComp, GAIA, xbench-DeepSearch).
  • L'agente 30B-A3B ha ottenuto 12.9 su BrowseComp, 52.0 su GAIA e 45.0 su xbench-DeepSearch, dimostrando una generalizzazione oltre il corpus di addestramento.
• Dinamiche di Apprendimento:
  • TRACE ha mostrato un miglioramento precoce e una convergenza più rapida rispetto ai baseline basati solo sull'esito.
  • Ha facilitato un'espansione più veloce della lunghezza delle interazioni (scala della traiettoria) nelle prime fasi dell'addestramento, poiché il segnale a livello di turno premiava il progresso intermedio anche prima che la risposta finale fosse corretta.

5. Significato e Rivendicazioni

Il paper sostiene che il credito a livello di turno ancorato al verificatore sia un componente critico mancante per l'addestramento di agenti a lungo termine tramite pure RL.

• Efficienza: TRACE dimostra che i modelli base possiedono primitive latenti di ragionamento e uso di strumenti che possono essere sbloccate con segnali di credito più densi, eliminando la necessità di costosi SFT o complessi pipeline di supervisione di processo.
• Generalizzazione: Il metodo insegna una strategia di interazione generale (ricerca, lettura, raffinamento) che si trasferisce tra diversi ambienti di recupero e lingue, non limitandosi all'overfitting sul corpus di addestramento.
• Limitazioni: Gli autori notano con modestia che l'attuale metodo si basa su risposte compatte e verificabili (stringhe brevi). Per compiti con output lunghi, strutturati o aperti (ad esempio, patch di codice multi-file), la proxy della log-probabilità potrebbe essere meno affidabile, suggerendo la necessità di stimatori alternativi del valore di stato per lavori futuri.

In sint لوا, TRACE stabilisce che l'assegnazione del credito ai confini delle chiamate agli strumenti tramite un modello di riferimento congelato è una strategia efficace, scalabile e efficiente dal punto di vista dei dati per migliorare le prestazioni degli agenti a lungo termine.