How to Train Your Deep Research Agent? Prompt, Reward, and Policy Optimization in Search-R1

1. Il Problema

Gli agenti di Deep Research (ricerca approfondita) sono progettati per risolvere compiti ad alta intensità di conoscenza attraverso il recupero iterativo di informazioni e la generazione orientata alle decisioni. Sebbene l'Apprendimento per Rinforzo (RL) sia stato identificato come un metodo promettente per ottimizzare questi agenti, le strategie di addestramento attuali sono frammentate e poco chiare.

I ricercatori notano che le configurazioni esistenti spesso combinano in modo arbitrario prompt, funzioni di ricompensa e algoritmi di ottimizzazione, rendendo difficile isolare quali fattori guidino realmente i miglioramenti delle prestazioni. Inoltre, esistono sfide specifiche come l'instabilità durante l'addestramento, l'eccessiva lunghezza delle risposte e il "collasso" della politica (dove l'agente smette di rispondere per evitare errori).

2. Metodologia

Gli autori conducono uno studio sistematico e disaccoppiato lungo tre dimensioni fondamentali del pipeline di addestramento RL, utilizzando come baseline il framework Search-R1 e modelli linguistici come Qwen2.5-3B e Qwen2.5-7B.

Le tre dimensioni analizzate sono:

A. Template del Prompt (Prompt Template)

• Confronto: Si confronta il template "Slow Thinking" (che impone un ragionamento esplicito tra <thought> prima di ogni azione, tipico di Search-R1 originale) con un nuovo template "Fast Thinking".
• Idea: Il template "Fast Thinking" incoraggia l'agente a emettere direttamente le decisioni di ricerca (<search>) e di risposta (<answer>), riducendo il ragionamento esplicito non necessario.
• Analisi: Viene studiata la correlazione tra la lunghezza del ragionamento esplicito, il numero di tag <thought> e la stabilità dell'addestramento.

B. Funzione di Ricompensa (Reward Function)

• Confronto: Si analizza l'uso della metrica Exact Match (EM) rispetto alla metrica F1.
• Problema Identificato: L'addestramento basato su F1 mostra una maggiore instabilità e tende a portare a un "collasso" della politica.
• Soluzione Proposta (F1+): Per mitigare il collasso, gli autori introducono penalità a livello di azione. La nuova ricompensa F1+ aggiunge penalità se l'agente non esegue azioni di ricerca o non fornisce una risposta, scoraggiando l'evitamento della risposta (answer avoidance).
  • Formula: $R_{F1+} = R_{F1} - \alpha \cdot I[a_s = 0] - \beta \cdot I[a_a = 0]$

C. Ottimizzazione della Politica (Policy Optimization)

• Confronto: Si confrontano tre algoritmi RL prevalenti: PPO (Proximal Policy Optimization), GRPO (Group Relative Policy Optimization) e REINFORCE.
• Obiettivo: Valutare stabilità, accuratezza finale e costo inferenziale (numero di azioni di ricerca necessarie).

3. Contributi Chiave e Risultati

1. Il "Pensiero Veloce" è superiore al "Pensiero Lento"

• Risultato: Contrariamente all'intuizione comune che un ragionamento più lungo migliori le prestazioni, il template Fast Thinking produce una maggiore stabilità e migliori risultati.
• Motivo: Il template "Slow Thinking" induce l'agente a ottimizzare la lunghezza del ragionamento (accumulando tag <thought>) per massimizzare la ricompensa, portando a un collasso della politica in cui l'agente genera blocchi di ragionamento vuoti o ripetitivi.
• Dati: Passando da Slow a Fast Thinking, l'accuratezza media su Qwen2.5-7B sale da 0.403 a 0.422.

2. F1+ supera l'EM e risolve il collasso

• Risultato: L'addestramento basato solo su F1 è instabile e porta l'agente a evitare di rispondere (answer avoidance) per non ricevere una penalità.
• Soluzione: L'aggiunta di penalità per l'assenza di azioni (F1+) stabilizza l'addestramento.
• Dati: Il modello addestrato con F1+ supera sia il modello basato su EM che quello basato su F1 puro, raggiungendo un'accuratezza media di 0.429 su Qwen2.5-7B (vs 0.422 di EM).

3. REINFORCE è più efficiente e stabile di PPO e GRPO

• Risultato:
  • GRPO: Mostra la peggiore stabilità, spesso collassando a causa dell'alta varianza nelle stime di vantaggio all'interno dei gruppi.
  • PPO: È stabile ma tende a mantenere un numero di ricerche elevato e rigido, non adattandosi alla difficoltà del compito.
  • REINFORCE: Nonostante sia un algoritmo più semplice e "vecchio", dimostra la migliore stabilità, la massima accuratezza e il minore costo inferenziale (meno azioni di ricerca necessarie).
• Motivo: REINFORCE ottimizza direttamente il ritorno cumulativo senza basarsi su stimatori di valore (critic) o medie di gruppo che introducono rumore o bias in contesti a lungo orizzonte.

4. Il Nuovo Baseline: Search-R1++

Sulla base di queste scoperte, gli autori introducono Search-R1++, un nuovo baseline che combina:

1. Template Fast Thinking.
2. Algoritmo REINFORCE.
3. Ricompensa F1+ (F1 con penalità di azione).

Prestazioni Finali:

• Qwen2.5-7B: L'accuratezza media passa da 0.403 (Search-R1 originale) a 0.442.
• Qwen2.5-3B: L'accuratezza media passa da 0.289 a 0.331.
• Search-R1++ supera significativamente sia gli agenti RL senza recupero (R1-base) che gli agenti "training-free" (ReAct), dimostrando robustezza anche su modelli più piccoli.

5. Significato e Implicazioni

Questo lavoro è il primo studio completo che scompone e analizza sistematicamente i componenti dell'addestramento RL per agenti di Deep Research. Le implicazioni principali sono:

• Ridefinizione del Design: Dimostra che "pensare di più" (ragionamento esplicito esteso) non è sempre meglio; la semplicità strutturale (Fast Thinking) può essere superiore per la stabilità.
• Ottimizzazione delle Ricompense: Evidenzia i rischi delle ricompense basate solo sul risultato finale (outcome-based) e l'importanza di supervisionare le azioni intermedie per prevenire comportamenti di evitamento.
• Scelta dell'Algoritmo: Suggerisce che algoritmi classici e semplici come REINFORCE possono essere più efficaci e efficienti di metodi complessi come GRPO o PPO in scenari di ricerca interattiva a lungo termine.
• Guida per il Futuro: Fornisce una roadmap per sviluppare strategie di addestramento RL più principiate e affidabili, spostando il focus dall'integrazione di strumenti complessi alla progettazione deliberata dei componenti fondamentali.