COSEARCH: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search

Titolo: COSEARCH: Addestramento congiunto di ragionamento e ranking di documenti tramite Reinforcement Learning per la Ricerca Agente

1. Il Problema: Il Collo di Bottiglia del Recupero

La ricerca agente (agentic search) consiste nell'addestrare agenti basati su LLM che ragionano iterativamente, formulano query di ricerca e sintetizzano le informazioni recuperate per rispondere a domande complesse. Sebbene i recenti progressi nell'uso del Reinforcement Learning (RL) abbiano migliorato le capacità di ragionamento degli agenti, l'approccio predominante (es. Search-R1) tratta il sistema di recupero (retriever e ranker) come uno strumento fisso e non adattivo.

Gli autori identificano un collo di bottiglia critico: anche se l'agente di ragionamento è perfetto, un sistema di recupero subottimale limita drasticamente le prestazioni finali.

• Evidenza empirica: Un esperimento preliminare con "recupero oracolo" (dove i documenti corretti vengono forzati in cima alla lista) ha mostrato un miglioramento relativo del punteggio F1 fino al +26.8% rispetto a un sistema di recupero fisso.
• Conclusione: Il sistema di recupero è il principale ostacolo al miglioramento delle prestazioni degli agenti di ricerca, indipendentemente dalla capacità di ragionamento dell'agente.

2. Metodologia: COSEARCH

COSEARCH è un framework che addestra congiuntamente un agente di ragionamento principale (main agent) e un modello di ranking generativo (generative ranker) utilizzando il Reinforcement Learning (RL), specificamente l'algoritmo GRPO (Group Relative Policy Optimization).

L'architettura si basa su un sistema di recupero a due stadi:

1. Recuperatore denso fisso: Recupera un set candidato iniziale di $N$ documenti.
2. Ranker generativo (addestrabile): Riceve le query secondarie dell'agente e i documenti candidati, quindi seleziona e riordina un sottoinsieme di $K$ documenti da mostrare all'agente.

Sfide Tecniche e Soluzioni:

• Sfida 1: Adattamento di GRPO al Ranker.

  • Problema: GRPO richiede gruppi di risposte generate dallo stesso prompt di input per calcolare i vantaggi normalizzati. Per l'agente principale, le traiettorie partono dalla stessa query utente. Per il ranker, però, le query secondarie ($q_t$) variano a seconda del percorso di ragionamento dell'agente, rendendo impossibile il raggruppamento diretto.
  • Soluzione (Semantic Grouping): Gli autori introducono una strategia di raggruppamento semantico. Le query secondarie provenienti da diverse traiettorie vengono clusterizzate in base alla somiglianza F1 a livello di token. Se le query sono semanticamente equivalenti (es. "chi ha vinto il Nobel nel 2020" vs "premio Nobel 2020 vincitore"), vengono raggruppate nello stesso gruppo di ottimizzazione GRPO. Questo permette di addestrare il ranker senza rollouts aggiuntivi, riutilizzando le traiettorie già generate.

• Sfida 2: Design del Reward (Ricompensa).

  • Problema: Il successo finale dipende sia dal recupero che dal ragionamento. Una ricompensa basata solo sulla correttezza della risposta finale è rumorosa per il ranker (non distingue se l'errore è dovuto al recupero o al ragionamento). Una ricompensa basata solo sulla rilevanza dei documenti (pseudo-label) ignora i documenti utili per il ragionamento intermedio che non contengono la risposta finale.
  • Soluzione (Composite Reward): Viene progettata una ricompensa composita che combina:
    1. Ricompensa di Rilevanza ($r_{rel}$): Basata su metriche di ranking (Hit@k) rispetto a documenti "pseudo-rilevanti" (che contengono la risposta gold).
    2. Ricompensa di Traiettoria ($r_{main}$): Basata sulla correttezza della risposta finale.
    • Logica: Se il ranker fallisce nel mettere in cima i documenti rilevanti, viene penalizzato principalmente sulla rilevanza. Se il ranking è buono, viene premiata anche la correttezza finale. Se non ci sono documenti rilevanti nel set candidato, si usa solo la correttezza finale.

3. Contributi Chiave

1. Identificazione del collo di bottiglia: Dimostrazione quantitativa che il recupero è il limite principale per gli agenti di ricerca RL, con guadagni potenziali fino al +26.8% se il recupero fosse perfetto.
2. Framework COSEARCH: Un sistema end-to-end che ottimizza simultaneamente l'agente di ragionamento e il ranker tramite GRPO.
3. Strategia di Raggruppamento Semantico: Una tecnica innovativa per applicare GRPO a componenti con input variabili (query secondarie) senza costi computazionali aggiuntivi di campionamento.
4. Ricompensa Composita: Un meccanismo di reward che fornisce segnali immediati (qualità del ranking) e a lungo termine (utilità per la risposta finale), eliminando la necessità di annotazioni costose tramite LLM.

4. Risultati Sperimentali

Il modello è stato valutato su 7 benchmark di domande e risposte (QA), sia monohop (es. NQ, PopQA) che multihop (es. HotpotQA, Musique), utilizzando modelli Qwen2.5 (7B e 3B).

• Prestazioni Superiori: COSEARCH supera costantemente i baselines forti come Search-R1, ZeroSearch e varianti con ranker fissi.
  • Con un agente da 7B: +6.6% di F1 relativo rispetto a Search-R1.
  • Con un agente da 3B: +10.8% di F1 relativo rispetto a Search-R1.
• Efficienza: Gli agenti addestrati con COSEARCH richiedono meno turni di ricerca per risolvere le domande rispetto ai sistemi con ranker fissi, indicando una maggiore qualità dei documenti recuperati.
• Ablation Study:
  • Rimuovere il raggruppamento semantico causa un crollo delle prestazioni (-3.3% F1), confermando la sua importanza.
  • L'uso di un reward composito è superiore all'uso di un LLM come giudice o di metriche di ranking alternative (nDCG).
  • L'addestramento congiunto è più efficace dell'addestramento separato o dell'uso di un ranker fisso.

5. Significato e Implicazioni

Il lavoro di COSEARCH segna un cambio di paradigma nella ricerca agente:

• Superamento dell'assunzione statica: Dimostra che trattare il sistema di recupero come un "tool" fisso è limitante. L'adattamento congiunto del motore di ricerca e del cervello (ragionamento) è non solo fattibile, ma essenziale per le prestazioni massime.
• Scalabilità: Il metodo funziona bene anche con modelli più piccoli (3B), suggerendo che un buon sistema di recupero può compensare parzialmente capacità di ragionamento limitate.
• Futuro: Questo approccio apre la strada a "agenti di ricerca" che evolvono insieme alle loro capacità di recupero, diventando sistemi più robusti e autonomi per la ricerca di informazioni complesse.

In sintesi, COSEARCH risolve il problema del "recupero debole" in un sistema di ragionamento forte, dimostrando che l'ottimizzazione congiunta tramite RL è la chiave per sbloccare il vero potenziale degli agenti di ricerca.