Rethinking On-policy Optimization for Query Augmentation

1. Problema e Contesto

L'articolo affronta la sfida dell'aumento delle query (Query Augmentation) per il recupero delle informazioni (IR). In molti scenari reali (es. servizi basati su API come OpenAI o sistemi proprietari come PubMed), non è possibile modificare direttamente il recuperatore; il miglioramento deve quindi avvenire a livello di query.

Attualmente, esistono due approcci principali basati sui Large Language Models (LLM):

1. Metodi basati sul Prompting (Zero-shot/Few-shot): Utilizzano la conoscenza parametrica dell'LLM per generare documenti pseudo o riscrivere la query senza addestramento aggiuntivo (es. HyDE, Query2Doc). Sono semplici ma possono introdurre termini spurii e non sono ottimizzati esplicitamente per le metriche di recupero.
2. Metodi basati sul Reinforcement Learning (RL): Addestrano un modello (policy) per riscrivere le query ottimizzando direttamente le metriche di recupero (come Recall o NDCG) tramite reward derivati dal sistema di IR. Sebbene promettenti, questi metodi sono computazionalmente costosi, richiedono dati etichettati per il reward e la loro efficacia rispetto al prompting non è stata confrontata in modo sistematico e "consapevole del calcolo" (compute-aware).

Il gap identificato è la mancanza di un confronto equo tra questi due paradigmi e la necessità di capire quando l'ottimizzazione RL giustifica i costi rispetto a semplici strategie di prompting.

2. Metodologia e Sperimentazione

Gli autori hanno condotto un confronto empirico rigoroso e controllato tra:

• SPQE (Simple Pseudo-document Query Expansion): Un metodo di prompting zero-shot che istruisce un LLM a generare un documento ipotetico ($d_H$) che risponde alla query, concatenando poi $(q, d_H)$ come query aumentata.
• DeepRetrieval (RL-based): Un approccio RL on-policy (PPO) che addestra un modello a riscrivere direttamente la query ($q \to q'$), includendo passaggi di ragionamento intermedi.

Configurazione Sperimentale:

• Dataset: Hanno testato su tre categorie: recupero di evidenze (Evidence-seeking: NQ, TriviaQA, SQuAD), recupero ad hoc (BEIR: FEVER, HotpotQA, ecc.) e recupero di strumenti (Tool Retrieval: ToolRet).
• Recuperatori: Sia recuperatori sparsi (BM25) che densi (E5-base-v2, Contriever).
• Parità Computazionale: Per rendere il confronto equo, hanno allocato più risorse computazionali all'inferenza per SPQE (utilizzando LLM più grandi come GPT-4o-mini o modelli open-weight da 32B/120B) rispetto all'addestramento RL (che usa policy più piccole, 3B/7B, ma con costi di training elevati su GPU multiple).
• Metriche: Hit@20, NDCG@10, Recall@10 e Completeness@10.

3. Risultati Chiave

I risultati sperimentali hanno rivelato diverse scoperte fondamentali:

1. Il Prompting è spesso superiore o pari al RL: In un confronto "consapevole del calcolo", il semplice prompting (SPQE) con LLM potenti ha spesso eguagliato o superato i metodi RL più complessi e costosi. SPQE ha ottenuto il miglior ranking complessivo (Borda rank 1) su tutte le combinazioni di task e recuperatori.
2. Dipendenza dal tipo di Recuperatore:
   • Il RL ha mostrato benefici più consistenti sui recuperatori sparsi (BM25), dove la generazione di termini chiave specifici aiuta la corrispondenza lessicale.
   • Sui recuperatori densi, i guadagni del RL sono stati minori o talvolta negativi, suggerendo che le query riscritte dal RL potrebbero non allinearsi bene con gli spazi vettoriali semantici o introdurre rumore.
3. Limiti del RL puro: L'addestramento RL richiede risorse significative e dati di reward specifici per dominio. In alcuni casi (es. Tool Retrieval con recuperatori densi), il modello RL ha addirittura peggiorato le prestazioni rispetto alla baseline senza aumento.
4. Robustezza del Prompting: SPQE si è dimostrato un baseline robusto, efficiente e applicabile a zero-shot su diversi domini senza bisogno di riaddestramento.

4. Contributo Principale: OPQE

Motivati dalla scoperta che la struttura generativa del prompting (documenti pseudo) è potente, ma che l'ottimizzazione RL è utile per affinare il processo, gli autori propongono un metodo ibrido: OPQE (On-policy Pseudo-document Query Expansion).

• Concetto: Invece di addestrare la policy RL a riscrivere la query ($q \to q'$), la policy viene addestrata a generare un documento pseudo ($d_H$) che massimizza le metriche di recupero. La query finale è la concatenazione $(q, d_H)$.
• Vantaggi:
  • Combina la flessibilità e la struttura generativa del prompting con l'ottimizzazione mirata del RL.
  • Sfrutta la conoscenza interna dell'LLM come punto di partenza ("warm start") ad alta qualità, accelerando la convergenza del RL.
  • Trasforma il compito da asimmetrico (query-documento) a simmetrico (documento-documento), allineandosi meglio agli obiettivi di addestramento dei recuperatori densi.
• Performance: OPQE ha ottenuto le prestazioni migliori in assoluto su tutti i benchmark, superando sia il prompting puro (SPQE) che il RL puro (DeepRetrieval), specialmente nei setting con recuperatori densi.

5. Significato e Implicazioni

Questo lavoro cambia la prospettiva sull'ottimizzazione delle query per l'IR:

• Rivalutazione del RL: Dimostra che l'addestramento RL per la riscrittura diretta delle query non è sempre la soluzione migliore e può essere superato da strategie di prompting intelligenti se si considerano i costi computazionali.
• Nuovo Paradigma Ibrido: Introduce OPQE come un nuovo stato dell'arte, suggerendo che il futuro dell'ottimizzazione delle query risiede nell'uso del RL per affinare la generazione di contesti ricchi (documenti pseudo) piuttosto che per la semplice riscrittura sintetica.
• Efficienza: Sottolinea che in scenari con vincoli computazionali o dove i recuperatori sono "black-box", l'uso di LLM potenti tramite prompting zero-shot rimane una strategia estremamente competitiva e spesso preferibile.

In sintesi, il paper conclude che l'approccio sinergico (OPQE) che unisce la struttura generativa del prompting con l'ottimizzazione on-policy offre i risultati più solidi, superando i limiti di entrambi i metodi presi singolarmente.