Document Optimization for Black-Box Retrieval via Reinforcement Learning

1. Il Problema

L'espansione dei documenti è una tecnica classica per migliorare la qualità del recupero delle informazioni (retrieval), progettata originariamente per i recuperatori lessicali per risolvere il problema della "mismatch" del vocabolario. Tuttavia, l'applicazione ingenua di questa tecnica nell'era dei recuperatori neurali moderni ha spesso dimostrato di degradare le prestazioni, introducendo rumore che offusca il segnale discriminativo.

Il problema centrale è che le trasformazioni dei documenti (come l'espansione o la riscrittura) sono solitamente statiche o basate su prompt zero-shot, senza essere ottimizzate specificamente per lo spazio di rappresentazione di un recuperatore target. Inoltre, l'ottimizzazione diretta dei documenti è difficile perché l'obiettivo è definito su testo discreto e la qualità di una riscrittura è rivelata solo attraverso il suo comportamento di recupero a valle (downstream), rendendo difficile l'uso di gradienti standard.

2. Metodologia

Gli autori ricastano l'espansione dei documenti come un problema di ottimizzazione dei documenti risolvibile tramite Apprendimento per Rinforzo (RL).

• Formulazione come Policy RL: Un modello linguistico (LM) o un modello visione-linguaggio (VLM) viene trattato come una policy ($\pi_\phi$) che genera trasformazioni dei documenti. L'obiettivo è riscrivere un documento $d$ in una versione $\tilde{d}$ che migliori il ranking per le query rilevanti sotto un recuperatore specifico $R$.
• Reward Counterfattuale: Poiché non si ha accesso ai gradienti del recuperatore (funzionamento in modalità "black-box"), il reward è definito in modo counterfattuale. Per ogni documento riscritto, si misura come cambierebbe il ranking se quel documento sostituisse l'originale nell'indice, mantenendo fissi tutti gli altri documenti.
  • Il reward è calcolato come la variazione di nDCG@k ($\Delta nDCG@k$): guadagno per le query positive ($Q^+$) meno la penalità per le query negative ($Q^-$).
  • Questo approccio isola l'effetto della trasformazione sul ranking, incoraggiando miglioramenti per le query rilevanti e penalizzando le corrispondenze spurie.
• Ottimizzazione GRPO: La policy viene ottimizzata utilizzando Group Relative Policy Optimization (GRPO). Per ogni documento, la policy campiona un gruppo di candidati di riscrittura. I reward relativi all'interno del gruppo vengono utilizzati per calcolare i vantaggi (advantages) e aggiornare la policy senza bisogno di una funzione di valore esplicita.
• Flessibilità Architetturale: Il metodo richiede solo l'accesso ai punteggi di ranking del recuperatore, rendendolo compatibile con:
  • Recuperatori a vettore singolo (es. OpenAI text-embedding).
  • Recuperatori a vettori multipli (es. ColBERT).
  • Recuperatori lessicali (es. BM25).
  • Modelli a pesi chiusi (black-box) e aperti (open-weight).

3. Contributi Chiave

1. Nuovo Paradigma di Ottimizzazione: Spostamento dall'idea di "espansione" (aggiunta di termini) a "ottimizzazione" (riscrittura, compressione o ristrutturazione) dei documenti per allinearli allo spazio di rappresentazione del recuperatore.
2. Approccio Black-Box: Un framework che non richiede l'accesso ai pesi o ai gradienti interni del recuperatore, utilizzando solo i punteggi di ranking come segnale di apprendimento.
3. Efficienza Offline: Tutte le trasformazioni avvengono offline. Una volta addestrata la policy, l'intero corpus viene trasformato una volta sola, preservando l'efficienza del tempo di inferenza (query-time) senza aggiungere complessità durante la ricerca.
4. Versatilità: Applicabilità sia al recupero di documenti visivi (VDR) che al recupero di codice, dimostrando efficacia su diversi tipi di recuperatori.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due compiti principali: Visual Document Retrieval (VDR) e Code Retrieval.

• Miglioramenti Generali: L'ottimizzazione dei documenti ha portato a guadagni significativi in tutti i setting testati.
  • Esempio Chiave (Black-Box): Applicando l'ottimizzazione al modello OpenAI text-embedding-3-small, le prestazioni (nDCG@5) sono aumentate da 58.7 a 66.8 sul codice e da 53.3 a 57.6 su VDR. Questo risultato supera leggermente il modello OpenAI text-embedding-3-large (che costa 6.5 volte di più), ottenendo 66.3 su codice e 57.0 su VDR.
  • Recuperatori Open-Weight: Per modelli come Qwen3-Embedding-4B e Jina-ColBERT-V2, l'ottimizzazione ha migliorato le prestazioni in modo competitivo rispetto al fine-tuning diretto del recuperatore.
• Combinazione Ottimale: Quando i pesi del recuperatore sono accessibili, la combinazione di Ottimizzazione della Policy + Fine-tuning del Recuperatore (Joint Adaptation) ha prodotto le prestazioni migliori in assoluto.
  • Su VDR con Jina-ColBERT-V2: da 55.8 a 63.3.
  • Su Codice con Jina-ColBERT-V2: da 48.6 a 61.8.
• Impatto sui Recuperatori Lessicali: I guadagni sono stati particolarmente drammatici per i recuperatori lessicali come BM25, che sono passati da 15.6 a 46.6 nDCG@5 sul codice, dimostrando che l'ottimizzazione del documento può colmare il divario tra metodi lessicali e semantici.
• Analisi delle Lunghezze: A differenza delle trasformazioni zero-shot che tendono a raddoppiare la lunghezza dei documenti (aggiungendo rumore), la policy ottimizzata produce documenti più compatti (media 346 token vs 382 per lo zero-shot), selezionando e raffinando solo le informazioni utili.

5. Significato e Implicazioni

Questo lavoro dimostra che ottimizzare lo spazio dei documenti è una direzione promettente e sottoutilizzata per migliorare il recupero delle informazioni.

• Democratizzazione dell'Accesso: Il metodo permette di ottenere prestazioni elevate anche con recuperatori più piccoli o meno costosi (o modelli black-box) semplicemente ottimizzando i dati di input, rendendo possibile competere con modelli molto più grandi e costosi.
• Efficienza Sistemica: Poiché l'ottimizzazione è un processo offline, non introduce latenza aggiuntiva durante la ricerca, un fattore critico per le applicazioni in produzione.
• Flessibilità: La capacità di adattarsi a diverse architetture di recupero (lessicale, vettoriale singola/multipla) suggerisce che questo approccio può essere integrato in pipeline di recupero esistenti senza richiedere cambiamenti architetturali radicali ai modelli di recupero stessi.

In sintesi, il paper propone un cambio di paradigma: invece di cercare di migliorare il modello di recupero (che può essere costoso o inaccessibile), si ottimizzano i documenti stessi per "parlare la lingua" del modello di recupero esistente, ottenendo risultati superiori con costi computazionali contenuti.