Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors

Sintesi Tecnica: "I recuperatori neurali preferiscono determinati documenti? Evidenze di prior di rilevanza appresi"

Formulazione del problema
I modelli standard di recupero delle informazioni (IR) sono addestrati per stimare la probabilità a posteriori della rilevanza, $P(R | q, d)$, dato una query $q$ e un documento $d$. Tuttavia, i dati di addestramento per i recuperatori supervisionati sono costruiti tramite protocolli di annotazione che selezionano solo un sottoinsieme di documenti per la labellizzazione, lasciandone spesso molti altri non giudicati. Gli autori ipotizzano che questo bias di selezione porti i bi-encoder supervisionati a apprendere implicitamente un prior di rilevanza a livello di documento, $P(R | d)$. Questo prior è un segnale indipendente dalla query codificato nello spazio di rappresentazione del modello, che riflette la probabilità che un documento venga considerato rilevante basandosi esclusivamente sulle sue proprietà di contenuto (ad es., argomento, stile, formato) piuttosto che sulla sua effettiva compatibilità con una specifica query. La preoccupazione centrale è che, nel recupero in domini generali, questi prior appresi possano creare un "gap di reperibilità" (findability gap), dove i documenti con bassi prior di rilevanza sono sistematicamente più difficili da recuperare, anche quando sono genuinamente rilevanti.

Metodologia
L'indagine si articola in tre fasi principali:

1. Esperimento Toy (Validazione Causale): Gli autori hanno iniettato un segnale spurio e indipendente dalla query (il prefisso testuale [X]) in una frazione $M$ di documenti rilevanti nel dataset LoTTE. Hanno quindi effettuato il fine-tuning di bi-encoder (E5-small e Qwen2.5-0.5B) su questi dati distorti. Successivamente, hanno addestrato un semplice classificatore di regressione logistica (il "modello del prior") sugli embedding congelati per recuperare il segnale. Questa configurazione ha testato se i recuperatori potessero apprendere e codificare un bias noto e se tale codifica influenzasse la reperibilità del documento.

2. Analisi su Dominio Generale: Lo studio ha valutato tre bi-encoder supervisionati allo stato dell'arte (BGE, NV-Embed, GTE) attraverso molteplici benchmark di IR (ad es., FEVER, Climate-FEVER, MIRACL, Natural Questions).

   • Stima del Prior: Un classificatore binario è stato addestrato sugli embedding congelati di un recuperatore (utilizzando il suo set di addestramento di documenti rilevanti rispetto ai hard-negative) per predire $P(R | d)$.
   • Generalizzazione: La capacità del modello del prior di distinguere tra documenti rilevanti e non giudicati in dataset non utilizzati durante l'addestramento (held-out) è stata misurata tramite l'AUC.
   • Consistenza: Sono state calcolate le correlazioni di Pearson tra i punteggi dei prior derivanti da diversi recuperatori per determinare se i prior appresi fossero specifici del modello o condivisi.
   • Correlazione di Reperibilità: La reperibilità del documento ($F_R(d)$), definita come la media del rango inverso (average reciprocal rank) sulle query in cui il documento è rilevante, è stata correlata con i punteggi del prior stimati.

3. Analisi Controllata ed Esplicativa:

   • Confronti Appaiati (Matched Comparisons): Per isolare l'effetto del prior da fattori di confondimento (ad es., lunghezza del documento, densità di entità nominate), gli autori hanno creato coppie appaiate di documenti ad alto e basso prior dal dataset MIRACL, controllando dieci specifiche caratteristiche. Sono state generate query sintetiche tramite LLM per valutare le prestazioni di recupero su queste coppie.
   • Spiegazioni Basate su LLM: È stato impiegato un framework a due stadi utilizzando Large Language Models (LLM). In primo luogo, un LLM ($M_1$) ha analizzato coppie di documenti (ad es, rilevanti vs non giudicati, o alto-prior vs basso-prior) per generare spiegazioni in linguaggio naturale delle loro differenze. In secondo luogo, un secondo LLM ($M_2$) ha utilizzato tali spiegazioni per classificare i documenti non utilizzati (held-out), validando l'affidabilità e la generalizzabilità delle caratteristiche identificate.

Risultati Chiave

• Esistenza e Generalizzazione dei Prior: I bi-encoder supervisionati codificano costantemente prior di rilevanza che si generalizzano a documenti non visti. In dataset come FEVER e Climate-FEVER, i modelli del prior hanno raggiunto alti punteggi di AUC (>0.8), indicando che le differenze sistematiche tra documenti rilevanti e non giudicati sono catturate negli embedding.
• Consistenza tra Modelli: I prior non sono specifici del modello; diversi recuperatori addestrati su dati simili mostrano una correlazione da moderata a alta (Pearson $r$ tra 0.5 e 0.7) nei loro punteggi di prior, suggerendo che interiorizzano gli stessi bias di annotazione.
• Impatto sulla Reperibilità: Esiste una forte correlazione positiva tra il prior di rilevanza di un documento e la sua reperibilità per i recuperatori neurali supervisionati. I documenti con prior più bassi sono sistematicamente più difficili da recuperare, anche quando sono genuinamente rilevanti. Questo effetto è assente o significativamente più debole nei metodi lessicali non supervisionati come BM25.
• Conferma Causale: Negli esperimenti di coppie appaiate controllando i fattori di confondimento (lunghezza, densità di entità, ecc.), i recuperatori supervisionati hanno comunque favorito i documenti ad alto prior rispetto a quelli comparabili a basso prior, confermando che il prior stesso guida il gap di reperibilità.
• Driver del Bias: Le spiegazioni basate su LLM hanno rivelato che i protocolli di annotazione favoriscono riassunti completi e autosufficienti di argomenti mainstream (ad es., paragrafi introduttivi di Wikipedia, voci enciclopediche). Al contrario, contenuti di nicchia, frammentari, dipendenti dal contesto o altamente tecnici (ad es, guide pratiche "how-to", paragrafi a metà articolo, abstract tecnici) vengono frequentemente lasciati non giudicati. I recuperatori interiorizzano questi bias, classificando più in alto i documenti con caratteristiche "enciclopediche" indipendentemente dalla reale rilevanza della query.

Significatività e Rivendicazioni
Il lavoro sostiene di aver esposto un limite strutturale del recupero supervisionato: i modelli addestrati su dati annotati non apprendono semplicemente la rilevanza, ma apprendono anche i bias impliciti inerenti al processo di annotazione dei dati di addestramento.

• Rifocalizzazione dei Prior: Mentre lavori precedenti hanno utilizzato segnali indipendenti dalla query per il pruning dell'indice al fine di risparmiare calcolo, questo lavoro inquadra tali segnali come una potenziale fonte di bias che penalizza i documenti genuinamente rilevanti ma a "basso prior".
• Gap di Reperibilità: Lo studio dimostra che il "gap di reperibilità" non è solo una funzione della complessità della query, ma è strutturalmente incorporato nello spazio di rappresentazione del recuperatore a causa degli artefatti di annotazione.
• Natura Diagnostica: Gli autori pongono questo lavoro come diagnostico. Dimostrano l'esistenza e il meccanismo del problema, ma non propongono specifiche strategie di mitigazione, osservando che tali soluzioni richiederebbero compromessi e ulteriori indagini. Evidenziano inoltre il rischio di uso avversariale, in cui la conoscenza di questi prior potrebbe essere sfruttata per gonfiare artificialmente i ranking.

Le conclusioni suggeriscono che la "rilevanza" appresa dai correnti recuperatori neurali è una confluenza tra la vera compatibilità query-documento e i bias statistici di come vengono raccolte le valutazioni di rilevanza.