Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors

Technische Samenvatting: "Doen neurale retrievers bepaalde documenten de voorkeur? Bewijs van geleerde relevantie-priors"

Probleemformulering
Standaard informatiezoekmodellen (IR) worden getraind om de posterieure waarschijnlijkheid van relevantie te schatten, $P(R | q, d)$, gegeven een query $q$ en een document $d$. De trainingsdata voor gesuperviseerde retrievers wordt echter geconstrueerd via annotatieprotocollen die slechts een subset van documenten selecteren voor labeling, waardoor veel andere vaak ongeoordeeld blijven. De auteurs hypothetiseren dat deze selectiebias leidt tot het impliciet aanleren van een documentniveau relevantie-prior, $P(R | d)$, door gesuperviseerde bi-encoders. Deze prior is een query-onafhankelijk signaal dat is gecodeerd in de representatieruimte van het model, wat de waarschijnlijkheid reflecteert dat een document als relevant wordt beschouwd op basis van louter de inhoudelijke eigenschappen (bijv. onderwerp, stijl, formaat), in plaats van de werkelijke compatibiliteit met een specifieke query. De kernzorg is dat deze geleerde priors in algemene domeinen voor retrieval een "vindbaarheidskloof" (findability gap) kunnen creëren, waarbij documenten met lage relevantie-priors systematisch moeilijker te vinden zijn, zelfs wanneer ze daadwerkelijk relevant zijn.

Methodologie
Het onderzoek verloopt via drie hoofdfasen:

1. Toy Experiment (Causale Validatie): De auteurs injecteerden een spurieus, query-onafhankelijk signaal (de tekstprefix [X]) in een fractie $M$ van de relevante documenten in de LoTTE-dataset. Ze finetunede bi-encoders (E5-small en Qwen2.5-0.5B) op deze bevoordeelde data. Vervolgens trainden ze een eenvoudige logistische regressieclassificator (het "prior-model") op de bevroren embeddings om het signaal te herstellen. Deze opstelling testte of retrievers in staat waren een bekende bias te leren en te coderen, en of deze codering de vindbaarheid van documenten beïnvloedde.

2. Algemene Domeinanalyse: De studie evalueerde drie state-of-the-art gesuperviseerde bi-encoders (BGE, NV-Embed, GTE) over meerdere IR-benchmarks (bijv. FEVER, Climate-FEVER, MIRACL, Natural Questions).

   • Prior Schatting: Een binaire classificator werd getraind op de bevroren embeddings van een retriever (met gebruik van de trainingsset van relevante versus hard-negatieve documenten) om $P(R | d)$ te voorspellen.
   • Generalisatie: Het vermogen van het prior-model om relevante van ongeoordeelde documenten te onderscheiden in gehouden datasets werd gemeten met behulp van AUC.
   • Consistentie: Pearson-correlaties werden berekend tussen de uit verschillende retrievers afgeleide prior-scores om te bepalen of de geleerde priors model-specifiek of gedeeld waren.
   • Vindbaarheid Correlatie: Documentvindbaarheid ($F_R(d)$), gedefinieerd als de gemiddelde reciproke rangorde over queries waarvoor het document relevant is, werd gecorreleerd met de geschatte prior-scores.

3. Gecontroleerde en Verklarende Analyse:

   • Matched Vergelijkingen: Om het effect van de prior te isoleren van verstorende factoren (bijv. documentlengte, dichtheid van benoemde entiteiten), creëerden de auteurs gematchte paren van high-prior en low-prior documenten uit de MIRACL-dataset, waarbij ze tien specifieke kenmerken controleerden. Synthetische queries werden gegenereerd via LLM's om de retrieval-prestaties op deze paren te evalueren.
   • LLM-gebaseerde Verklaringen: Een twee-fasen framework met behulp van Large Language Models (LLM's) werd ingezet. Eerst analyseerde een LLM ($M_1$) paren documenten (bijv. relevant versus ongeoordeeld, of high-prior versus low-prior) om natuurlijke taalverklaringen van hun verschillen te genereren. Vervolgens gebruikte een tweede LLM ($M_2$) deze verklaringen om gehouden documenten te classificeren, waarmee de betrouwbaarheid en generaliseerbaarheid van de geïdentificeerde kenmerken werd gevalideerd.

Belangrijkste Resultaten

• Bestaan en Generalisatie van Priors: Gesuperviseerde bi-encoders coderen consistent relevantie-priors die generaliseren naar ongeziene documenten. In datasets zoals FEVER en Climate-FEVER behaalden de prior-modellen hoge AUC-scores (>0.8), wat aangeeft dat systematische verschillen tussen relevante en ongeoordeelde documenten worden gevangen in de embeddings.
• Cross-Model Consistentie: Priors zijn niet model-specifiek; verschillende retrievers die op vergelijkbare data zijn getraind, vertonen een matige tot hoge correlatie (0.5–0.7 Pearson $r$) in hun prior-scores, wat suggereert dat ze dezelfde annotatiebiases internaliseren.
• Impact op Vindbaarheid: Er is een sterke positieve correlatie tussen de relevantie-prior van een document en de vindbaarheid ervan voor gesuperviseerde neurale retrievers. Documenten met lagere priors zijn systematisch moeilijker te vinden, zelfs wanneer ze daadwerkelijk relevant zijn. Dit effect is afwezig of aanzienlijk zwakker bij ongesuperviseerde lexicale methoden zoals BM25.
• Causale Bevestiging: In matched-pair experimenten waarbij werd gecontroleerd voor confounders (lengte, entiteitsdichtheid, etc.), gaven gesuperviseerde retrievers nog steeds de voorkeur aan high-prior documenten boven vergelijkbare low-prior documenten, wat bevestigt dat de prior zelf de vindbaarheidskloof drijft.
• Drijvers van Bias: LLM-gebaseerde verklaringen toonden aan dat annotatieprotocollen de voorkeur geven aan omvattende, zelfstandige samenvattingen van mainstream onderwerpen (bijv. Wikipedia-inleidende paragrafen, encyclopedische artikelen). Daarentegen wordt niche-, fragmentarische, contextafhankelijke of zeer technische inhoud (bijv. praktische handleidingen, paragrafen uit het midden van een artikel, technische abstracts) vaak ongeoordeeld gelaten. Retrievers internaliseren deze biases en rangschikken documenten met "encyclopedische" kenmerken hoger, ongeacht de werkelijke query-relevantie.

Betekenis en Claims
Het artikel beweert een structurele beperking van gesuperviseerde retrieval bloot te leggen: modellen die op geannoteerde data zijn getraind, leren niet alleen relevantie, maar leren ook de impliciete documentvoorkeuren die inherent zijn aan het annotatieproces van de trainingsdata.

• Herformulering van Priors: Terwijl eerdere werken query-onafhankelijke signalen hebben gebruikt voor index pruning om rekenkracht te besparen, herformuleert dit werk dergelijke signalen als een potentiële bron van bias die genuanceerde maar "low-prior" documenten benadeelt.
• Vindbaarheidskloof: De studie demonstreert dat de "vindbaarheidskloof" niet alleen een functie is van query-complexiteit, maar structureel ingebed is in de representatieruimte van de retriever als gevolg van annotatie-artefacten.
• Diagnostisch Karakter: De auteurs positioneren dit werk als diagnostisch. Ze tonen het bestaan en het mechanisme van het probleem aan, maar stellen geen specifieke mitigatiestrategieën voor, waarbij zij opmerken dat dergelijke oplossingen trade-offs en verder onderzoek vereisen. Ze wijzen ook op het risico van kwaadwillig misbruik, waarbij kennis van deze priors gebruikt kan worden om rankings kunstmatig op te blazen.

De bevindingen suggereren dat de "relevantie" die door huidige neurale retrievers wordt geleerd, een vermenging is van ware query-document compatibiliteit en de statistische biases van de wijze waarop relevantie-oordelen worden verzameld.