Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors

Resumo Técnico: "Os Recuperadores Neurais Preferem Certos Documentos? Evidências de Priores de Relevância Aprendidos"

Formulação do Problema
Modelos padrão de recuperação de informação (IR) são treinados para estimar a probabilidade posterior de relevância, $P(R | q, d)$, dado uma consulta $q$ e um documento $d$. No entanto, os dados de treinamento para recuperadores supervisionados são construídos via protocolos de anotação que selecionam apenas um subconjunto de documentos para rotulagem, frequentemente deixando muitos outros não julgados. Os autores hipotetizam que esse viés de seleção leva os bi-encoders supervisionados a aprenderem implicitamente um prior de relevância ao nível do documento, $P(R | d)$. Este prior é um sinal independente da consulta codificado no espaço de representação do modelo, refletindo a probabilidade de um documento ser considerado relevante baseando-se apenas em suas propriedades de conteúdo (ex: tópico, estilo, formato), em vez de sua compatibilidade real com uma consulta específica. A preocupação central é que, em recuperação de domínio geral, esses priors aprendidos podem criar um "gap de encontrabilidade", onde documentos com baixos priors de relevância são sistematicamente mais difíceis de recuperar, mesmo quando são genuinamente relevantes.

Metodologia
A investigação procede através de três fases principais:

1. Experimento de Brinquedo (Validação Causal): Os autores injetaram um sinal espúrio e independente da consulta (o prefixo de texto [X]) em uma fração $M$ de documentos relevantes no dataset LoTTE. Eles realizaram o ajuste fino (fine-tuning) de bi-encoders (E5-small e Qwen2.5-0.5B) sobre esses dados enviesados. Em seguida, treinaram um classificador de regressão logística simples (o "modelo de prior") sobre os embeddings congelados para recuperar o sinal. Esta configuração testou se os recuperadores poderiam aprender e codificar um viés conhecido e se essa codificação afetaria a encontrabilidade do documento.

2. Análise de Domínio Geral: O estudo avaliou três bi-encoders supervisionados de última geração (BGE, NV-Embed, GTE) através de múltiplos benchmarks de IR (ex: FEVER, Climate-FEVER, MIRACL, Natural Questions).

   • Estimativa de Prior: Um classificador binário foi treinado nos embeddings congelados de um recuperador (usando seu conjunto de treinamento de documentos relevantes vs. negativos difíceis) para prever $P(R | d)$.
   • Generalização: A capacidade do modelo de prior em distinguir documentos relevantes de documentos não julgados em datasets mantidos fora do treino (held-out) foi medida usando AUC.
   • Consistência: Correlações de Pearson foram computadas entre os scores de prior derivados de diferentes recuperadores para determinar se os priors aprendidos eram específicos do modelo ou compartilhados.
   • Correlação de Encontrabilidade: A encontrabilidade do documento ($F_R(d)$), definida como o ranking recíproco médio sobre consultas onde o documento é relevante, foi correlacionada com os scores de prior estimados.

3. Análise Controlada e Explicativa:

   • Comparações Pareadas (Matched Comparisons): Para isolar o efeito do prior de outros fatores de confusão (ex: comprimento do documento, densidade de entidades nomeadas), os autores criaram pares pareados de documentos de alto e baixo prior a partir do dataset MIRACL, controlando dez características específicas. Consultas sintéticas foram geradas via LLMs para avaliar o desempenho de recuperação nesses pares.
   • Explicações Baseadas em LLM: Um framework de dois estágios usando Modelos de Linguagem de Grande Escala (LLMs) foi empregado. Primeiro, um LLM ($M_1$) analisou pares de documentos (ex: relevantes vs. não julgados, ou alto-prior vs. baixo-prior) para gerar explicações em linguagem natural das suas diferenças. Segundo, um segundo LLM ($M_2$) usou essas explicações para classificar documentos mantidos fora do treino, validando a confiabilidade e generalização das características identificadas.

Principais Resultados

• Existência e Generalização de Priors: Bi-encoders supervisionados codificam consistentemente priors de relevância que se generalizam para documentos não vistos. Em datasets como FEVER e Climate-FEVER, os modelos de prior alcançaram altos scores de AUC (>0.8), indicando que diferenças sistemáticas entre documentos relevantes e não julgados são capturadas nos embeddings.
• Consistência entre Modelos: Os priors não são específicos do modelo; diferentes recuperadores treinados em dados similares exibem correlação moderada a alta (Pearson $r$ de 0.5–0.7) em seus scores de prior, sugerindo que eles internalizam os mesmos vieses de anotação.
• Impacto na Encontrabilidade: Existe uma forte correlação positiva entre o prior de relevância de um documento e sua encontrabilidade para recuperadores neurais supervisionados. Documentos com priors mais baixos são sistematicamente mais difíceis de recuperar, mesmo quando são genuinamente relevantes. Este efeito está ausente ou é significativamente mais fraco em métodos léxicos não supervisionados como BM25.
• Confirmação Causal: Em experimentos de pares pareados controlando confundidores (comprimento, densidade de entidades, etc.), os recuperadores supervisionados ainda favoreceram documentos de alto prior sobre documentos comparáveis de baixo prior, confirmando que o próprio prior impulsiona o gap de encontrabilidade.
• Drivers do Viés: Explicações baseadas em LLM revelaram que os protocolos de anotação favorecem resumos abrangentes e autossuficientes de tópicos mainstream (ex: parágrafos introdutórios de Wikipedia, entradas enciclopédicas). Por outro vez, conteúdos de nicho, fragmentados, dependentes de contexto ou altamente técnicos (ex: guias práticos de "como fazer", parágrafos do meio de artigos, abstracts técnicos) são frequentemente deixados sem julgamento. Os recuperadores internalizam esses vieses, ranqueando documentos com características "enciclopédicas" mais alto, independentemente da relevância real da consulta.

Significância e Alegações
O artigo afirma expor uma limitação estrutural da recuperação supervisionada: os modelos treinados em dados anotados não apenas aprendem a relevância; eles também aprendem as preferências implícitas de documentos inerentes ao processo de anotação dos dados de treinamento.

• Reenquadramento de Priors: Enquanto trabalhos anteriores utilizaram sinais independentes de consulta para poda de índices (index pruning) visando economizar computação, este trabalho reenquadra tais sinais como uma fonte potencial de viés que penaliza documentos genuinamente relevantes, porém de "baixo prior".
• Gap de Encontrabilidade: O estudo demonstra que o "gap de encontrabilidade" não é apenas uma função da complexidade da consulta, mas está estruturalmente incorporado no espaço de representação do recuperador devido aos artefatos de anotação.
• Natureza Diagnóstica: Os autores posicionam este trabalho como diagnóstico. Eles demonstram a existência e o mecanismo do problema, mas não propõem estratégias de mitigação específicas, observando que tais soluções exigiriam trade-offs e investigações adicionais. Eles também destacam o risco de uso adversário, onde o conhecimento desses priors poderia ser explorado para inflar artificialmente os rankings.

As descobertas sugerem que a "relevância" aprendida pelos atuais recuperadores neurais é uma confluência da verdadeira compatibilidade consulta-documento e dos vieses estatísticos de como os julgamentos de relevância são coletados.