Do Neural Retrievers Prefer Certain Documents? Evidence of Learned Relevance Priors

Resumen Técnico: "¿Prefieren los recuperadores neuronales ciertos documentos? Evidencia de prioris de relevancia aprendidas"

Formulación del Problema
Los modelos estándar de recuperación de información (IR) se entrenan para estimar la probabilidad posterior de relevancia, $P(R | q, d)$, dado un query $q$ y un documento $d$. Sin embargo, los datos de entrenamiento para los recuperadores supervisados se construyen mediante protocolos de anotación que seleccionan solo un subconjunto de documentos para su etiquetado, dejando a menudo muchos otros sin juzgar. Los autores plantean la hipótesis de que este sesgo de selección lleva a los bi-encoders supervisados a aprender implícitamente una prior de relevancia a nivel de documento, $P(R | d)$. Esta prior es una señal independiente del query codificada en el espacio de representación del modelo, que refleja la probabilidad de que un documento sea considerado relevante basándose únicamente en sus propiedades de contenido (por ejemplo, tema, estilo, formato) en lugar de su compatibilidad real con un query específico. La preocupación central es que, en la recuperación de dominio general, estas prior aprendidas pueden crear una "brecha de capacidad de hallazgo" (findability gap), donde los documentos con prior de relevancia bajos son sistemáticamente más difíciles de recuperar, incluso cuando son genuinamente relevantes.

Metodología
La investigación procede a través de tres fases principales:

1. Experimento de juguete (Validación Causal): Los autores inyectaron una señal espuria e independiente del query (el prefijo de texto [X]) en una fracción $M$ de los documentos relevantes del conjunto de datos LoTTE. Entrenaron bi-encoders (E5-small y Qwen2.5-0.5B) con estos datos sesgados. Posteriormente, entrenaron un clasificador de regresión logística simple (el "modelo de prior") sobre los embeddings congelados para recuperar la señal. Esta configuración probó si los recuperadores podían aprender y codificar un sesgo conocido y si esta codificación afectaba la capacidad de hallazgo de los documentos.

2. Análisis de Dominio General: El estudio evaluó tres bi-encoders supervisados de vanguardia (BGE, NV-Embed, GTE) a través de múltiples benchmarks de IR (por ejemplo, FEVER, Climate-FEVER, MIRACL, Natural Questions).

   • Estimación de la Prior: Se entrenó un clasificador binario sobre los embeddings congelados de un recuperador (utilizando su conjunto de entrenamiento de documentos relevantes frente a negativos duros) para predecir $P(R | d)$.
   • Generalización: Se midió la capacidad del modelo de prior para distinguir entre documentos relevantes y no juzgados en conjuntos de datos no vistos utilizando AUC.
   • Consistencia: Se computaron las correlaciones de Pearson entre las puntuaciones de prior derivadas de diferentes recuperadores para determinar si las prior aprendidas eran específicas del modelo o compartidas.
   • Correlación de Hallazgo: La capacidad de hallazgo del documento ($F_R(d)$), definida como el rango recíproco promedio sobre los queries donde el documento es relevante, se correlacionó con las puntuaciones de la prior estimada.

3. Análisis Controlado y Explicativo:

   • Comparaciones Emparejadas: Para aislar el efecto de la prior de otros factores de confusión (por ejemplo, longitud del documento, densidad de entidades nombradas), los autores crearon pares emparejados de documentos de alta y baja prior provenientes del conjunto de datos MIRACL, controlando diez características específicas. Se generaron queries sintéticos mediante LLMs para evaluar el rendimiento de recuperación en estos pares.
   • Explicaciones Basadas en LLM: Se empleó un marco de dos etapas utilizando Modelos de Lenguaje de Gran Escala (LLMs). Primero, un LLM ($M_1$) analizó pares de documentos (por ejemplo, relevantes vs. no juzgados, o de alta prior vs. baja prior) para generar explicaciones en lenguaje natural de sus diferencias. Segundo, un segundo LLM ($M_2$) utilizó estas explicaciones para clasificar documentos no vistos, validando la fiabilidad y generalizabilidad de las características identificadas.

Resultos Clave

• Existencia y Generalización de las Priors: Los bi-encoders supervisados codifican consistentemente priors de relevancia que se generalizan a documentos no vistos. En conjuntos de datos como FEVER y Climate-FEVER, los modelos de prior alcanzaron puntuaciones de AUC elevadas (>0.8), lo que indica que las diferencias sistemáticas entre documentos relevantes y no juzgados se capturan en los embeddings.
• Consistencia entre Modelos: Las priors no son específicas del modelo; diferentes recuperadores entrenados con datos similares exhiben correlaciones moderadas a altas (Pearson $r$ de 0.5–0.7) en sus puntuaciones de prior, lo que sugiere que internalizan los mismos sesgos de anotación.
• Impacto en la Capacidad de Hallazgo: Existe una fuerte correlación positiva entre la prior de relevancia de un documento y su capacidad de hallazgo para los recuperadores neuronales supervisados. Los documentos con priors más bajas son sistemáticamente más difíciles de recuperar, incluso cuando son genuinamente relevantes. Este efecto está ausente o es significativamente más débil en métodos léxicos no supervisados como BM25.
• Confirmación Causal: En los experimentos de pares emparejados controlando factores de confusión (longitud, densidad de entidades, etc.), los recuperadores supervisados siguieron favoreciendo a los documentos de alta prior sobre otros comparables de baja prior, confirmando que la propia prior impulsa la brecha de hallazgo.
• Motores del Sesgo: Las explicaciones basadas en LLM revelaron que los protocolos de anotación favorecen resúmenes exhaustivos y autónomos de temas principales (por ejemplo, párrafos introductorios de Wikipedia, entradas enciclopédicas). Por el contrario, el contenido de nicho, fragmentario, dependiente del contexto o altamente técnico (por ejemplo, guías prácticas de "cómo hacer", párrafos intermedios de artículos, abstractos técnicos) es frecuentemente dejado sin juzgar. Los recuperadores internalizan estos sesgos, clasificando documentos con características "enciclopédicas" con rangos más altos independientemente de la relevancia real del query.

Significancia y Reivindicaciones
El artículo afirma exponer una limitación estructural de la recuperación supervisada: los modelos entrenados con datos anotados no solo aprenden la relevancia, sino que también aprenden las preferencias implícitas de los documentos inherentes al proceso de anotación de los datos de entrenamiento.

• Reencuadre de las Priors: Mientras que trabajos previos han utilizado señales independientes del query para la poda de índices con el fin de ahorrar cómputo, este trabajo reencuadra tales señales como una fuente potencial de sesgo que penaliza a los documentos genuinamente relevantes pero de "baja prior".
• Brecha de Hallazgo: El estudio demuestra que la "brecha de hallazgo" no es solo una función de la complejidad del query, sino que está estructuralmente embebida en el espacio de representación del recuperador debido a los artefactos de anotación.
• Naturaleza Diagnóstica: Los autores posicionan este trabajo como diagnóstico. Demuestran la existencia y el mecanismo del problema, pero no proponen estrategias de mitigación específicas, señalando que tales soluciones requerirían compensaciones e investigaciones adicionales. También destacan el riesgo de uso adversarial, donde el conocimiento de estas priors podría ser explotado para inflar artificialmente los rankings.

Los hallazgos sugieren que la "relevancia" aprendida por los actuales recuperadores neuronales es una confluencia de la verdadera compatibilidad query-documento y los sesgos estadísticos de cómo se recolectan los juicios de relevancia.