Robustness of IR Models to Collection Growth

Imagina una vasta biblioteca donde se añaden, actualizan y eliminan libros constantemente. En el mundo digital, esta biblioteca es el internet, y la tarea de encontrar un libro específico dentro de ella se llama recuperación de información. Cuando escribes una pregunta en un motor de búsqueda, un sistema complejo escanea millones de documentos para encontrar los que mejor responden a tu consulta. Idealmente, este sistema debería ser estable; añadir libros nuevos y no relacionados a la biblioteca no debería dificultar la búsqueda de los originales y relevantes. Si un motor de búsqueda funciona bien hoy, debería funcionar igual de bien mañana, incluso si la colección de documentos ha crecido significativamente con contenido que no tiene nada que ver con tu búsqueda. Esta estabilidad es la pregunta central que los investigadores de la Universidad de Glasgow se propusieron investigar. Querían saber si los motores matemáticos detrás de las herramientas de búsqueda modernas pueden manejar una biblioteca creciente sin perder el rumbo, o si el acto de añadir nueva información irrelevante confunde inevitablemente al sistema.

Para probar esto, los investigadores crearon un experimento controlado al fusionar dos colecciones de texto muy diferentes. Una colección, conocida como TREC-COVID, contiene documentos específicamente sobre la pandemia, creados después de 2019. La otra, MS MARCO, es una colección masiva de pasajes web generales creados antes de 2019. Al combinarlas, formaron una biblioteca heterogénea única donde los documentos de la pandemia constituían solo una pequeña fracción: aproximadamente el 1,9 por ciento del total. Luego, lanzaron consultas de búsqueda diseñadas para la colección de la pandemia contra esta nueva biblioteca mixta. El objetivo era ver si los resultados de búsqueda para preguntas sobre la pandemia se degradarían porque el sistema se veía ahora distraído por millones de páginas web no relacionadas y anteriores a la pandemia. Esta configuración les permitió medir una propiedad específica que llaman robustez: la capacidad de un modelo de búsqueda para mantener su efectividad cuando se añaden documentos no relevantes a la mezcla.

El estudio examinó dos tipos principales de modelos de búsqueda, distinguidos por cómo observan los documentos que están clasificando. El primer tipo, que los investigadores llaman multi-documento-agnóstico, trata cada documento como una isla aislada. Cuando califica un documento, observa únicamente la relación entre la consulta de búsqueda y ese único documento, ignorando todo lo demás en la biblioteca. El segundo tipo, llamado multi-documento-dependiente, es más parecido a una discusión grupal; observa el contexto de otros documentos para decidir qué tan relevante es uno específico. Por ejemplo, algunos de estos modelos podrían observar los resultados superiores de una primera pasada para refinar su puntuación, o podrían utilizar estadísticas sobre qué tan comunes son ciertas palabras en toda la colección para ajustar sus respuestas. Los investigadores hipotetizaron que esta dependencia del contexto más amplio de la colección podría hacer que el segundo tipo de modelo fuera más frágil cuando la biblioteca crece con contenido no relacionado.

Los resultados del experimento revelaron un patrón claro. Cuando los investigadores añadieron los millones de páginas web no relacionadas a la colección de la pandemia, los modelos de búsqueda que dependían del contexto más amplio de la colección sufrieron una caída significativa en su rendimiento. Su capacidad para encontrar los documentos correctos de la pandemia se debilitó notablemente. En contraste, los modelos que trataban cada documento de forma independiente fueron mucho más resilientes. Mantuvieron su capacidad para encontrar la información relevante incluso cuando la biblioteca se inundó de ruido irrelevante. Esto sugiere que para la etapa inicial de la búsqueda, donde un sistema debe filtrar un enorme grupo de candidatos, ignorar el contexto circundante y centrarse estrictamente en la coincidencia entre la consulta y el documento es una estrategia más segura. Los modelos que intentaron usar el "contexto grupal" de toda la biblioteca se dejaron llevar fácilmente por el enorme volumen de nuevo material no relacionado, perdiéndose efectivamente en el ruido.

Los investigadores también probaron una técnica común llamada retroalimentación de relevancia pseudo (pseudo-relevance feedback), donde un sistema intenta mejorar su búsqueda pretendiendo que los primeros resultados que encontró son correctos y utilizándolos para refinar la consulta. En este entorno de biblioteca mixta, esta técnica resultó contraproducente. En lugar de ayudar al sistema a enfocarse, el mecanismo de retroalimentación atrajo los resultados de búsqueda hacia la colección dominante de páginas web generales, reduciendo aún más la precisión para las consultas específicas de la pandemia. Esto sucedió porque el sistema estaba utilizando los documentos incorrectos para guiar su pensamiento, reforzando un sesgo hacia la parte más grande y no relacionada de la biblioteca. Sin embargo, la historia cambió ligeramente en la segunda etapa del proceso de búsqueda, conocida como re-clasificación (re-ranking). Una vez que la búsqueda inicial había reducido la lista a un conjunto más pequeño de candidatos, ambos tipos de modelos —aquellos que miraban el contexto y aquellos que no lo hacían— funcionaron de manera igual de bien. En esta etapa, la adición de documentos irrelevantes no afectó significativamente su capacidad para ordenar los resultados finales correctamente.

En última instancia, el estudio demuestra que las arquitecturas de búsqueda actuales tienen una debilidad sistemática cuando las colecciones crecen. La forma en que un modelo condiciona su clasificación en función de otros documentos juega un papel crítico en su estabilidad. Si bien los modelos que ignoran la colección más amplia son más robustos durante la búsqueda inicial, la adición de documentos no relevantes sigue causando cierta degradación del rendimiento en todos los casos, lo que significa que ningún sistema probado fue perfectamente inmune al problema. Los hallazgos sugieren que, a medida que las bibliotecas digitales continúan expandiéndose, confiar en modelos que estén diseñados explícitamente para manejar este crecimiento es esencial. La investigación no pretende haber resuelto el problema, sino que proporciona una medición clara del mismo y una taxonomía para entender por qué algunos sistemas fallan cuando la biblioteca se hace más grande. Destaca que, para que los motores de búsqueda sigan siendo efectivos en un mundo dinámico, su lógica subyacente debe ser repensada para dar cuenta de la constante afluencia de nueva información no relacionada.