Robustness of IR Models to Collection Growth

Imagine uma vasta biblioteca onde livros são constantemente adicionados, atualizados e removidos. No mundo digital, esta biblioteca é a internet, e a tarefa de encontrar um livro específico dentro dela é chamada de recuperação de informação. Quando você digita uma pergunta em um mecanismo de busca, um sistema complexo varre milhões de documentos para encontrar aqueles que melhor respondem à sua consulta. Idealmente, este sistema deve ser estável; adicionar novos livros não relacionados à biblioteca não deve tornar mais difícil encontrar os originais relevantes. Se um mecanismo de busca funciona bem hoje, ele deve funcionar tão bem quanto amanhã, mesmo que a coleção de documentos tenha crescido significativamente com conteúdo que não tem nada a ver com a sua pesquisa. Esta estabilidade é a questão central que pesquisadores da Universidade de Glasgow se propuseram a investigar. Eles queriam saber se os motores matemáticos por trás das ferramentas de busca modernas conseguem lidar com uma biblioteca crescente sem perder o rumo, ou se o ato de adicionar novas informações irrelevantes inevitavelmente confunde o sistema.

Para testar isso, os pesquisadores criaram um experimento controlado ao fundir duas coleções de texto muito diferentes. Uma coleção, conhecida como TREC-COVID, contém documentos especificamente sobre a pandemia, criados após 2019. A outra, MS MARCO, é uma coleção massiva de passagens gerais da web criadas antes de 2019. Ao combiná-las, eles formaram uma biblioteca heterogênea única, onde os documentos da pandemia representavam apenas uma pequena fração — cerca de 1,9 por cento — do total. Eles então executaram consultas de busca projetadas para a coleção da pandemia contra esta nova biblioteca mista. O objetivo era ver se os resultados de busca para perguntas sobre a pandemia sofreriam degradação porque o sistema agora estava distraído por milhões de páginas da web pré-pandemia não relacionadas. Essa configuração permitiu que eles medissem uma propriedade específica que chamam de robustez: a capacidade de um modelo de busca manter sua eficácia quando documentos não relevantes são adicionados à mistura.

O estudo examinou dois tipos principais de modelos de busca, distinguidos pela forma como analisam os documentos que estão classificando. O primeiro tipo, que os pesquisadores chamam de multi-documento-agnóstico, trata cada documento como uma ilha isolada. Quando pontua um documento, ele olha apenas para a relação entre a consulta de busca e aquele único documento, ignorando todo o resto da biblioteca. O segundo tipo, chamado de multi-documento-dependente, é mais parecido com uma discussão em grupo; ele observa o contexto de outros documentos para decidir quão relevante é um documento específico. Por exemplo, alguns desses modelos podem observar os principais resultados de uma primeira passagem para refinar sua pontuação, ou podem usar estatísticas sobre a frequência de certas palavras em toda a coleção para ajustar suas respostas. Os pesquisadores hipotetizaram que essa dependência do contexto mais amplo da coleção poderia tornar o segundo tipo de modelo mais frágil quando a biblioteca cresce com conteúdo não relacionado.

Os resultados do experimento revelaram um padrão claro. Quando os pesquisadores adicionaram os milhões de páginas da web não relacionadas à coleção da pandemia, os modelos de busca que dependiam do contexto mais amplo da coleção sofreram uma queda significativa de desempenho. Sua capacidade de encontrar os documentos corretos da pandemia enfraqueceu visivelmente. Em contraste, os modelos que tratavam cada documento de forma independente foram muito mais resilientes. Eles mantiveram sua capacidade de encontrar a informação relevante mesmo quando a biblioteca foi inundada com ruído irrelevante. Isso sugere que, para a fase inicial de busca, onde um sistema deve filtrar um enorme pool de candidatos, ignorar o contexto circundante e focar estritamente na correspondência entre a consulta e o documento é uma estratégia mais segura. Os modelos que tentaram usar o "contexto de grupo" de toda a biblioteca foram facilmente influenciados pelo volume massivo de novo material não relacionado, efetivamente perdendo-se no ruído.

Os pesquisadores também testaram uma técnica comum chamada feedback de relevância pseudo, onde um sistema tenta melhorar sua busca fingindo que os principais resultados encontrados estão corretos e usando-os para refinar a consulta. Neste cenário de biblioteca mista, essa técnica teve o efeito oposto. Em vez de ajudar o sistema a focar, o mecanismo de feedback puxou os resultados da busca em direção à coleção dominante de páginas da web gerais, reduzindo ainda mais a precisão para as consultas específicas da pandemia. Isso aconteceu porque o sistema estava usando os documentos errados para guiar seu pensamento, reforçando um viés em direção à parte maior e não relacionada da biblioteca. No entanto, a história mudou ligeiramente na segunda etapa do processo de busca, conhecida como reclassificação (re-ranking). Uma vez que a busca inicial havia estreitado a lista para um conjunto menor de candidatos, ambos os tipos de modelos — aqueles que olhavam para o contexto e aqueles que não olhavam — desempenharam-se igualmente bem. Nesta fase, a adição de documentos irrelevantes não prejudicou significativamente sua capacidade de ordenar os resultados finais corretamente.

Em última análise, o estudo demonstra que as arquiteturas de busca atuais possuem uma fraqueza sistemática quando as coleções crescem. A maneira como um modelo condiciona sua classificação em outros documentos desempenha um papel crítico em sua estabilidade. Embora os modelos que ignoram a coleção mais ampla sejam mais robustos durante a busca inicial, a adição de documentos não relevantes ainda causa alguma degradação de desempenho em todos os casos, o que significa que nenhum sistema testado foi perfeitamente imune ao problema. As descobertas sugerem que, à medida que as bibliotecas digitais continuam a se expandir, confiar em modelos que são explicitamente projetados para lidar com esse crescimento é essencial. A pesquisa não afirma ter resolvido o problema, mas fornece uma medição clara da questão e uma taxonomia para entender por que alguns sistemas falham quando a biblioteca aumenta. Ela destaca que, para que os mecanismos de busca permaneçam eficazes em um mundo dinâmico, sua lógica subjacente deve ser repensada para levar em conta o fluxo constante de novas informações não relacionadas.