Robustness of IR Models to Collection Growth

Imaginez une vaste bibliothèque où des livres sont constamment ajoutés, mis à jour et retirés. Dans le monde numérique, cette bibliothèque est l'internet, et la tâche de trouver un livre spécifique au sein de celle-ci est appelée la recherche d'information. Lorsque vous tapez une question dans un moteur de recherche, un système complexe scanne des millions de documents pour trouver ceux qui répondent le mieux à votre requête. Idéalement, ce système devrait être stable ; l'ajout de nouveaux livres sans rapport avec le sujet ne devrait pas rendre la recherche des livres originaux et pertinents plus difficile. Si un moteur de recherche fonctionne bien aujourd'hui, il devrait fonctionner tout aussi bien demain, même si la collection de documents s'est considérablement agrandie avec du contenu qui n'a rien à voir avec votre recherche. Cette stabilité est la question centrale que les chercheurs de l'Université de Glasgow ont entrepris d'étudier. Ils voulaient savoir si les moteurs mathématiques derrière les outils de recherche modernes peuvent gérer une bibliothèque croissante sans perdre le fil, ou si l'acte d'ajouter de nouvelles informations non pertinentes finit inévitablement par confondre le système.

Pour tester cela, les chercheurs ont créé une expérience contrôlée en fusionnant deux collections de textes très différentes. L'une, connue sous le nom de TREC-COVID, contient des documents spécifiquement sur la pandémie, créés après 2019. L'autre, MS MARCO, est une collection massive de passages web généraux créés avant 2019. En les combinant, ils ont formé une bibliothèque hétérogène unique où les documents sur la pandémie ne représentaient qu'une infime fraction — environ 1,9 % — du total. Ils ont ensuite soumis des requêtes de recherche conçues pour la collection sur la pandémie à cette nouvelle bibliothèque mixte. L'objectif était de voir si les résultats de recherche pour les questions sur la pandémie se dégraderaient parce que le système était désormais distrait par des millions de pages web pré-pandémiques sans rapport. Cette configuration leur a permis de mesurer une propriété spécifique qu'ils appellent la robustesse : la capacité d'un modèle de recherche à maintenir son efficacité lorsque des documents non pertinents sont ajoutés au mélange.

L'étude a examiné deux principaux types de modèles de recherche, distingués par la manière dont ils examinent les documents qu'ils classent. Le premier type, que les chercheurs appellent « multi-document-agnostic » (indépendant du contexte multi-documents), traite chaque document comme une île isolée. Lorsqu'il évalue un document, il regarde uniquement la relation entre la requête de recherche et ce document unique, ignorant tout le reste de la bibliothèque. Le second type, appelé « multi-document-dependent » (dépendant du contexte multi-documents), ressemble davantage à une discussion de groupe ; il examine le contexte des autres documents pour décider de la pertinence d'un document spécifique. Par exemple, certains de ces modèles peuvent examiner les meilleurs résultats d'un premier passage pour affiner leur évaluation, ou ils peuvent utiliser des statistiques sur la fréquence de certains mots à travers l'ensemble de la collection pour ajuster leurs réponses. Les chercheurs ont émis l'hypothèse que cette dépendance au contexte plus large de la collection pourrait rendre le second type de modèle plus fragile lorsque la bibliothèque sitte avec du contenu non pertinent.

Les résultats de l'expérience ont révélé un schéma clair. Lorsque les chercheurs ont ajouté les millions de pages web sans rapport à la collection sur la pandémie, les modèles de recherche qui reposaient sur le contexte plus large de la collection ont subi une baisse significative de performance. Leur capacité à trouver les documents corrects sur la pandémie s'est nettement affaiblie. En revanche, les modèles qui traitaient chaque document de manière indépendante étaient beaucoup plus résilients. Ils ont maintenu leur capacité à trouver l'information pertinente même lorsque la bibliothèque était inondée de bruit non pertinent. Cela suggère que pour l'étape initiale de la recherche, où un système doit passer à travers un pool massif de candidats, ignorer le contexte environnant et se concentrer strictement sur la correspondance entre la requête et le document est une stratégie plus sûre. Les modèles qui tentaient d'utiliser le « contexte de groupe » de l'ensemble de la bibliothèque étaient facilement influençables par le volume massif de nouveaux contenus non liés, se perdant ainsi efficacement dans le bruit.

Les chercheurs ont également testé une technique courante appelée « pseudo-relevance feedback » (rétroaction de pseudo-pertinence), où un système tente d'améliorer sa recherche en prétendant que les premiers résultats trouvés sont corrects et en les utilisant pour affiner la requête. Dans ce contexte de bibliothèque mixte, cette technique a eu l'effet inverse de celui recherché. Au lieu d'aider le système à se concentrer, le mécanisme de rétroaction a attiré les résultats de recherche vers la collection dominante de pages web générales, réduisant davantage la précision pour les requêtes spécifiques à la pandémie. Cela s'est produit parce que le système utilisait les mauvais documents pour guider sa réflexion, renforçant un biais vers la partie plus large et non liée de la bibliothèque. Cependant, l'histoire change légèrement à la seconde étape du processus de recherche, appelée « re-ranking » (reclassement). Une fois que la recherche initiale a réduit la liste à un ensemble plus restreint de candidats, les deux types de modèles — ceux qui regardent le contexte et ceux qui ne le font pas — ont performé de manière égale. À ce stade, l'ajout de documents non pertinents n'a pas affecté de manière significative leur capacité à ordonner correctement les résultats finaux.

En fin de compte, l'étude démontre que les architectures de recherche actuelles présentent une faiblesse systématique lorsque les collections croissent. La manière dont un modèle conditionne son classement en fonction des autres documents joue un rôle critique dans sa stabilité. Bien que les modèles qui ignorent la collection plus large soient plus robustes lors de la recherche initiale, l'ajout de documents non pertinents provoque malgré tout une dégradation des performances de manière générale, ce qui signifie qu'aucun système testé n'était parfaitement immunisé contre le problème. Les conclusions suggèrent qu'à mesure que les bibliothèques numériques continuent de s'étendre, compter sur des modèles explicitement conçus pour gérer cette croissance est essentiel. La recherche ne prétend pas avoir résolu le problème, mais elle fournit une mesure claire de l'enjeu et une taxonomie pour comprendre pourquoi certains systèmes échouent lorsque la bibliothèque s'agrandit. Elle souligne que pour que les moteurs de recherche restent efficaces dans un monde dynamique, leur logique sous-jacente doit être repensée pour tenir compte de l'afflux constant de nouvelles informations non liées.