Robustness of IR Models to Collection Growth

Stel je een enorme bibliotheek voor waar voortdurend boeken worden toegevoegd, bijgewerkt en verwijderd. In de digitale wereld is deze bibliotheek het internet, en de taak om een specifiek boek binnen deze bibliotheek te vinden, wordt informatieverwerking genoemd. Wanneer je een vraag in een zoekmachine typt, scant een complex systeem miljoenen documenten om de documenten te vinden die het beste antwoord geven op jouw zoekopdracht. Ideaal gezien zou dit systeem stabiel moeten zijn; het toevoegen van nieuwe, ongerelateerde boeken aan de bibliotheek zou het niet moeilijker moeten maken om de oorspronkelijke, relevante boeken te vinden. Als een zoekmachine vandaag goed werkt, zou deze er morgen net zo goed bij moeten kunnen werken, zelfs als de collectie documenten aanzienlijk is gegroeid met inhoud die niets met jouw zoekopdracht te maken heeft. Deze stabiliteit is de kernvraag waar onderzoekers aan de Universiteit van Glasgow zich op wilden richten. Ze wilden weten of de wiskundige motoren achter moderne zoektools een groeiende bibliotheek kunnen hanteren zonder de weg kwijt te raken, of dat de handeling van het toevoegen van nieuwe, irrelevante informatie het systeem onvermijdelijk in de war brengt.

Om dit te testen, creëerden de onderzoekers een gecontroleerd experiment door twee zeer verschillende tekstcollecties samen te voegen. Eén collectie, bekend als TREC-COVID, bevat documenten die specifiek over de pandemie gaan en na de periode van 2019 zijn gemaakt. De andere, MS MARCO, is een enorme collectie algemene webfragmenten die vóór 2019 zijn gemaakt. Door deze te combineren, vormden zij een enkele, heterogene bibliotheek waarin de pandemie-documenten slechts een klein deel uitmaakten — ongeveer 1,9 procent — van het totaal. Vervolgens stelden ze zoekopdrachten voor die gericht waren op de pandemie-collectie, om te draaien tegen deze nieuwe, gemengde bibliotheek. Het doel was om te zien of de zoekresultaten voor pandemie-vragen zouden verslechteren omdat het systeem nu werd afgeleid door miljoens ongerelateerde webpagina's van vóór de pandemie. Deze opzet stelde hen in staat om een specifieke eigenschap te meten die zij robuustheid noemen: het vermogen van een zoekmodel om zijn effectiviteit te behouden wanneer er niet-relevante documenten aan de mix worden toegevoegd.

De studie onderzocht twee hoofdtypen zoekmodellen, die van elkaar verschillen door hoe ze naar de documenten kijken die ze rangschikken. Het eerste type, dat de onderzoekers multi-document-agnostisch noemen, behandelt elk document als een geïsoleerd eiland. Wanneer het een document scoort, kijkt het alleen naar de relatie tussen de zoekopdracht en dat specifieke document, waarbij de rest van de bibliotheek wordt genegeerd. Het tweede type, de multi-document-afhankelijke variant, lijkt meer op een groepsdiscussie; het kijkt naar de context van andere documenten om te beslissen hoe relevant een specifiek document is. Sommige van deze modellen kijken bijvoorbeeld naar de topresultaten van een eerste passage om de scoring te verfijnen, of ze gebruiken statistieken over hoe gebruikelijk bepaalde woorden zijn over de gehele collectie om hun antwoorden aan te passen. De onderzoekers hypothetiseerden dat deze afhankelijkheid van de bredere collectie de tweede soort model kwetsbaarder zou maken wanneer de bibliotheek groeit met ongerelateerde inhoud.

De resultaten van het experiment toonden een duidelijk patroon. Toen de onderzoekers de miljoenen ongerelateerde webpagina's aan de pandemie-collectie toevoegden, leden de zoekmodellen die vertrouwden op de bredere context van de collectie een aanzienlijke daling in prestaties. Hun vermogen om de juiste pandemie-documenten te vinden, verzwakte merkbaar. In contrast hiermee waren de modellen die elk document onafhankelijk behandelden veel veerkrachtiger. Zij behielden hun vermogen om de relevante informatie te vinden, zelfs toen de bibliotheek werd overspoeld met irrelevante ruis. Dit suggereert dat voor de eerste fase van het zoeken, waarbij een systeem door een enorme poel van kandidaten moet zeven, het negeren van de omringende context en het strikt focussen op de match tussen de zoekopdracht en het document een veiligere strategie is. De modellen die probeerden de "groepscontext" van de gehele bibliotheek te gebruiken, werden gemakkelijk beïnvloed door de enorme hoeveelheid nieuwe, ongerelateerde materiaal, waardoor ze effectief verdwaalden in de ruis.

De onderzoekers testten ook een veelvoorkomende techniek genaamd pseudo-relevantie-feedback, waarbij een systeem probeert de zoekopdracht te verbeteren door te doen alsof de topresultaten die het heeft gevonden correct zijn en deze gebruikt om de zoekopdracht te verfijnen. In deze gemengde-bibliotheeksetting werkte deze techniek averechts. In plaats van het systeem te helpen focussen, trok het feedbackmechanisme de zoekresultaten naar de dominante collectie van algemene webpagina's, wat de nauwkeurigheid voor de specifieke pandemie-zoekopdrachten verder verminderde. Dit gebeurde omdat het systeem de verkeerde documenten gebruikte om zijn denken te sturen, wat een bias naar het grotere, ongerelateerde deel van de bibliotheek versterkte. Het verhaal veranderde echter enigszins bij de tweede fase van het zoekproces, de zogenaamde re-ranking. Zodra de initiële zoekopdracht de lijst met kandidaten tot een kleinere set had beperkt, presteerden beide typen modellen — die wel en die geen context gebruikten — even goed. Op dit stadium schaadde de toevoeging van irrelevante documenten hun vermogen om de definitieve resultaten correct te ordenen niet significant.

Uiteindelijk laat de studie zien dat huidige zoekarchitecturen een systematische zwakte hebben wanneer collecties groeien. De manier waarop een model zijn rangschikking conditioneert op andere documenten speelt een cruciale rol in zijn stabiliteit. Hoewel modellen die de bredere collectie negeren robuuster zijn tijdens de initiële zoekopdracht, veroorzaakt de toevoeging van niet-relevante documenten nog steeds enige prestatievermindering over de hele linie, wat betekent dat geen enkel getest systeem perfect immuun was voor het probleem. De bevindingen suggereren dat, naarmate digitale bibliotheken blijven groeien, het vertrouwen op modellen die expliciet zijn ontworpen om met deze groei om te gaan, essentieel is. De studie beweert niet het probleem te hebben opgelost, maar biedt een duidelijke meting van het probleem en een taxonomie om te begrijpen waarom sommige systemen falen wanneer de bibliotheek groter wordt. Het benadrukt dat voor zoekmachines om effectief te blijven in een dynamische wereld, hun onderliggende logica opnieuw moet worden bedacht om rekening te houden met de constante instroom van nieuwe, ongerelateerde informatie.