Robustness of IR Models to Collection Growth

एक विशाल पुस्तकालय की कल्पना करें जहाँ लगातार पुस्तकें जोड़ी जा रही हैं, अपडेट की जा रही हैं और हटाई जा रही हैं। डिजिटल दुनिया में, यह पुस्तकालय इंटरनेट है, और किसी विशिष्ट पुस्तक को खोजने के कार्य को सूचना पुनर्प्राप्ति (information retrieval) कहा जाता है। जब आप किसी खोज इंजन (search engine) में प्रश्न टाइप करते हैं, तो एक जटिल प्रणाली लाखों दस्तावेज़ों को स्कैन करती है ताकि उन दस्तावेज़ों को खोजा जा सके जो आपके प्रश्न का सर्वोत्तम उत्तर देते हैं। आदर्श रूप से, इस प्रणाली को स्थिर होना चाहिए; पुस्तकालय में नई, असंबंधित पुस्तकें जोड़ने से मूल, प्रासंगिक पुस्तकों को खोजना कठिन नहीं होना चाहिए। यदि एक खोज इंजन आज अच्छी तरह से काम करता है, तो उसे कल भी उतना ही अच्छा काम करना चाहिए, भले ही दस्तावेज़ों का संग्रह काफी बढ़ गया हो जिसमें आपकी खोज से संबंधित कुछ भी न हो। यही स्थिरता वह मुख्य प्रश्न है जिसकी जांच करने के लिए ग्लासगो विश्वविद्यालय के शोधकर्ताओं ने प्रयास किया। वे जानना चाहते थे कि क्या आधुनिक खोज उपकरणों के पीछे के गणितीय इंजन बढ़ते हुए पुस्तकालय को बिना रास्ता भटके संभालने में सक्षम हैं, या क्या नई, अप्रासंगिक जानकारी जोड़ने से सिस्टम अनिवार्य रूप से भ्रमित हो जाता है।

इसका परीक्षण करने के लिए, शोधकर्ताओं ने दो बहुत अलग टेक्स्ट संग्रहों को मिलाकर एक नियंत्रित प्रयोग बनाया। एक संग्रह, जिसे TREC-COVID के रूप में जाना जाता है, महामारी के बारे में विशिष्ट दस्तावेज़ों से बना है, जो 2019 के बाद बनाए गए थे। दूसरा, MS MARCO है, जो 2019 से पहले बनाया गया सामान्य वेब अंशों का एक विशाल संग्रह है। उन्हें मिलाकर, उन्होंने एक एकल, विषम (heterogeneous) पुस्तकालय बनाया जहाँ महामारी के दस्तावेज़ कुल का केवल एक छोटा सा हिस्सा—लगभग 1.9 प्रतिशत—थे। इसके बाद उन्होंने महामारी वाले संग्रह के लिए डिज़ाइन किए गए खोज प्रश्नों को इस नए, मिश्रित पुस्तकालय के विरुद्ध चलाया। लक्ष्य यह देखना था कि क्या महामारी के प्रश्नों के लिए खोज परिणाम इसलिए खराब हो जाते हैं क्योंकि सिस्टम अब लाखों असंबंधित पूर्व-महामारी वेब पेजों से विचलित हो गया है। इस सेटअप ने उन्हें एक विशिष्ट गुण को मापने की अनुमति दी जिसे वे 'मजबूती' (robustness) कहते हैं: मिश्रण में गैर-प्रासंगिक दस्तावेज़ जोड़ने पर एक खोज मॉडल की प्रभावशीलता बनाए रखने की क्षमता।

अध्ययन ने दो मुख्य प्रकार के खोज मॉडलों की जांच की, जो इस बात से अलग होते हैं कि वे रैंक किए जा रहे दस्तावेज़ों को कैसे देखते हैं। पहला प्रकार, जिसे शोधकर्ता 'मल्टी-डॉक्यूमेंट-अग्नोस्टिक' (multi-document-agnostic) कहते हैं, प्रत्येक दस्तावेज़ को एक अलग द्वीप की तरह मानता है। जब यह किसी दस्तावेज़ को स्कोर देता है, तो यह केवल खोज प्रश्न और उस एकल दस्तावेज़ के बीच के संबंध को देखता है, पुस्तकालय में अन्य सब कुछ को अनदेखा कर देता है। दूसरा प्रकार, जिसे 'मल्टी-डॉक्यूमेंट-डिपेंडेंट' (multi-document-dependent) कहा जाता है, एक समूह चर्चा की तरह है; यह एक विशिष्ट दस्तावेज़ की प्रासंगिकता तय करने के लिए अन्य दस्तावेज़ों के संदर्भ को देखता है। उदाहरण के लिए, इनमें से कुछ मॉडल पहले चरण के शीर्ष परिणामों को परिष्कृत करने के लिए उपयोग कर सकते हैं, या वे पूरे संग्रह में कुछ शब्दों के कितने सामान्य हैं, इसके बारे में सांख्यिकी का उपयोग करके अपने उत्तरों को समायोजित कर सकते हैं। शोधकर्ताओं ने परिकल्पना की कि संग्रह के व्यापक संदर्भ पर यह निर्भरता दूसरे प्रकार के मॉडल को अधिक नाजुक बना सकती है जब पुस्तकालय असंबंधित सामग्री के साथ बढ़ता है।

प्रयोग के परिणामों ने एक स्पष्ट पैटर्न का खुलासा किया। जब शोधकर्ताओं ने महामारी के संग्रह में लाखों असंबंधित वेब पेज जोड़े, तो वे खोज मॉडल जो संग्रह के व्यापक संदर्भ पर निर्भर थे, उनके प्रदर्शन में भारी गिरावट आई। सही महामारी संबंधी दस्तावेज़ों को खोजने की उनकी क्षमता स्पष्ट रूप से कमजोर हो गई। इसके विपरीत, वे मॉडल जो प्रत्येक दस्तावेज़ को स्वतंत्र रूप से देखते थे, बहुत अधिक लचीले थे। उन्होंने प्रासंगिक जानकारी खोजने की अपनी क्षमता बनाए रखी, भले ही पुस्तकालय को अप्रासंगिक शोर (noise) से भर दिया गया हो। यह सुझाव देता है कि खोज के प्रारंभिक चरण के लिए, जहाँ एक प्रणाली को बड़ी संख्या में उम्मीदवारों के माध्यम से छानना होता है, आसपास के संदर्भ को अनदेखा करना और सख्ती से प्रश्न और दस्तावेज़ के बीच के मिलान पर ध्यान केंद्रित करना एक सुरक्षित रणनीति है। जो मॉडल पूरे पुस्तकालय के "समूह संदर्भ" (group context) का उपयोग करने की कोशिश करते थे, वे नए, असंबंधित सामग्री के भारी दबाव से आसानी से विचलित हो गए, प्रभावी रूप से शोर में खो गए।

शोधकर्ताओं ने एक सामान्य तकनीक का भी परीक्षण किया जिसे 'स्यूडो-रेलेवेंस फीडबैक' (pseudo-relevance feedback) कहा जाता है, जहाँ एक प्रणाली अपने खोज को बेहतर बनाने का प्रयास करती है जहाँ वह मान लेती है कि उसके द्वारा पाए गए शीर्ष परिणाम सही हैं और अपने प्रश्न को परिष्कृत करने के लिए उनका उपयोग करती है। इस मिश्रित-पुस्तकालय सेटिंग में, यह तकनीक विफल रही। सिस्टम को केंद्रित करने में मदद करने के बजाय, फीडबैक तंत्र ने खोज परिणामों को सामान्य वेब पेजों के प्रमुख संग्रह की ओर खींच लिया, जिससे महामारी संबंधी विशिष्ट प्रश्नों के लिए सटीकता और कम हो गई। ऐसा इसलिए हुआ क्योंकि सिस्टम अपने सोचने के तरीके को निर्देशित करने के लिए गलत दस्तावेज़ों का उपयोग कर रहा था, जिससे पुस्तकालय के बड़े, असंतरंग हिस्से के प्रति एक पूर्वाग्रह (bias) मजबूत हो गया। हालाँकि, कहानी खोज प्रक्रिया के दूसरे चरण, जिसे 'री-रैंकिंग' (re-ranking) कहा जाता है, में थोड़ी बदल गई। एक बार जब प्रारंभिक खोज ने उम्मीदवारों की एक छोटी सूची को सीमित कर दिया, तो दोनों प्रकार के मॉडल—वे जो संदर्भ देखते थे और वे जो नहीं देखते थे—समान रूप से अच्छा प्रदर्शन करते थे। इस चरण में, अप्रासंगिक दस्तावेज़ों के जुड़ने से अंतिम परिणामों को सही ढंग से क्रमबद्ध करने की उनकी क्षमता को महत्वपूर्ण नुकसान नहीं पहुँचा।

अंततः, अध्ययन दर्शाता है कि वर्तमान खोज आर्किटेक्चर में संग्रह बढ़ने पर एक व्यवस्थित कमजोरी होती है। एक मॉडल अन्य दस्तावेज़ों पर अपनी रैंकिंग को कैसे आधारित करता है, यह उसकी स्थिरता में महत्वपूर्ण भूमिका निभाता है। जबकि वे मॉडल जो व्यापक संग्रह को अनदेखा करते हैं वे प्रारंभिक खोज के दौरान अधिक मजबूत होते हैं, फिर भी गैर-प्रासंगिक दस्तावेज़ों के जुड़ने से सभी स्तरों पर प्रदर्शन में कुछ गिरावट आती है, जिसका अर्थ है कि परीक्षण किया गया कोई भी सिस्टम इस समस्या से पूरी तरह प्रतिरक्षा प्राप्त नहीं था। निष्कर्ष बताते हैं कि जैसे-जैसे डिजिटल पुस्तकालयों का विस्तार होता रहेगा, ऐसे मॉडलों पर भरोसा करना आवश्यक है जिन्हें स्पष्ट रूप से इस विकास को संभालने के लिए डिज़ाइन किया गया है। शोध यह दावा नहीं करता है कि उसने इस समस्या को हल कर लिया है, बल्कि यह समस्या का एक स्पष्ट माप और यह समझने के लिए एक वर्गीकरण प्रदान करता है कि कुछ प्रणालियाँ पुस्तकालय बड़ा होने पर क्यों विफल होती हैं। यह रेखांकित करता है कि यदि खोज इंजनों को एक गतिशील दुनिया में प्रभावी रहना है, तो उनके अंतर्निहित तर्क को नए, असंबंधित सूचनाओं के निरंतर प्रवाह को ध्यान में रखते हुए फिर से सोचने की आवश्यकता है।