PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking
यह शोध पत्र TREC 2021 डीप लर्निंग ट्रैक में PASH की भागीदारी को प्रस्तुत करता है, जो एक बहु-चरणीय रैंकिंग फ्रेमवर्क का विवरण देता है जो स्पार्स (sparse) और डेंस (dense) रिट्रीवल को एकीकृत करता है, पॉइंट-वाइज (point-wise) और पेयर-वाइज (pair-wise) रैंकिंग के लिए निरंतर प्री-ट्रेनिंग करता है, और पिछले वर्ष की तुलना में प्रदर्शन में सुधार करने के लिए जनरेटिव T5 मॉडल का नवीन समावेश करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल पुस्तकालय चला रहे हैं जिसमें लाखों किताबें (दस्तावेज़) और अरबों पन्ने (अनुच्छेद) हैं। हर दिन, हज़ारों लोग आकर बहुत ही विशिष्ट प्रश्न पूछते हैं। आपका काम उस सटीक पन्ने या किताब को ढूँढना है जो उनके प्रश्न का उत्तर देता है और उसे सूची में सबसे ऊपर रखना है।
यह शोध पत्र बताता है कि कैसे PASH नामक एक टीम ने एक उच्च-दांव वाली प्रतियोगिता (TREC 2021) में भाग लिया, यह देखने के लिए कि इस काम के लिए सबसे अच्छा "लाइब्रेरियन" (पुस्तकालयाध्यक्ष) कौन बना सकता है। इसे सरल भाषा में यहाँ समझाया गया है:
1. दो-चरणीय खोज रणनीति (रिकॉल चरण)
इससे पहले कि लाइब्रेरियन यह तय कर सके कि कौन सा उत्तर सबसे अच्छा है, उसे पहले संभावित उत्तरों का एक बड़ा ढेर इकट्ठा करने की आवश्यकता होती है। PASH ने इन उम्मीदवारों को इकट्ठा करने के लिए एक "दो-तरफा" दृष्टिकोण का उपयोग किया:
- कीवर्ड शिकारी (स्पार्स रिट्रीवल - Sparse Retrieval): इसे एक ऐसे लाइब्रेरियन के रूप में सोचें जो केवल पन्ने पर मौजूद सटीक शब्दों को देखता है। यदि आप "सेब" (apple) मांगते हैं, तो वे "सेब" शब्द वाले पन्ने ढूँढते हैं। इसे और स्मार्ट बनाने के लिए, उन्होंने एक रोबोट (T5) का उपयोग किया जो एक पन्ने को पढ़ता है और उन प्रश्नों की एक सूची लिखता है जिनका वह पना जवाब दे सकता है। यह कीवर्ड शिकारी को उन पन्नों को खोजने में मदद करता है भले ही उपयोगकर्ता ने सटीक शब्दों का उपयोग न किया हो।
- अवधारणा पाठक (डेंस रिट्रीवल - Dense Retrieval): यह एक ऐसा लाइब्रेरियन है जो शब्दों के पीछे के अर्थ को समझता है। भले ही आप "फल" (fruit) के बारे में पूछें और पन्ने पर "लाल स्वादिष्ट" (red delicious) लिखा हो, यह लाइब्रेरियन जानता है कि वे मेल खाते हैं। PASH ने इसके लिए ColBERT नामक सिस्टम का उपयोग किया, जो गति संबंधी समस्याओं में फंसे बिना संदर्भ को समझने में माहिर है।
इन दोनों को मिलाकर, उन्होंने एक विस्तृत जाल बुना ताकि वे किसी भी अच्छे उत्तर को मिस न कर सकें।
2. छंटनी की कतार (बहु-चरणीय रैंकिंग)
एक बार जब उनके पास संभावित उत्तरों का एक बड़ा ढेर आ गया, तो उन्हें उन्हें "सबसे अच्छे" से "सबसे खराब" के क्रम में व्यवस्थित करने की आवश्यकता थी। उन्होंने इसे दो दौरों में किया:
- दौर 1 (बिंदु-दर-बिंदु जाँच): उन्होंने प्रत्येक उत्तर को व्यक्तिगत रूप से देखा और पूछा, "यह उत्तर अपने आप में कितना अच्छा है?" उन्होंने शक्तिशाली AI मॉडल (जैसे BERT और XLNet) का उपयोग किया जिन्हें सामान्य ज्ञान पर प्रशिक्षित किया गया था और फिर विशिष्ट लाइब्रेरी डेटा पर फाइन-ट्यून किया गया था।
- दौर 2 (आमने-सामने का मुकाबला): यह उनके लिए एक नया तरीका था। केवल प्रत्येक उत्तर को अलग से ग्रेड देने के बजाय, उन्होंने उत्तरों की सीधे एक-दूसरे से तुलना करना शुरू किया। "क्या उत्तर A, उत्तर B से बेहतर है?" इसने उन्हें अपने सॉर्टर (क्रमबद्ध करने वाले) को प्रशिक्षित करने के लिए बहुत अधिक डेटा का उपयोग करने की अनुमति दी, जिससे यह बहुत अधिक सटीक हो गया।
तुलनात्मक रूप से नया सुपर-टूल (जेनरेटिव मॉडल)
पिछले वर्ष की प्रतियोगिता से सबसे बड़ा बदलाव एक नया, विशाल AI मॉडल T5 को पेश करना था।
- उपमा: कल्पना कीजिए कि पिछले मॉडल विशेषज्ञ छात्रों की तरह थे जिन्होंने लाइब्रेरी कैटलॉग को रट लिया था। नया T5 मॉडल एक ऐसे जीनियस की तरह है जो शून्य से उत्तर का सारांश वास्तव में लिख सकता है।
- परिणाम: यह "जेनरेटिव" मॉडल इतना शक्तिशाली था कि वह अक्सर और अधिक देखे बिना ही शीर्ष 5 परिणामों (Top 5) में से सटीक उत्तर खोज सकता था। हालाँकि, शोध पत्र नोट करता है कि जहाँ यह बहुत तेज़ी से सबसे अच्छे उत्तर को खोजने में बहुत अच्छा था, वहीं यह पुराने मॉडलों की तुलना में पूरी सूची (Top 10) को बेहतर ढंग से छाँटने में उतना परफेक्ट नहीं था।
3. टीम वर्क (एन्सेम्बल - Ensemble)
अंत में, केवल एक लाइब्रेरियन पर भरोसा करने के बजाय, PASH ने अपने सॉर्टिंग सिस्टम के कई अलग-अलग संस्करणों को प्रशिक्षित किया, जिनमें थोड़े बदलाव किए गए थे (जैसे कि उन्हें अलग-अलग शुरुआती बिंदु देना)। फिर उन्होंने अंतिम निर्णय लेने के लिए इन सभी लाइब्रेरियन की राय को मिला दिया। यह "टीम वोट" आमतौर पर किसी भी एकल लाइब्रेरियन द्वारा अकेले हासिल किए जाने वाले परिणाम की तुलना में अधिक सटीक परिणाम देता है।
मुख्य निष्कर्ष
टीम ने पाया कि "कीवर्ड शिकारी" को "अवधारणा पाठक" के साथ मिलाना बहुत अच्छा काम करता है। उन्होंने यह भी पता लगाया कि नए "जेनरेटिव" T5 मॉडल का उपयोग करने से उन्हें बहुत तेज़ी से सबसे अच्छे उत्तर खोजने में मदद मिली, लेकिन उन्होंने महसूस किया कि भविष्य के लिए, उन्हें इन जेनरेटिव मॉडल्स को केवल शीर्ष विजेता चुनने के बजाय पूरी सूची को बेहतर ढंग से छाँटना सिखाने की आवश्यकता है।
संक्षेप में: उन्होंने एक सुपर-लाइब्रेरियन बनाया जो उम्मीदवारों को खोजने के लिए दो अलग-अलग खोज विधियों का उपयोग करता है, फिर सबसे अच्छे उत्तर के लिए वोट करने के लिए AI मॉडलों की एक टीम (एक नए "लेखक" AI सहित) का उपयोग करता है, जिसके परिणामस्वरूप प्रतियोगिता में बहुत उच्च स्कोर प्राप्त होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।