Revela: Dense Retriever Learning via Language Modeling
Revela एक स्केलेबल, सेल्फ-सुपरवाइज्ड ट्रेनिंग फ्रेमवर्क है जो इन-बैच अटेंशन के माध्यम से दस्तावेजों के बीच सिमेंटिक डिपेंडेंसी को मॉडल करके डेंस रिट्रीवर्स सीखने के लिए लैंग्वेज मॉडलिंग ऑब्जेक्टिव्स को अनुकूलित करता है, जिससे बिना किसी एनोटेटेड क्वेरी-डॉक्यूमेंट पेयर्स की आवश्यकता के विशेष और रीजनिंग-इंटेंसिव बेंचमार्क्स पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बिखरी हुई घास के ढेर (haystack) में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, वह "सुई" वह जानकारी है जिसे आपको ढूंढना है, और "घास का ढेर" इंटरनेट या दस्तावेजों का एक विशाल पुस्तकालय है।
लंबे समय तक, कंप्यूटर को वह सुई ढूंढने के लिए सिखाने का सबसे अच्छा तरीका यह था कि इंसानों को हजारों अभ्यास प्रश्न और उनके सही उत्तर लिखने के लिए काम पर रखा जाए (जैसे एक शिक्षक अध्ययन मार्गदर्शिका बनाता है)। इसे सुपरवाइज्ड लर्निंग (supervised learning) कहा जाता है। लेकिन यह महंगा, धीमा और कोडिंग या जटिल कानूनी तर्क जैसे विशिष्ट विषयों के लिए असंभव है जहाँ विशेषज्ञों की कमी होती है।
यहाँ रेवेला (Revela) आता है, एक नई विधि जो कंप्यूटर को बिना किसी मानव शिक्षक के सुई ढूंढना सिखाती है। यह कैसे काम करता है, इसके लिए कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है।
पुराना तरीका: "फ्लैशकार्ड" विधि
पारंपरिक रूप से, एक सर्च इंजन को प्रशिक्षित करने के लिए, शोधकर्ताओं ने लाखों "फ्लैशकार्ड" बनाए।
- कार्ड का अगला हिस्सा: एक प्रश्न (जैसे, "मैं पायथन एरर को कैसे ठीक करूँ?")
- कार्ड का पिछला हिस्सा: एक सटीक कोड स्निपेट (जैसे, एक विशिष्ट कोड स्निपेट)।
कंप्यूटर इन फ्लैशकार्ड्स का अध्ययन तब तक करता है जब तक कि वह पैटर्न को याद न कर ले। समस्या क्या है? इन फ्लैशकार्ड्स को बनाने में बहुत समय लगता है और बहुत पैसा खर्च होता है।
नया तरीका: "डिनर पार्टी" का उदाहरण (रेवेला)
रेवेला खेल बदल देता है। फ्लैशकार्ड के बजाय, एक डिनर पार्टी की कल्पना करें जहाँ हर कोई अलग-अलग विषयों पर बात कर रहा है, लेकिन वे सभी एक ही मेज पर बैठे हैं।
- सेटअप: आप कई रैंडम दस्तावेज़ (जैसे विकिपीडिया लेख या कोड स्निपेट्स) लेते हैं और उन्हें छोटे टुकड़ों में काट देते हैं। आप उन सभी को एक "बैच" (डिनर पार्टी) में रखते हैं।
- बातचीत: एक सामान्य बातचीत में, आप केवल अपने ठीक बगल में बैठे व्यक्ति को सुनते हैं। लेकिन रेवेला की डिनर पार्टी में, हर कोई हर किसी को सुन सकता है।
- जादुई ट्रिक (इन-बैच अटेंशन):
- कल्पना कीजिए कि आप हारून (Aaron) (एक बाइबिल संबंधी पात्र) के बारे में एक पैराग्राफ पढ़ रहे हैं।
- उसी समय, मेज पर दूसरा पैराग्राफ मूसा (Moses) (हारून के भाई) के बारे में बात कर रहा है।
- एक सामान्य कंप्यूटर केवल "हारून" से ठीक पहले के शब्दों को देखेगा।
- रेवेला कहता है, "रुको! पूरी मेज को देखते हैं।" यह एक विशेष तंत्र का उपयोग करता है यह कहने के लिए, "हे! मूसा के बारे में वह पैराग्राफ हारून के इस पैराग्राफ के लिए बहुत प्रासंगिक है।"
- यह दोनों पैराग्राफों के बीच एक "समानता स्कोर" (similarity score) बनाता है। यदि वे संबंधित हैं, तो यह उनके बीच के संबंध को बढ़ाता है।
यह कैसे सीखता है ("अगला शब्द अनुमान लगाने" का खेल)
आप पूछ सकते हैं, "यह कंप्यूटर को खोजना कैसे सिखाता है?"
रेवेला उसी खेल का उपयोग करता है जो सभी आधुनिक लार्ज लैंग्वेज मॉडल्स (जैसे कि वह मॉडल जिससे आप अभी बात कर रहे हैं) को शक्ति देता है: नेक्स्ट टोकन प्रेडिक्शन (Next Token Prediction)।
- खेल: कंप्यूटर एक वाक्य पढ़ता है और अगले शब्द का अनुमान लगाने की कोशिश करता है।
- ट्विस्ट: रेवेला में, कंप्यूटर केवल उस वाक्य के आधार पर अगले शब्द का अनुमान नहीं लगा रहा है जिसे वह पढ़ रहा है। वह उस वाक्य साथ ही डिनर पार्टी में मौजूद अन्य सभी वाक्यों के आधार पर अगले शब्द का अनुमान लगा रहा है।
- यदि कंप्यूटर हारून के बारे में पढ़ रहा है और उसे पास में मूसा वाला पैराग्राफ दिखता है, तो उसे एक "हिंट" मिलता है जो उसे अगला शब्द बेहतर तरीके से अनुमान लगाने में मदद करता है।
- परिणाम: शब्दों का बेहतर अनुमान लगाने के लिए, कंप्यूटर को यह सीखना ही होगा कि कौन से दस्तावेज़ एक-दूसरे से संबंधित हैं। यह अनिवार्य रूप से एक बेहतर कहानीकार बनने की कोशिश के एक साइड इफेक्ट के रूप में एक सर्च इंजन के रूप में सीख जाता है।
यह एक बड़ी बात क्यों है?
यह पेपर दिखाता है कि रेवेला तीन मुख्य कारणों से एक पावरहाउस है:
- शिक्षक की आवश्यकता नहीं: यह पूरी तरह से कच्चे टेक्स्ट (जैसे विकिपीडिया या कोड रिपॉजिटरी) से सीखता है। इसे "प्रश्न -> उत्तर" जोड़े लिखने के लिए इंसानों की आवश्यकता नहीं है। यह एक ऐसे छात्र की तरह है जो उत्तर कुंजी वाले टेस्ट देने के बजाय किताबों के पुस्तकालय को पढ़कर सीखता है।
- यह बड़े मॉडल्स से भी स्मार्ट है: कोडिंग और जटिल तर्क के परीक्षणों में, एक छोटा रेवेला मॉडल उन विशाल, महंगे मॉडल्स को हरा देता है जिन्हें लाखों मानव-निर्मित फ्लैशकार्ड्स पर प्रशिक्षित किया गया था। यह एक छोटे, तेज जासूस की तरह है जो एक बड़े, धीमे नौकरशाही तंत्र से बेहतर केस सुलझाता है।
- यह स्केल करता है: आप इसे जितना अधिक खिलाएंगे (अधिक डेटा, बड़े कंप्यूटर), यह उतना ही बेहतर होता जाएगा। यह "स्केलिंग के नियम" का पालन करता है, जिसका अर्थ है कि यदि आप इसे अधिक संसाधन देते हैं, तो यह एक सुपर-सर्च इंजन बन जाता है।
निष्कर्ष
रेवेला एक चतुर तरकीब है जो एक मानक भाषा मॉडल को एक सुपर-सर्च इंजन में बदल देती है। कंप्यूटर को विशिष्ट प्रश्नों और उत्तरों को याद करने के लिए मजबूर करने के बजाय, यह कंप्यूटर को विचारों के बीच के संबंधों को समझना सिखाता है, इसके लिए कि प्रशिक्षण के दौरान विभिन्न दस्तावेज़ एक-दूसरे से "बात" कर सकें।
यह एक शहर के मानचित्र को रटने (पुराना तरीका) और वास्तव में शहर में रहने और यह सीखने के बीच का अंतर है कि मोहल्ले एक-दूसरे से कैसे जुड़ते हैं (रेवेला)। परिणाम एक ऐसा सर्च टूल है जिसे बनाना सस्ता है, जिसे प्रशिक्षित करना तेज़ है, और कोडिंग जैसे कठिन, विशिष्ट क्षेत्रों में भी जानकारी खोजने में आश्चर्यजनक रूप से कुशल है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।