InfiniRetri: Attention-Guided Retrieval for Enhancing LLMs' Long-Context Processing
इन्फिनीरिट्री (InfiniRetri) एक प्रशिक्षण-मुक्त विधि है जो किसी भी लंबाई वाले इनपुट से प्रासंगिक संदर्भ को पुनरावृत्ति के माध्यम से निकालने के लिए एक पूर्व-प्रशिक्षित एलएलएम (LLM) के अंतर्निहित अटेंशन मैकेनिज्म का लाभ उठाती है, जिससे बाहरी एम्बेडिंग मॉडल या महंगी पुनरप्रशिक्षण की आवश्यकता के बिना कुशल और अत्यधिक सटीक लॉन्ग-कॉन्टेक्स्ट रिट्रीवल और रीजनिंग सक्षम होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक कृत्रिम बुद्धिमत्ता प्रणाली, जिन्हें बड़े भाषा मॉडल (लार्ज लैंग्वेज मॉडल्स) के रूप में जाना जाता है, मानव भाषा को समझने और उत्पन्न करने में उल्लेखनीय रूप से सक्षम हो गई हैं। वे कहानियाँ लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं और जटिल प्रश्नों के उत्तर दे सकते हैं। हालाँकि, इन प्रणालियों को एक महत्वपूर्ण भौतिक सीमा का सामना करना पड़ता है: वे एक समय में अपनी "वर्किंग मेमोरी" (कार्यकारी स्मृति) में केवल एक निश्चित मात्रा में जानकारी ही रख सकती हैं। जब कोई उपयोगकर्ता मॉडल को एक बहुत लंबे दस्तावेज़, जैसे कि एक पूरा उपन्यास या कानूनी रिकॉर्डों का संग्रह, पढ़ने के लिए कहता है, तो प्रणाली अक्सर संघर्ष करती है। यह पाठ के प्रारंभ के विवरणों को भूल जाती है या जैसे-जैसे इनपुट लंबा होता जाता है, मुख्य बिंदु से भटक जाती है। ऐसा इसलिए होता है क्योंकि जिस गणितीय प्रक्रिया का उपयोग मॉडल शब्दों को एक-दूसरे से जोड़ने के लिए करता है, वह पाठ के बड़ा होने पर अविश्वसनीय रूप से महंगी और धीमी हो जाती है। इसे ठीक करने के लिए, शोधकर्ताओं ने दो मुख्य दृष्टिकोणों को आज़माया है। एक यह है कि मॉडल को महंगे और समय लेने वाले पुन: प्रशिक्षण (रिट्रेनिंग) के माध्यम से लंबे टेक्स्ट को संभालने के लिए मजबूर किया जाए। दूसरा यह है कि एक सहायक प्रणाली का उपयोग किया जाए जो मॉडल के पढ़ने से पहले पाठ के प्रासंगिक हिस्सों को खोजती है, लेकिन यह सहायक अक्सर सरल शब्द-मिलान (वर्ड-मैचिंग) पर निर्भर करता है जो गहरे अर्थ को समझने में विफल रहता है।
चीन के वेनहुआ कॉलेज के शोधकर्ताओं की एक टीम ने एक अलग समाधान प्रस्तावित किया है जिसमें न तो पुन: प्रशिक्षण की आवश्यकता है और न ही बाहरी खोज उपकरणों की। उन्होंने पाया कि मॉडल के पास पहले से ही एक लंबे टेक्स्ट के भीतर सही जानकारी खोजने की क्षमता है; उसे बस इसका उपयोग करने के लिए निर्देशित करने की आवश्यकता है। मॉडल के आंतरिक 'अटेंशन मैकेनिज्म' (ध्यान तंत्र) के कार्य करने के तरीके का अवलोकन करके, उन्होंने पाया कि मॉडल स्वाभाविक रूप से उन विशिष्ट वाक्यों पर अपना ध्यान केंद्रित करता है जिनमें प्रश्न के उत्तर होते हैं, भले ही वे वाक्य एक विशाल दस्तावेज़ के भीतर कहीं भी दबे हों। यह पैटर्न मॉडल के प्रोसेसिंग नेटवर्क की अंतिम परत (फाइनल लेयर) में सबसे अधिक स्पष्ट होता है। शोधकर्ताओं ने 'इन्फिनी-रिट्री' (InfiniRetri) नामक एक विधि बनाई जो इस स्वाभाविक व्यवहार का लाभ उठाती है। टेक्स्ट को छोटे, अपठनीय अंशों में संकुचित करने या अलग सर्च इंजन पर निर्भर रहने के बजाय, उनकी विधि दस्तावेज़ के टुकड़ों को बार-बार पढ़ती है, मॉडल से अपने आंतरिक फोकस के आधार पर सबसे प्रासंगिक वाक्यों की पहचान करने के लिए कहती है, और केवल उन पूर्ण वाक्यों को एक छोटी, कुशल मेमोरी कैश में सहेजती है।
यह प्रक्रिया एक मोटी किताब को पन्ने-दर-पन्ने ध्यान से पढ़ने वाले पाठक की तरह काम करती है। शोधकर्ताओं ने लंबे टेक्स्ट को प्रबंधनीय खंडों में विभाजित किया। प्रत्येक खंड के लिए, वे टेक्स्ट के साथ उपयोगकर्ता का प्रश्न भी मॉडल में फीड करते हैं। मॉडल फिर देखता है कि उसके आंतरिक तंत्र उस खंड के विभिन्न हिस्सों पर कितना ध्यान देते हैं। शोधकर्ता इस 'अटेंशन मैप' को निकालते हैं, विशेष रूप से यह देखते हुए कि प्रश्न के शब्द टेक्स्ट के शब्दों से कैसे जुड़ते हैं। उन्होंने पाया कि मॉडल का 'अटेंशन स्कोर' एक सटीक संकेत के रूप में कार्य करता है, जो ठीक से उजागर करता है कि कौन से वाक्य उत्तर रखते हैं। सिस्टम फिर शीर्ष-स्कोर वाले वाक्यों का चयन करता है और उन्हें एक हल्के वजन वाले कैश में सहेज लेता है। यह चक्र दस्तावेज़ के प्रत्येक टुकड़े के लिए दोहराया जाता है। जब तक पूरे टेक्स्ट को प्रोसेस कर लिया जाता है, कैश में केवल वे सबसे महत्वपूर्ण वाक्य होते हैं जो प्रश्न का उत्तर देने के लिए आवश्यक हैं, जिससे बाकी के शोर (नॉइज़) को प्रभावी ढंग से फ़िल्टर कर दिया जाता है। अंत में, मॉडल वाक्यों के इस छोटे, क्यूरेटेड संग्रह को पढ़ता है और अंतिम उत्तर उत्पन्न करता है।
इस दृष्टिकोण के परिणाम आश्चर्यजनक हैं। उन परीक्षणों में जहाँ मॉडल को एक विशाल दस्तावेज़ के भीतर छिपे तथ्य को खोजना था, इस विधि का उपयोग करने वाले मॉडल के एक बहुत छोटे संस्करण ने पूर्ण सटीकता प्राप्त की, भले ही टेक्स्ट में दस लाख से अधिक शब्द थे। यह पिछले तरीकों की तुलना में एक महत्वपूर्ण सुधार है, जो अक्सर 32,000 शब्दों से अधिक होने पर विफल हो जाते थे। यह विधि उन प्रश्नों के उत्तर देने में भी अत्यधिक प्रभावी सिद्ध हुई जिनमें कई दस्तावेजों में से जानकारी खोजने की आवश्यकता थी, जिसने जटिल प्रशिक्षण या बाहरी डेटाबेस पर निर्भर अन्य उन्नत तकनीकों को पीछे छोड़ दिया। उल्लेखनीय रूप से, यह उच्च स्तर का प्रदर्शन केवल दो गीगाबाइट कंप्यूटर मेमोरी का उपयोग करके प्राप्त किया गया, जो मानक उपभोक्ता हार्डवेयर पर चलने के लिए पर्याप्त छोटा आकार है। शोधकर्ताओं ने नोट किया कि यह विधि तब सबसे अच्छा काम करती है जब पूछने के लिए एक स्पष्ट प्रश्न हो, क्योंकि सिस्टम अपने ध्यान को निर्देशित करने के लिए प्रश्न पर निर्भर करता है। हालांकि इसने पूरी किताब का सारांश देने जैसे कार्यों पर कम सुधार दिखाया, जहाँ लक्ष्य सब कुछ संक्षिप्त करना है न कि एक विशिष्ट तथ्य खोजना, लेकिन लगभग असीमित टेक्स्ट लंबाई से सटीक जानकारी निकालने की क्षमता, बिना महंगे प्रशिक्षण के, एक बड़ी प्रगति का प्रतिनिधित्व करती है। अध्ययन सुझाव देता है कि मॉडल के अपने आंतरिक संकेतों पर भरोसा करके, हम किसी भी आकार के टेक्स्ट को पढ़ने और तर्क करने की उसकी क्षमता को अनलॉक कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।