Recursive Language Models
यह शोध पत्र रिकर्सिव लैंग्वेज मॉडल्स (RLMs) को प्रस्तुत करता है, जो एक इन्फरेंस-टाइम स्केलिंग प्रतिमान (paradigm) है जो LLMs को प्रोग्रामेटिक रूप से अनिश्चित रूप से लंबे प्रॉम्प्ट्स को विघटित और पुनरावर्ती रूप से संसाधित करने में सक्षम बनाता है, जिससे मौजूदा लॉन्ग-कॉन्टेक्स्ट विधियों और फ्रंटियर मॉडल्स की तुलना में काफी बेहतर प्रदर्शन प्राप्त होता है जबकि लागत समान बनी रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बेहद बुद्धिमान लेकिन अल्पदृष्टि वाला लाइब्रेरियन (AI मॉडल) है। वे अविश्वसनीय रूप से स्मार्ट हैं और लगभग किसी भी प्रश्न का उत्तर दे सकते हैं, लेकिन उनका एक बहुत सख्त नियम है: वे एक बार में केवल 272,000 पृष्ठों का टेक्स्ट अपने हाथों में पकड़ सकते हैं। यदि आप उन्हें किताबों की एक पूरी लाइब्रेरी थमा देते हैं (लाखों पृष्ठ), तो वे घबरा जाते हैं, किताबें गिरा देते हैं, और कहानी के बीच तक पहुँचते-पहुँचते शुरुआत की बातें भूलने लगते हैं। यह अधिकांश उन्नत AI मॉडलों की वर्तमान सीमा है, जिसे "कॉन्टेक्स्ट विंडो" (context window) कहा जाता है।
यह पेपर इस लाइब्रेरियन के साथ काम करने का एक नया तरीका पेश करता है जिसे रिकर्सिव लैंग्वेज मॉडल्स (RLMs) कहा जाता है। लाइब्रेरियन को एक साथ सब कुछ थमाने के बजाय, RLMs उन्हें एक टूलबॉक्स और एक फाइलिंग कैबिनेट देते हैं।
यह कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:
समस्या: "वन-शॉट" (One-Shot) की सीमा
सामान्यतः, यदि आप एक लाइब्रेरियन को 10-मिलियन पृष्ठों के विश्वकोश में से एक विशिष्ट तथ्य खोजने के लिए कहते हैं, तो वे उसे एक ही बार में पढ़ने की कोशिश करते हैं। क्योंकि वे इतना सारा डेटा एक साथ नहीं संभाल सकते, इसलिए वे भ्रमित हो जाते हैं, विवरण चूक जाते हैं, या हार मान लेते हैं। इसे "कॉन्टेक्स्ट रोट" (context rot) कहा जाता है—टेक्स्ट जितना लंबा होता है, उत्तर उतना ही कम सटीक होता जाता है।
समाधान: फाइलिंग कैबिनेट वाला "मैनेजर"
RLM दृष्टिकोण लाइब्रेरियन के जॉब डिस्क्रिप्शन को बदल देता है। एक 'रीडर' होने के बजाय, लाइब्रेरian अब एक प्रोजेक्ट मैनेजर बन जाता है जिसके पास एक विशाल फाइलिंग कैबिनेट (एक कंप्यूटर प्रोग्राम जिसे REPL कहा जाता है) तक पहुँच है।
प्रॉम्ट एक फाइल है, न कि कागज का ढेर: जब आप लाइब्रेरियन को एक विशाल प्रॉम्ट (वह 10-मिलियन पृष्ठों की किताब) देते हैं, तो RLM उसे लाइब्रेरियन के हाथों में नहीं ठूँसता। इसके बजाय, वह उस किताब को फाइलिंग कैबिनेट की एक शेल्फ पर रख देता है और लाइब्रेरियन को एक लेबल देता है जिस पर लिखा होता है, "किताब बॉक्स A में है।"
निर्देश लिखना (कोड): लाइब्रेरियन उस बॉक्स के साथ इंटरैक्ट करने के लिए छोटे नोट्स (कोड) लिखने की अनुमति रखता है। वे कह सकते हैं, "बॉक्स A खोलें, पहले 50 पन्ने देखें, और मुझे बताएं कि वहां क्या है।"
रिकर्सिव लूप (द "सब-मैनेजर"): यदि लाइब्रेरियन को पूरी किताब की जांच करने की आवश्यकता है, तो वे एक साथ सब कुछ पढ़ने की कोशिश नहीं करते। वे एक लूप लिखते हैं:
- "पहला हिस्सा पढ़ें। उसका सारांश (summary) बनाएं। सारांश को एक नए फोल्डर में सुरक्षित करें।"
- "अगला हिस्सा पढ़ें। उसका सारांश बनाएं। उसे भी सुरक्षित करें।"
- "अब, उन सभी सारांशों को मिलाकर प्रश्न का उत्तर दें।"
महत्वपूर्ण रूप से, यदि लाइब्रेरियन को विशिष्ट हिस्सों पर भारी काम करने के लिए एक जूनियर लाइब्रेरियन (एक सब-कॉल) को काम पर रखने की आवश्यकता है, तो वे ऐसा कर सकते हैं। मुख्य लाइब्रेरियन प्रक्रिया का प्रबंधन करता है, जबकि जूनियर लाइब्रेरियन विशिष्ट पन्नों को पढ़ता है और रिपोर्ट देता है।
यह एक बड़ी बात क्यों है
इस पेपर ने कुछ बहुत कठिन कार्यों पर इस विचार का परीक्षण किया:
- "नीडल इन अ हेस्टैक" (Needle in a Haystack): दस लाख पन्नों में से एक विशिष्ट वाक्य खोजना।
- "बुक रिपोर्ट" (Book Report): पूरी किताब पढ़ना और कथानक के बारे में जटिल प्रश्नों के उत्तर देना।
- "कोड डिटेक्टिव" (Code Detective): हजारों फाइलों वाले एक विशाल सॉफ्टवेयर प्रोजेक्ट को समझना।
परिणाम:
- सुपरह्यूमन स्केल: RLM सिस्टम ने इनपुट को लाइब्रेरियन की प्राकृतिक सीमा से 10 गुना अधिक बड़े पैमाने पर संभाला। इसने सफलतापूर्वक लाखों टोकन (पृष्ठों) को प्रोसेस किया, जहाँ मानक लाइब्रेरियन पूरी तरह विफल रहा था।
- बेहतर गुणवत्ता: छोटे कार्यों पर भी, RLM दृष्टिकोण अधिक स्मार्ट था। इसने केवल सारांश ही नहीं दिया; यह विशिष्ट विवरणों में गहराई तक जा सकता था क्योंकि यह प्रोग्रामेटिक रूप से टेक्स्ट के हिस्सों पर "ज़ूम इन" कर सकता था।
- लागत: आश्चर्यजनक रूप से, इसमें बहुत अधिक पैसा खर्च नहीं हुआ। क्योंकि सिस्टम समस्या को छोटे हिस्सों में तोड़ने में कुशल है, इसलिए यह अक्सर उन तरीकों की तुलना में कम संसाधनों का उपयोग करता है जो पूरे टेक्स्ट को मॉडल की मेमोरी में जबरदस्ती डालने की कोशिश करते हैं।
एक विशेष ट्रेनिंग ट्रिक
शोधकर्ताओं ने एक छोटे, सस्ते लाइब्रेरियन (एक 8-बिलियन पैरामीटर मॉडल) को इस फाइलिंग कैबिनेट सिस्टम का उपयोग करना सिखाने का भी प्रयास किया। उन्होंने इसे 1,000 उदाहरण दिखाए कि कैसे एक सुपर-स्मार्ट लाइब्रेरियन इस सिस्टम का उपयोग करता है।
- परिणाम: छोटा लाइब्रेरियन तेजी से सीख गया। यह लंबे कार्यों को हल करने में 28% बेहतर हो गया, सिर्फ इसलिए क्योंकि इसने "फाइलिंग कैबिनेट" और "सब-मैनेजर्स" का उपयोग करना सीख लिया था, भले ही इसे मूल रूप से इसके लिए डिज़ाइन नहीं किया गया था।
निचोड़ (The Bottom Line)
यह पेपर तर्क देता है कि हमें भारी मात्रा में टेक्स्ट को संभालने के लिए बड़े, अधिक महंगे दिमाग बनाने की आवश्यकता नहीं है। इसके बजाय, हम अपने वर्तमान स्मार्ट दिमागों को बेहतर मैनेजर बनने के लिए सिखा सकते हैं। टेक्स्ट को एक बाहरी वस्तु के रूप में मानकर जिसे वे प्रोग्रामेटिक रूप से खोल, पढ़ और सारांशित कर सकते हैं, AI प्रभावी रूप से बिना घबराए "अनंत" जानकारी को संभाल सकता है।
यह पेपर क्या दावा नहीं करता है:
- यह दावा नहीं करता कि यह मेडिकल डायग्नोसिस या कानूनी सलाह के लिए काम करता है (हालांकि यह कोडिंग और रिसर्च कार्यों के उदाहरणों का उपयोग करता है)।
- यह यह नहीं कहता कि भविष्य में यह अपने आप होगा; इसे काम करने के लिए इस विशिष्ट "मैनेजर" सेटअप की आवश्यकता होती है।
- यह दावा नहीं करता कि AI मानव की तरह "चेतन" या "सोच" रहा है; यह केवल डेटा प्रोसेसिंग को व्यवस्थित करने का एक बहुत ही चतुर तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।