Context Recycling for Long-Horizon LLM Inference
यह शोध पत्र ContextForge को प्रस्तुत करता है, जो एक ऐसी प्रणाली है जो संरचित क्वेरी जनरेशन, बाहरी मेमोरी रिट्रीवल और नियंत्रित सिंथेसिस के माध्यम से कार्य-प्रासंगिक जानकारी को पुनर्चक्रित (recycle) करके लॉन्ग-होरिज़न LLM इन्फरेंस को बेहतर बनाती है, जिससे बड़े कॉन्टेक्स्ट विंडो या मॉडल रिट्रेनिंग की आवश्यकता के बिना टोकन खपत को कम किया जाता है और सटीकता बनाए रखी जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन भूलक्कड़ सहायक के साथ एक लंबी, जटिल बातचीत करने की कोशिश कर रहे हैं। इस सहायक का एक सख्त नियम है: वह एक बार में अपने दिमाग में केवल लगभग 100 पन्नों के नोट्स रख सकता है। यदि आप 10 मिनट तक बात करते हैं, तो उसे शुरुआत याद रहेगी। यदि आप एक घंटे तक बात करते हैं, तो वह शुरुआत को पूरी तरह से भूल जाएगा क्योंकि उसका "मानसिक नोटपैड" भर गया है।
यह पेपर ContextForge नामक एक सिस्टम पेश करता है जो इस समस्या को हल करता है। यह सहायक की सीमित स्मृति को एक ऐसी बाल्टी के रूप में नहीं देखता जो भर जाती है, बल्कि एक पुन: प्रयोज्य कार्यक्षेत्र (reusable workspace) के रूप में देखता है, जैसे कि एक कार्यालय में एक साफ डेस्क।
यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:
1. "पुनर्चक्रण योग्य डेस्क" (Context Recycling)
अधिकांश AI सिस्टम में, जब भी आप एक नया प्रश्न पूछते हैं, तो सिस्टम आपके द्वारा कही गई हर एक बात को सहायक की स्मृति में डाल देता है, इस उम्मीद में कि वह फिट हो जाएगी। अंततः, डेस्क पुराने नोट्स से इतना भर जाता है कि नए नोट्स के लिए कोई जगह नहीं बचती।
ContextForge नियमों को बदल देता है:
- डेस्क स्थिर है: सहायक के पास हमेशा डेस्क की समान मात्रा में जगह (कॉन्टेक्स्ट विंडो) होती है।
- सफाई दल (Cleanup Crew): सहायक के नए प्रश्न का उत्तर देने से पहले, सिस्टम पिछले विषय से संबंधित विशिष्ट नोट्स को हटा देता है।
- नया विषय: इसके बाद, यह तुरंत वर्तमान प्रश्न के लिए आवश्यक सटीक नए नोट्स ले आता है।
- परिणाम: सहायक कभी भी जगह की कमी महसूस नहीं करता, चाहे बातचीत कितनी भी लंबी क्यों न हो। यह एक लाइब्रेरियन की तरह है जो एक छोटी, साफ मेज तैयार रखता है। जब आप "इतिहास" के बारे में पूछते हैं, तो वे "इतिहास" की किताबें हटा देते हैं और "जीव विज्ञान" की किताबें ले आते हैं। मेज का आकार कभी नहीं बदलता, लेकिन जानकारी हमेशा ताज़ा रहती है।
2. पांच-स्तरीय लाइब्रेरी (Hierarchical Memory)
इस डेस्क सिस्टम को काम करने के योग्य बनाने के लिए, लेखकों ने एक पांच-मंजिला लाइब्रेरी बनाई है जहाँ जानकारी अलग-अलग गति और लागत पर रहती है:
- लेयर -1 (मस्तिष्क की सहज प्रवृत्तियाँ): वैकल्पिक। यदि आप AI मॉडल के मालिक हैं, तो आप इसके मस्तिष्क के भार (weights) को बदलकर विशिष्ट शब्दावली या कौशल को स्थायी रूप से "सिखा" सकते हैं। यह ऐसा है जैसे सहायक को हर बार किताब पढ़ने की आवश्यकता के बिना चिकित्सा या कोडिंग की स्वाभाविक प्रतिभा हो। इसमें शून्य "डेस्क स्पेस" खर्च होता है।
- लेयर 0 (स्थायी संकेत): यह सिस्टम की पहचान और उच्च-स्तरीय नियम है। यह डेस्क पर स्थायी रूप से रहता है, जैसे कि एक "स्वागत" का साइन। इसे दोबारा पढ़ने की आवश्यकता नहीं होती।
- लेयर 1 (सक्रिय बुकशेल्फ़): यह "पुनर्चक्रण योग्य" हिस्सा है। जब आप एक प्रश्न पूछते हैं, तो सिस्टम ज्ञान का विशिष्ट अध्याय (या "शाखा") लेता है और उसे डेस्क पर रखता है। जब आप काम पूरा कर लेते हैं, तो यह किताब वापस शेल्फ में रख देता है।
- लेयर 2 (सुपर-फास्ट इंडेक्स): यह एक बिजली की तरह तेज़ कैटलॉग है। यह सिस्टम को बताता है कि विशाल लाइब्रेरी में से कौन सी किताब उठानी है, और यह काम एक सेकंड से भी कम समय में होता है। यह किताब नहीं पढ़ता; यह बस सही किताब की ओर इशारा करता है।
- लेयर 3 (विशाल गोदाम): यह वास्तविक स्टोरेज (हार्ड ड्राइव) है जहाँ आपका सारा डेटा रहता है। यह टेराबाइट्स जानकारी रख सकता है (प्रभावी रूप से अनंत), लेकिन इसे एक्सेस करना धीमा है। सिस्टम केवल वही निकालता है जिसकी उसे आवश्यकता होती है।
3. "प्रोएक्टिव बटलर" (Proactive Butler)
बटलर के इंतजार करने के बजाय कि आप किताब मांगें और फिर वह गोदाम में उसे खोजने के लिए दौड़े, इस सिस्टम में एक बटलर है जो आपकी जरूरतों का पूर्वानुमान लगाता है।
- यदि आप हर दिन सुबह 9:00 बजे "मॉर्निंग मीटिंग" के नोट्स देखते हैं, तो बटलर उन्हें 8:55 AM तक डेस्क पर रख देता है।
- यदि आप "डेटाबेस" के नोट्स देख रहे हैं, तो बटलर "स्कीमा" नोट्स भी साथ में ला सकता है क्योंकि वे आमतौर पर एक साथ चलते हैं।
- यह स्वचालित रूप से होता है, जिससे AI अधिक तेज़ और तैयार महसूस होता है।
4. "ट्रेनिंग-फ्री" जादू का कमाल
यह पेपर यह भी बताता है कि बिना महंगे प्रशिक्षण के AI को विशिष्ट ज्ञान कैसे दिया जाए।
- पुराना तरीका: AI को चिकित्सा के बारे में सिखाने के लिए, आपको आमतौर पर इसे हजारों मेडिकल किताबें खिलानी पड़ती हैं और इसे महंगे ग्राफिक्स कार्ड पर दिनों तक चलाना पड़ता है।
- ContextForge का तरीका: वे एक गणितीय शॉर्टकट (SVD) का उपयोग करते हैं ताकि यह देखा जा सके कि AI मेडिकल टेक्स्ट बनाम सामान्य टेक्स्ट के प्रति कैसे प्रतिक्रिया देता है। फिर वे एक छोटा "अडैप्टर" (एक छोटा एड-ऑन) बनाते हैं जो AI को चिकित्सा सोच के पैटर्न को सिखाता है। इसमें एक साधारण कंप्यूटर पर लगभग 3 मिनट लगते हैं और किसी विशेष प्रशिक्षण डेटा की आवश्यकता नहीं होती है।
5. आंकड़े क्या कहते हैं
लेखकों ने एक मानक, उच्च-स्तरीय AI एजेंट (Azure AI Foundry) के मुकाबले इस सिस्टम का परीक्षण मेडिकल इंश्योरेंस रिकॉर्ड के एक विशाल डेटासेट (276 मिलियन पंक्तियाँ) का उपयोग करके किया।
- सटीकता (Accuracy): दोनों सिस्टम लगभग समान समय में सही उत्तर देते हैं (लगभग 85% बनाम 84%)।
- गति (Speed): ContextForge सिस्टम एक 12-टर्न की बातचीत में 4.7 गुना तेज़ था और 15-टर्न की बातचीत में 8 गुना तेज़ था।
- लागत (Tokens): इसने छोटे टेस्ट में 4.2 गुना कम "टोकन" (AI द्वारा टेक्स्ट मापने की मुद्रा) का उपयोग किया, और लंबे टेस्ट में 13.4 गुना कम का उपयोग किया।
अंतर क्यों बढ़ गया?
जैसे-जैसे बातचीत लंबी होती गई, मानक AI को हर बार चैट का पूरा इतिहास फिर से भेजना पड़ा, जिससे यह धीमा और महंगा हो गया। ContextForge सिस्टम ने अपना "डेस्क" साफ रखा, केवल नई और प्रासंगिक जानकारी भेजी, इसलिए यह लंबे समय तक तेज़ और सस्ता बना रहा।
सारांश
यह पेपर तर्क देता है कि AI के लिए बड़ी और बड़ी मेमोरी बाल्टियाँ बनाने के बजाय, हमें मेमोरी को कंप्यूटर के वर्किंग सेट (working set) की तरह मानना चाहिए: जो आवश्यक है उसे लोड करें, उपयोग करें, और फिर उसे हटा दें। ज्ञान को एक पदानुक्रम (hierarchy) में व्यवस्थित करके और कार्यक्षेत्र को पुनर्चक्रित करके, आप एक AI के साथ लंबी, जटिल बातचीत कर सकते हैं बिना इसके धीमा, महंगा या विस्मृति (forgetful) होने के।
यह सिस्टम ओपन-सोर्स है और मौजूदा AI मॉडल के साथ काम करता है, जिसका अर्थ है कि आपको इन लाभों को प्राप्त करने के लिए एक नए प्रकार का AI बनाने की आवश्यकता नहीं है; आपको बस मेमोरी को बेहतर तरीके से प्रबंधित करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।