PI-Mem: Pushing Long-Context Reasoning to 3.6M Tokens with Parallel-Iterative Memory
यह शोध पत्र PI-Mem को प्रस्तुत करता है, जो एक समानांतर-पुनरावृत्ति (parallel-iterative) मेमोरी तंत्र है जो सभी संदर्भ चंक्स (context chunks) को एक साथ और पुनरावृत्ति के माध्यम से एक साझा मेमोरी को रिफाइन करता है, जिसमें सुदृढीकरण शिक्षण-आधारित अनुकूलन समाप्ति (reinforcement learning-based adaptive termination) का उपयोग किया गया है, जिससे लार्ज लैंग्वेज मॉडल्स को 3.6 मिलियन टोकन तक के लंबे-संदर्भ तर्क कार्यों (long-context reasoning tasks) पर उत्कृष्ट सटीकता और महत्वपूर्ण इन्फरेंस स्पीडअप प्राप्त करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, 36 लाख पन्नों के रहस्यमयी उपन्यास को सुलझाने की कोशिश कर रहे हैं। आपके पास एक शानदार जासूस है, एक लार्ज लैंग्वेज मॉडल (LLM), जो अविश्वसनीय रूप से बुद्धिमान है लेकिन उसकी अल्पकालिक स्मृति (short-term memory) बहुत कम है। यदि आप जासूस को एक साथ पूरी किताब थमा देते हैं, तो उसका मस्तिष्क अभिभूत हो जाता है, और जब तक वह पन्ना नंबर 1,000,000 तक पहुँचता है, तब तक वह पन्ना नंबर 10 के सुरागों को भूलने लगता है। यह कृत्रिम बुद्धिमत्ता (AI) की "लॉन्ग-कॉन्टेक्स्ट" (long-context) समस्या है: हम कंप्यूटर का ध्यान कहानी के अंत को पढ़ते समय शुरुआत पर कैसे बनाए रखें?
इसे हल करने के लिए, वैज्ञानिकों ने दो मुख्य तरकीबें आजमाईं। पहली तरकीब एक रबर बैंड को खींचने की तरह है; वे मॉडल को एक साथ सब कुछ याद रखने के लिए मजबूर करने की कोशिश करते हैं, लेकिन रबर बैंड अक्सर टूट जाता है या उपयोग करने के लिए बहुत धीमा हो जाता है। दूसरी, अधिक लोकप्रिय तरकीब, "रिकरेंट मेमोरी" (Recurrent Memory) दृष्टिकोण है। कल्पना कीजिए कि एक जासूस एक बार में एक अध्याय पढ़ता है। अध्याय 1 पढ़ने के बाद, वे अपनी नोटबुक में एक छोटा सा सारांश लिखते हैं, अध्याय को फेंक देते हैं, और अध्याय 2 पर बढ़ जाते हैं। वे अध्याय 2 पढ़ते हैं, अपने नोट को अपडेट करते हैं, अध्याय को फेंक देते हैं, और इसी तरह आगे बढ़ते हैं। समस्या यह है कि यदि जासूस बाद में कोई भ्रमित करने वाला अध्याय पढ़ता है, तो वे अनजाने में अपने अध्याय 1 के महत्वपूर्ण नोट पर कुछ नया लिख सकते हैं, जिससे एक महत्वपूर्ण सुराग हमेशा के लिए मिट सकता है। यह एक धीमी, क्रमिक प्रक्रिया है क्योंकि जासूस को अगला नोट पूरा होने तक इंतजार करना पड़ता है, जिससे पूरी जांच खिंचती चली जाती है।
यहीं पर शोधकर्ताओं की एक नई टीम एक नए विचार के साथ आती है जिसे PI-Mem (पैरेलल-इटरेटिव मेमोरी) कहा जाता है। जासूस द्वारा एक-एक करके अध्याय पढ़ने और फिर नोट अपडेट करने के बजाय, PI-Mem जासूस को एक सुपरपावर देता है: सभी अध्यायों को एक ही समय में पढ़ने की क्षमता, लेकिन एक ट्विस्ट के साथ।
यहाँ बताया गया है कि वास्तविक दुनिया में PI-Mem कैसे काम करता है। कल्पना कीजिए कि जासूस के पास एक "शेयर्ड ग्लोबल मेमोरी" (Shared Global Memory) बोर्ड है। क्रमवार (sequentially) अध्याय पढ़ने के बजाय, जासूस मेमोरी बोर्ड की वर्तमान स्थिति का उपयोग मार्गदर्शक के रूप में करते हुए, एक साथ सभी अध्या अध्यायों को देखता है। प्रत्येक अध्याय के लिए, वे पूछते हैं: "क्या इस पन्ने पर कोई नया सुराग है जो पहले से मेरे बोर्ड पर नहीं है?" यदि उत्तर 'हाँ' है, तो वे उस विशिष्ट सुराग को बाहर निकालते हैं। यदि उत्तर 'नहीं' है, तो वे बाकी शोर (noise) को अनदेखा कर देते हैं।
एक बार जब वे समानांतर (parallel) रूप से सभी अध्यायों को स्कैन कर लेते हैं, तो वे केवल मिले हुए नए सुरागों को लेते हैं और उन्हें मेमोरी बोर्ड पर मिला देते हैं, जिससे एक स्पष्ट और पूर्ण तस्वीर बनती है। फिर, वे इस प्रक्रिया को दोहराते हैं। वे फिर से सभी अध्यायों को देखते हैं, लेकिन इस बार, वे बोर्ड का उपयोग मार्गदर्शन के लिए करते हैं। शायद अध्याय 5 में छूटा हुआ कोई सुराग अचानक अध्याय 200 में मिले किसी मेल खाने वाले हिस्से के कारण समझ में आ जाए। वे इन "राउंड्स" (rounds) के स्कैनिंग को तब तक जारी रखते हैं जब तक कि कोई नया सुराग न मिल जाए या वे एक सीमा तक न पहुँच जाएँ। अंत में, वे बोर्ड पर संचित सुरागों का उपयोग करके रहस्य को सुलझाते हैं, न कि पूरी 36 लाख पन्नों की किताब का।
शोधकर्ताओं ने इस पद्धति का परीक्षण दो अलग-अलग AI मॉडलों (Qwen3.5 और Qwen2.5) पर किया, जो HotpotQA नामक एक बेंचमार्क का उपयोग करता है, जिसमें विशाल दस्तावेजों में जानकारी खोजने के लिए कठिन प्रश्नों के उत्तर देने की आवश्यकता होती है। उन्होंने कॉन्टेक्स्ट की लंबाई को आश्चर्यजनक 36 लाख टोकन (लगभग एक विशाल पुस्तकालय के आकार का) तक धकेला।
परिणाम चौंकाने वाले थे। पुराने "एक-एक करके पढ़ने" वाले तरीके (Recurrent Memory) की तुलना में, PI-Mem न केवल बेहतर उत्तर देता था, बल्कि वह उन्हें बहुत तेज़ी से भी देता था। 36 लाख टोकन के परीक्षण पर, PI-Mem ने पिछले सर्वश्रेष्ठ तरीके की तुलना में सटीकता में 6.25 से 7.81 प्रतिशत अंक का सुधार किया। इससे भी अधिक प्रभावशाली बात यह है कि यह बड़े मॉडल पर 6.1 गुना तेज़ था और छोटे मॉडल पर 2.1 गुना तेज़ था। पुराना तरीका इसलिए धीमा था क्योंकि जासूस को अगले कदम पर जाने से पहले हर एक चरण के पूरा होने का इंतजार करना पड़ता था। PI-Mem ने, समानांतर में सब कुछ पढ़कर, एक धीमी, घुमावदार सड़क को एक हाई-स्पीड हाईवे में बदल दिया।
टीम ने AI को यह सिखाने के लिए कि कब रुकना है, "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) नामक एक विशेष प्रशिक्षण तकनीक का भी उपयोग किया। उन्होंने AI को पर्याप्त सबूत होने पर जांच जल्दी समाप्त करने के लिए एक "बोनस" दिया, जिससे उसे अनावश्यक अतिरिक्त राउंड पढ़ने से रोका जा सके। इसने सुनिश्चित किया कि सिस्टम उन अध्यायों को दोबारा पढ़ने में समय बर्बाद न करे जिन्हें वह पहले ही हल कर चुका है।
संक्षेप में, यह पेपर सुझाव देता है कि लंबे दस्तावेजों के बारे में AI के "सोचने" के तरीके को बदलकर—एक धीमे, क्रमिक नोट लेने वाले से एक समानांतर, पुनरावृत्ति (iterative) जांचकर्ता में बदलकर—हम विशाल मात्रा में टेक्स्ट से जटिल समस्याओं को बिना शुरुआती सुराग खोए हल कर सकते हैं। यह साबित करता है कि आपको AI को एक साथ सब कुछ याद रखने के लिए मजबूर करने की आवश्यकता नहीं है; आपको बस उन्हें पहेली के टुकड़ों को खोजने के साथ व्यवस्थित करने का एक बेहतर तरीका देने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।