← नवीनतम पेपर
🤖 AI

Why Limit the Residual Stream to Layers and Not Tokens? Persistent Memory for Continuous Latent Reasoning

यह शोध पत्र AGCLR प्रस्तुत करता है, जो मध्यवर्ती तथ्यों को ओवरराइट करने की "कॉन्सेप्ट बॉटलनेक" (concept bottleneck) की समस्या को दूर करने के लिए एक गेटेड पर्सिस्टेंट मेमोरी स्ट्रीम जोड़कर CoCoNuT रीजनिंग प्रतिमान (paradigm) को उन्नत करता है, जिससे रीजनिंग की गहराई बढ़ने के साथ मल्टी-हॉप रीजनिंग कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Mujtaba Farhan, Maheep Chaudhary

प्रकाशित 2026-06-09
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Mujtaba Farhan, Maheep Chaudhary

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

समस्या: "धुंधला व्हाइटबोर्ड" (The "Foggy Whiteboard")

कल्पना कीजिए कि एक विशाल भाषा मॉडल (जैसे कि एक बहुत ही बुद्धिमान रोबोट) एक जटिल पहेली को हल करने की कोशिश कर रहा है, जैसे कि एक बहु-चरणीय गणितीय समस्या या एक जासूसी कहानी जिसमें कई सुरागों की आवश्यकता होती है।

यह शोध पत्र CoCoNuT नामक सोचने के एक नए तरीके के साथ एक विशिष्ट समस्या की पहचान करता है। इस पद्धति में, रोबट अपने विचारों को शब्दों में नहीं लिखता (जैसे "चरण 1: इन संख्याओं को जोड़ें")। इसके बजाय, वह अपने स्वयं के मस्तिष्क (लेटेंट स्पेस) के भीतर "मौन फुसफुसाहट" (silent whispers) में सोचता है। वह समाधान बनाने के लिए बार-बार इन फुसफुसाहटों को खुद को ही पास करता है।

दोष: लेखक इसे "कॉन्सेप्ट बॉटलनेक" (Concept Bottleneck) कहते हैं।
कल्पना कीजिए कि रोबोट के पास एक छोटा, एकल व्हाइटबोर्ड है। हर बार जब वह एक नया विचार सोचता है, तो वह नए विचार के लिए जगह बनाने के लिए पिछले विचार को मिटा देता है।

  • विचार 1: "उत्तर 5 है।" (बोर्ड पर लिखा गया)।
  • विचार 2: "रुको, मुझे इसे 2 से गुणा करने की आवश्यकता है।" (रोबोट नए विचार को लिखने के लिए "5" को मिटा देता है)।
  • विचार 3: "तो उत्तर 10 है।" (रोबोट भूल जाता है कि उसने 5 से शुरुआत की थी)।

जैसे-जैसे तर्क लंबा होता जाता है (अधिक चरण), रोबोट उन महत्वपूर्ण तथ्यों को भूल जाता है जिन्हें उसने शुरुआती चरणों में समझा था। यह एक लंबे गणितीय प्रश्न को हल करने की कोशिश करने जैसा है जबकि आप अगले बटन को दबाने से पहले लगातार अपने कैलकुलेटर की स्क्रीन को साफ करते रहते हैं। शोध पत्र दिखाता है कि कठिन, बहु-चरणीय कार्यों पर, यह रोबोट से गलतियाँ करने या कार्य कठिन होने पर प्रदर्शन बिगड़ने का कारण बनता है।

समाधान: AGCLR (द "स्मार्ट नोटबुक")

इसे ठीक करने के लिए, लेखकों ने AGCLR नामक एक नई प्रणाली बनाई है।

एक एकल व्हाइटबोर्ड जो मिट जाता है, के बजाय, कल्पना कीजिए कि अब रोबोट के पास एक स्मार्ट नोटबुक (Smart Notebook) है जो व्हाइटबोर्ड के बगल में खुली रहती है। इस नोटबुक में तीन विशेष "द्वार" (सुरक्षा गार्डों की तरह) हैं जो इसमें क्या जाएगा और क्या बाहर आएगा, इसे नियंत्रित करते हैं:

  1. लिखने का द्वार (लेखक - The Scribe): जब रोबोट एक महत्वपूर्ण तथ्य का पता लगाता है (जैसे "उत्तर 5 से शुरू होता है"), तो यह द्वार तय करता है: "क्या यह इतना महत्वपूर्ण है कि इसे नोटबुक में लिखा जाए?" यदि हाँ, तो यह इसे सहेज लेता है। यदि नहीं, तो यह इसे अनदेखा कर देता है।
  2. पढ़ने का द्वार (शोधकर्ता - The Researcher): जब रोबोट को अगले चरण को हल करने की आवश्यकता होती है, तो यह द्वार कहता है: "मुझे नोटबुक चेक करने दो कि हमने पहले क्या सीखा था।" यह पुराने तथ्यों को रोबोट के सक्रिय मस्तिष्क में वापस लाता है।
  3. भूलने का द्वार (सफाई कर्मचारी - The Janitor): कभी-कभी, रोबोट अप्रासंगिक विवरणों (जैसे गणित की समस्या हल करते समय "आसमान नीला है") से भ्रमित हो जाता है। यह द्वार कहता है: "इसे फेंक दो," ताकि नोटबुक में फालतू चीजें जमा न हों।

व्यवहार में यह कैसे काम करता है

शोध पत्र ने तीन प्रकार की चुनौतियों पर इसका परीक्षण किया:

  • गणित (GSM8K): शब्द समस्याओं (word problems) को हल करना।
  • जासूसी कार्य (HotpotQA): ऐसे प्रश्नों के उत्तर देना जिनके लिए कई अलग-अलग अनुच्छेदों में सुराग खोजने की आवश्यकता होती है।
  • योजना बनाना (ProsQA): लक्ष्य तक पहुँचने के लिए चरणों के क्रम को समझना।

परिणाम:

  • बिना नोटबुक के (Vanilla CoCoNuT): जैसे-जैसे पहेली लंबी होती गई, रोबोट का प्रदर्शन गिरता गया। वह शुरुआती सुरागों को भूल गया।
  • नोटबुक के साथ (AGCLR): रोबोट ने अपने तथ्यों को सुरक्षित रखा। सबसे कठिन, लंबे पहेलियों पर भी, यह बेहतर हुआ।
    • "जासूसी कार्य" कार्य पर, इसमें 3.6% का सुधार हुआ।
    • "योजना" कार्य पर, इसमें 4.0% का सुधार हुआ।

एक प्रमुख खोज: "एक बार लिखें, कई बार पढ़ें" (Write Once, Read Many)

लेखकों ने यह देखने के लिए एक दिलचस्प प्रयोग किया कि "द्वार" कैसे काम करते हैं। उन्होंने रोबोट को पहले दो चरणों के बाद नोटबुक में नई चीजें लिखने से रोकने की कोशिश की।

आश्चर्यजनक रूप से, रोबोट अभी भी लगभग पूरी तरह से काम कर रहा था!
यह हमें बताता है कि रोबोट को लगातार पूरी कहानी को फिर से लिखने की आवश्यकता नहीं है। उसे बस शुरुआती चरणों में (पहले कुछ चरणों में) मुख्य तथ्यों को पकड़ने की आवश्यकता है और फिर बाकी समय उन्हें पढ़ने और याद रखने में बिताना है। "स्मार्ट नोटबुक" एक स्थायी स्मृति बैंक (memory bank) के रूप में कार्य करती है, न कि एक अस्थायी रफ नोटपैड के रूप में।

सारांश

यह शोध पत्र तर्क देता है कि वर्तमान AI तर्क विधियाँ केवल अंतिम वाक्य को अपने दिमाग में रखकर एक लंबी कहानी को याद रखने की कोशिश करने जैसी हैं। लेखकों ने AI को एक स्थायी मेमोरी स्ट्रीम (persistent memory stream) (एक नोटबुक) देकर इसे ठीक किया जिसे वह लिख सकता है, पढ़ सकता है और साफ कर सकता है। यह AI को अपनी सोच का क्रम खोए बिना बहुत लंबी और अधिक जटिल समस्याओं को हल करने की अनुमति देता है।

यह शोध पत्र क्या दावा नहीं करता है:

  • यह दावा नहीं करता है कि यह चिकित्सा निदान या क्लिनिकल उपयोग के लिए काम करता है।
  • यह दावा नहीं करता है कि यह विशाल सुपर-कंप्यूटरों पर काम करता है (उन्होंने केवल GPT-2 नामक छोटे मॉडल पर इसका परीक्षण किया है)।
  • यह दावा नहीं करता है कि यह अभी व्यावसायिक उत्पादों के लिए तैयार है; यह एक अनुसंधान प्रयोग है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →