Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding
यह शोध पत्र CLAUDE.md जैसे एजेंटिक कोडिंग प्रॉम्प्ट्स में अनियंत्रित वृद्धि के कारण के रूप में "विनाशकारी स्मृति" (catastrophic remembering) की पहचान करता है, यह प्रदर्शित करते हुए कि निर्देशों को जोड़ना सस्ता है जबकि उन्हें हटाना गणनात्मक रूप से निषेधात्मक है, और यह प्रस्ताव करता है कि प्रॉम्प्ट कमेंट्स में गुप्त तर्क (latent reasoning) को एम्बेड करना इस विचलन को प्रभावी ढंग से रोकने और निर्देश-अनुपालन प्रदर्शन में महत्वपूर्ण सुधार करने में सक्षम है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भुलक्कड़ रोबोट सहायक को कोई विशिष्ट काम करना सिखा रहे हैं, जैसे ब्लॉग पोस्ट लिखना या कोड ठीक करना। आप शुरुआत में उसे नियमों की एक सरल सूची देते हैं: "तीन पैराग्राफों का उपयोग करें," "'बहुत' शब्द का प्रयोग न करें," और "हमेशा एक मुस्कान के साथ समाप्त करें।" इसे एक प्रॉम्प्ट (prompt) कहा जाता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये प्रॉम्प्ट्स निर्देश पुस्तिकाओं (instruction manuals) की तरह होते हैं।
अब, कल्पना कीजिए कि रोबोट एक गलती करता है। आप एक नया नियम जोड़कर उसे ठीक करते हैं: "ठीक है, और सुनिश्चित करें कि आप ठीक पांच बुलेट पॉइंट्स का उपयोग करें।" रोबलेट फिर से प्रयास करता है, विफल होता है, और आप एक और नियम जोड़ते हैं: "और याद रखें कि हर वाक्य के पहले अक्षर को बड़ा (capitalize) करें।" समय के साथ, इस नियमों की सूची लंबी होती जाती है। कंप्यूटर विज्ञान में, एक प्रसिद्ध समस्या है जिसे कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) कहा जाता है, जहाँ एक रोबोट कुछ नया सीखता है और अनजाने में अपनी पुरानी चीज़ों की याददाश्त मिटा देता है। लेकिन यह शोध पत्र इसके विपरीत समस्या के बारे में बात करता है: कैटास्ट्रोफिक रिमेंबरिंग (catastrophic remembering)। यह तब होता है जब एक रोबोट (या उसे प्रबंधित करने वाला इंसान) नियम जोड़ता तो रहता है लेकिन पुराने नियमों को कभी हटाता नहीं है, भले ही उनकी अब आवश्यकता न हो। सूची इतनी विशाल और अव्यवस्थित हो जाती है कि रोबोट भ्रमित हो जाता है, धीमा हो जाता है, और फिर से गलतियाँ करने लगता है। बड़ा सवाल यह है: यह सूची हमेशा के लिए बढ़ती क्यों रहती है, और हम इसे कैसे रोकें?
कभी न खत्म होने वाली सूची का रहस्य
इस शोध पत्र के लेखक, कुशाल चक्रवर्ती (साउथ पार्क कॉमन्स से), ने इस बात की जांच करने का निर्णय लिया कि क्यों ये "एजेंटिक" निर्देश सूचियाँ (सॉफ्टवेयर प्रोजेक्ट्स में अक्सर CLAUDE.md या AGENTS.md नाम की फाइलें) बिना किसी सीमा के बढ़ती जा रही हैं। उन्होंने GitHub पर लगभग 1,870 वास्तविक दुनिया के सॉफ्टवेयर प्रोजेक्ट्स का अध्ययन किया और 247,000 से अधिक व्यक्तिगत निर्देशों के जीवन का पता लगाया।
उन्होंने एक अजीब पैटर्न पाया: ये सूचियाँ लगभग कभी कम नहीं होतीं। इसके बजाय, वे प्रत्येक अपडेट के लिए औसतन 4.9 नए निर्देशों के साथ बढ़ती हैं। एक फाइल के जीवनकाल में, निर्देशों की संख्या दो गुने से भी अधिक (226%) बढ़ जाती है। औसत फाइल में 39 निर्देश होते हैं, लेकिन कुछ में 100 से भी अधिक होते हैं।
शोधकर्ताओं ने पूछा: लोग पुराने, बेकार नियमों को क्यों नहीं हटा देते?
उन्होंने पाया कि अपराधी यह नहीं है कि नियम "पुराने" (stale) हैं या खराब नियम जल्दी खत्म हो जाते हैं। इसके बजाय, समस्या अपूर्ण स्मरण शक्ति (imperfect recall) है। इसे ऐसे समझें: जब आप सूची में एक नया नियम जोड़ते हैं, तो आप जानते हैं कि आपने उसे क्यों जोड़ा। शायद आपने "तीन पैराग्राफों का उपयोग करें" इसलिए जोड़ा क्योंकि रोबोट चार लिख रहा था। लेकिन वह "क्यों" आपके दिमाग में एक विचार मात्र है। वह लिखा हुआ नहीं है।
जैसे-जैसे समय बीतता है और अन्य लोग फाइल को संपादित करते हैं, या जैसे-जैसे प्रोजेक्ट बदलता है, वह मूल कारण धुंधला पड़ता जाता है। यदि आप छह महीने बाद सूची देखते हैं, तो आपको नियम "तीन पैराग्राफों का उपयोग करें" दिखाई देता है, लेकिन आपको पता नहीं होता कि वह वहाँ क्यों है। क्या वह इसलिए था क्योंकि रोबोट बहुत अधिक बातें कर रहा था? क्या वह इसलिए था क्योंकि बॉस ने ऐसा करने को कहा था? उस कारण के बिना, नियम को हटाना जोखिम भरा लगता है। आपको डर लगता है कि यदि आप इसे हटा देंगे, तो रोबोट फिर से टूट जाएगा। इसलिए, आप इसे वहीं छोड़ देते हैं। इस बीच, आप नई समस्याओं के लिए नए नियम जोड़ते रहते हैं। परिणाम एक विशाल, भ्रमित करने वाली नियमों की सूची है जिसे अब कोई समझ नहीं पाता। लेखक इसे कैटास्ट्रोफिक रिमेंबरिंग कहते हैं: उन सभी चीजों को याद रखना जिन्हें आपको भूल जाना चाहिए था।
"बुलडोजर" प्रभाव
अध्ययन में यह भी पाया गया कि लोग इन अव्यवस्थित सूचियों को ठीक करने की कोशिश कैसे करते हैं। वे शायद ही कभी केवल एक या दो खराब नियमों को हटाते हैं। इसके बजाय, वे "सभी को हटाएं" (delete all) बटन दबाने की प्रवृत्ति रखते हैं। डेटा से पता चला कि सभी निर्देश हटाने की घटनाओं में से 76.8% एक बड़े "पुनर्लेखन" (rewrite) में होते हैं जहाँ कोई एक बार में फाइल के आधे या उससे अधिक हिस्से को हटा देता है। यह एक माली की तरह है जो यह तय नहीं कर पाता कि कौन सी घास निकालनी है, इसलिए वह पूरे बगीचे को जला देता है और फिर से शुरू करता है।
लेकिन यहाँ एक दिलचस्प मोड़ है: इस "जलाने" के बाद भी, बगीचा फिर से उग आता है। सूची तुरंत फिर से उसी तेज़ गति से बढ़ने लगती है। इसे रैचेट प्रभाव (ratchet effect) कहा जाता है। आकार तो गिर जाता है, लेकिन वृद्धि की दर नहीं बदलती। मूल कारण—यह तथ्य कि लोग यह याद नहीं रख पाते कि नियम क्यों जोड़े गए थे—कभी ठीक नहीं हुआ, इसलिए सूची फिर से भरने लगती है।
"कमेंट्स" (टिप्पणियों) का जादू
तो, इस सूची को हमेशा के लिए बढ़ने से कैसे रोका जाए? शोध पत्र एक समाधान सुझाता है जिसका उपयोग सॉफ्टवेयर इंजीनियर दशकों से कर रहे हैं: कमेंट्स (comments)।
सामान्य कंप्यूटर कोड में, प्रोग्रामर अपने कोड के बगल में छोटी टिप्पणियाँ लिखते हैं ताकि यह समझाया जा सके कि उन्होंने इसे इस तरह क्यों लिखा। ये नोट्स कंप्यूटर के लिए अदृश्य होते हैं लेकिन इसे पढ़ने वाले अगले इंसान के लिए मददगार होते हैं। शोधकर्ताओं ने परीक्षण किया कि क्या यही ट्रिक AI प्रॉम्प्ट्स के लिए काम करती है।
उन्होंने एक सिमुलेशन सेट किया जहाँ "रखरखावकर्ता" (AI एजेंटों) को एक प्रॉम्प्ट बनाना और ठीक करना था। एक समूह में, उन्हें बिना किसी नोट के निर्देश लिखने थे। दूसरे समूह में, उन्हें प्रत्येक निर्देश के बगल में एक कमेंट जोड़ने की अनुमति थी जो उसके कारण को समझा सके। उदाहरण के लिए, "तीन पैराग्राफों का उपयोग करें" के बगल में, कमेंट कह सकता है: "इसलिए जोड़ा गया क्योंकि रोबोट राउंड 3 में चार पैराग्राफ लिख रहा था।"
परिणाम नाटकीय थे।
- कमेंट्स के बिना: प्रॉम्प्ट अपने आवश्यक न्यूनतम आकार से 211.3% बड़ा हो गया।
- कमेंट्स के साथ: प्रॉम्प्ट लगभग पूरी तरह से सही आकार में रहा, जो न्यूनतम से केवल 1.4% ही बड़ा हुआ।
कमेंट्स एक टाइम मशीन की तरह काम करते थे। उन्होंने प्रत्येक नियम के लिए "लेटेंट रीजनिंग" (छिपे हुए तर्क) को सुरक्षित रखा। जब एक रखरखावकर्ता ने बाद में सूची देखी, तो वह कमेंट देख सकता था, समझ सकता था कि क्या वह नियम अभी भी आवश्यक है, या यह महसूस कर सकता था कि यह अब आवश्यक नहीं है, और उसे सुरक्षित रूप से हटा सकता था। कमेंट्स ने 99.3% अतिरिक्त, अनावश्यक निर्देशों को हटा दिया।
क्या यह वास्तव में बेहतर काम करता है?
शोधकर्ताओं ने केवल सूचियों को छोटा बनाने तक ही सीमित नहीं रहे; उन्होंने यह भी जांचा कि क्या रोबोट वास्तव में बेहतर काम करते हैं। उन्होंने पाया कि जब प्रॉम्प्ट बेकार, शोर वाले निर्देशों से भरे होते थे, तो रोबोट भ्रमित हो जाते थे और अधिक गलतियाँ करते थे। कमेंट्स का उपयोग करके सूची को साफ और केंद्रित रखकर, निर्देशों का पालन करने की रोबोट की क्षमता में 23.1% तक सुधार हुआ।
अध्ययन ने यह भी दिखाया कि यह तब भी काम करता है जब निर्देश जटिल हों और "रखरखावकर्ता" बहुत बुद्धिमान AI एजेंट हों। जितना अधिक सक्षम AI होगा, वह उतने ही अधिक नियम जोड़ने की प्रवृत्ति रखेगा, लेकिन उसे चीजों को नियंत्रण में रखने के लिए उन सहायक कमेंट्स से उतना ही अधिक लाभ मिलता है।
मुख्य निष्कर्ष
शोध पत्र एक चंचल लेकिन गंभीर प्रश्न के साथ समाप्त होता है: "यदि अंग्रेजी नया कोड है, तो हमारे पास अभी तक कमेंट्स क्यों नहीं हैं?"
जिस तरह मानव प्रोग्रामरों ने बहुत पहले ही सीख लिया था कि आपको यह समझाने की आवश्यकता है कि आपने कोड की एक पंक्ति क्यों लिखी, उन लोगों (और AI एजेंटों) को, जो इन AI प्रॉम्प्ट्स को प्रबंधित कर रहे हैं, यह लिखना शुरू करने की आवश्यकता है कि उन्होंने एक नियम क्यों जोड़ा। उस स्पष्टीकरण के बिना, नियम जमा होते जाते हैं, सिस्टम भ्रमित हो जाता है, और प्रदर्शन गिर जाता है। समाधान नियम जोड़ना बंद करना नहीं है; बल्कि प्रत्येक के बगल में एक छोटा सा नोट लिखना है ताकि अगला व्यक्ति (या रोबोट) जान सके कि उसे क्या रखना है और किसे फेंक देना है। यह एक अराजक, बढ़ती हुई राक्षस को एक स्वच्छ, कुशल उपकरण में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।