Code Isn't Memory: A Structural Codebase Index Inside a Coding Agent
यह शोध पत्र प्रदर्शित करता है कि एक स्ट्रक्चरल कोडबेस इंडेक्स को एक फिक्स्ड कोडिंग एजेंट हारनेस में एकीकृत करने से बिना किसी अतिरिक्त लागत के SWE-bench बेंचमार्क पर टास्क लोकलाइजेशन और रेजोल्यूशन दरों में महत्वपूर्ण सुधार होता है, जो एजेंटिक-grep बेसलाइन्स की तुलना में इसकी लागत-प्रभावशीलता को सिद्ध करता है और मल्टी-फाइल चेंज वर्कलोड के लिए इसके विशिष्ट मूल्य को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, अस्त-व्यस्त पुस्तकालय के भीतर एक जटिल रहस्य को सुलझाने की कोशिश कर रहे हैं। वह पुस्तकालय एक कंप्यूटर कोडबेस का प्रतिनिधित्व करता है, और वह रहस्य एक बग या एक नया फीचर अनुरोध है। आपके पास एक सुपर-स्मार्ट सहायक (AI मॉडल) है जो पढ़ और लिख सकता है, लेकिन वह एक ही समय में पूरे पुस्तकालय को नहीं देख सकता। उसे विशिष्ट किताबें या पन्ने माँगने होंगे।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्या अपने जासूसी सहायक को पुस्तकालय का एक जादुगत, पहले से बना हुआ नक्शा देना बेहतर है, या उन्हें बस इधर-उधर घूमकर "X के बारे में किताब कहाँ है?" चिल्लाना चाहिए (एक विधि जिसे "एजेंटिक ग्रेप" कहा जाता है)?
यहाँ रोज़मर्रा की उपमाओं का उपयोग करके अध्ययन का विवरण दिया गया है:
तीन टीमें
शोधकर्ताओं ने एक ही 91 रहस्यों (कोडिंग कार्यों) को हल करने के लिए तीन अलग-अलग टीमों को एक ही सुपर-स्मार्ट सहायक (Claude Opus 4.7) के साथ सेट किया।
- टीम "मैप-ऑन" (SC-ON): इस सहायक के पास एक स्ट्रक्चरल कोडबेस इंडेक्स है। इसे एक हाई-टेक, पहले से बने हुए नक्शे के रूप में सोचें जो जानता है कि पुस्तकालय की हर किताब दूसरी किताब से कैसे जुड़ी है। यह जानता है कि "अध्याय A" "अध्याय B" को संदर्भित करता है, और यह केवल कीवर्ड के आधार पर नहीं, बल्कि कहानी की संरचना के आधार पर तुरंत सही पन्ना ढूंढ सकता है।
- टीम "मैप-ऑफ" (SC-OFF): उनके पास वही समान उपकरण और दिमाग है, लेकिन नक्शा हटा दिया गया है। उन्हें पुराने तरीके से चीजें ढूंढनी होंगी: अलमारियों में खोज करना और कीवर्ड चिल्लाना।
- टीम "ग्रेप" (OpenCode): यह एक अलग, प्रसिद्ध जासूसी एजेंसी है जो केवल "कीवर्ड चिल्काने" वाली विधि का उपयोग करती है। उनके पास कोई पहले से बना हुआ नक्शा नहीं है।
प्रयोग
शोधकर्ताओं ने यह सुनिश्चित किया कि बाकी सब कुछ समान हो: वही पुस्तकालय, वही जासूसी दिमाग, समय की समान सीमाएँ, और यहाँ तक कि यह सुनिश्चित करने के लिए एक ही "लीक-प्रूफ" कमरा कि किसी ने भी उत्तर देखने की चोरी न की हो। उन्होंने परिणामों की पुष्टि करने के लिए यह परीक्षण तीन बार चलाया।
परिणाम: क्या हुआ?
1. "मैप" टीम ने चीजें बहुत तेज़ी से ढूंढीं
जब नक्शे वाली टीम ने उस विशिष्ट फ़ाइल को खोजने की कोशिश की जिसे उन्हें बग ठीक करने के लिए चाहिए था, तो वे 84.5% बार सफल रहे। बिना नक्शे वाली टीम केवल 44.3% बार सफल रही।
- उपमा: यह उस अंतर जैसा है जैसे पूरी इमारत के लेआउट को जानने वाले लाइब्रेरियन से पूछना बनाम किसी ऐसे व्यक्ति से पूछना जो केवल भाग्य के भरोसे किताबों के स्पाइन (Spine) को स्कैन करता रहे। नक्शा टीम जानती थी कि कहाँ देखना है।
2. "मैप" टीम ने अधिक समस्याओं को हल किया
क्योंकि उन्होंने सही फ़ाइलें तेज़ी से ढूँढ लीं, "मैप" टीम वास्तव में बग्स को 50.4% बार ठीक कर पाई। बिना नक्शे वाली टीम केवल 41.9% बार उन्हें ठीक कर पाई।
- उपमा: जब आप सही किताब खोजने में कम समय बिताते हैं, तो आपके पास वास्तव में उसे पढ़ने और कहानी को ठीक करने के लिए अधिक समय होता है।
3. यह अधिक महंगा नहीं था
एक आम डर है कि फैंसी नक्शा रखने के लिए बहुत अधिक पैसा या समय लगेगा। अध्ययन में पाया गया कि "मैप" टीम को प्रत्येक कार्य के लिए अधिक लागत नहीं आई। वास्तव में, क्योंकि उन्होंने समस्याओं को तेज़ी से हल किया, प्रति हल की गई समस्या लागत वास्तव में कम थी (2.92)।
- उपमा: अपनी कार के लिए GPS ऐप खरीदने में कुछ डॉलर खर्च होते हैं, लेकिन यह चक्कर काटने के बजाय आपको सीधे मंजिल तक पहुँचाकर गैस और समय बचाता है। "मैप" टीम सीधे मंजिल की ओर बढ़ी; अन्य लोग कुछ गलत मोड़ ले लेते हैं।
4. जहाँ "मैप" सबसे अधिक चमका
नक्शा तब सबसे अधिक उपयोगी था जब रहस्य में कई फ़ाइलें शामिल थीं (जैसे कि एक कहानी जो तीन अलग-अलग किताबों में फैली हुई है)। इन मामलों में, "मैप" टीम ने दूसरों को पछाड़ दिया। जब कार्य में केवल एक एकल फ़ाइल शामिल थी, तो नक्शा अभी भी मददगार था, लेकिन कीवर्ड टीम कभी-कभी बराबरी कर लेती थी।
- उपमा: यदि आपको एक किताब में एक शब्द ढूंढना है, तो शब्द चिल्लाना काम करता है। लेकिन यदि आपको यह समझने के लिए कि तीन अलग-अलग अध्याय कैसे परस्पर क्रिया करते हैं, एक प्लॉट होल (Plot hole) को कैसे सुलझाया जाए, तो एक नक्शा जो संबंधों को दिखाता है, अमूल्य है।
बड़ा निष्कर्ष
यह पेपर निष्कर्ष निकालता है कि कोडिंग एजेंटों के लिए, एक स्ट्रक्चरल मैप चलाना बहुत महंगा नहीं है। यह आपको धीमा नहीं करता है, और इसमें अतिरिक्त पैसा भी नहीं लगता।
असली सवाल कंपनियों के लिए यह नहीं है कि "क्या हम नक्शा वहन कर सकते हैं?" बल्कि यह है कि "क्या हमारी समस्याओं में जटिल, मल्टी-फ़ाइल परिवर्तन शामिल हैं जहाँ एक नक्शा वास्तव में मदद करेगा?" यदि आपका काम एक सिस्टम के कई अलग-अलग हिस्सों को जोड़ने से संबंधित है, तो नक्शा खुद की भरपाई करता है क्योंकि यह AI को सही टुकड़ों को तेज़ी से खोजने में मदद करता है।
यह पेपर क्या नहीं कहता:
- यह दावा नहीं करता कि यह हर प्रकार के AI या हर प्रकार के सॉफ़्टवेयर के लिए काम करता है।
- यह नहीं कहता कि यह मानव प्रोग्रामरों की जगह लेगा।
- यह चिकित्सा या नैदानिक उपयोगों के बारे में दावे नहीं करता है (यह पूरी तरह से कोडिंग के बारे में है)।
संक्षेप में: कोडिंग के लिए एक स्ट्रक्चरल मैप देना AI को एक बेहतर जासूस बनाता है, यह अधिक मामले सुलझाता है, और यह सब बिना बजट बिगाड़े करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।