Codebase-Memory: Tree-Sitter-Based Knowledge Graphs for LLM Code Exploration via MCP
Codebase-Memory एक ओपन-सोर्स सिस्टम है जो कोडबेस के स्थायी नॉलेज ग्राफ (knowledge graphs) बनाने के लिए Tree-Sitter और Model Context Protocol का लाभ उठाता है, जिससे LLM एजेंटों के लिए उत्तर की गुणवत्ता को प्रतिस्पर्धी बनाए रखते हुए, टोकन खपत और टूल कॉल्स को काफी कम करके जटिल रिपॉजिटरीज़ को एक्सप्लोर करना संभव हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक विशाल, अराजक पुस्तकालय के भीतर एक रहस्य को सुलझाने की कोशिश कर रहे हैं। इस पुस्तकालय में लाखों किताबें (कोड फाइलें) हैं, लेकिन वे अलमारियों पर व्यवस्थित नहीं हैं; वे बस विशाल, असॉर्टेड ढेरों के रूप में पड़ी हैं।
पुराना तरीका (द "एक्सप्लोरर" एजेंट)
वर्तमान में, अधिकांश AI कोडिंग असिस्टेंट ऐसे जासूस की तरह काम करते हैं जिसे हर एक किताब तक शारीरिक रूप से दौड़कर जाना पड़ता है, उसे खोलना पड़ता है, कुछ पन्ने पढ़ने पड़ते हैं, उसे बंद करना पड़ता है, और फिर यह देखने के लिए अगली किताब की ओर दौड़ना पड़ता है कि क्या वह संबंधित है।
- समस्या: यदि आप पूछते हैं, "क्या होगा अगर मैं किताब A में यह एक वाक्य बदल दूँ?", तो AI को किताब A तक दौड़ना होगा, उस वाक्य को खोजना होगा, देखना होगा कि वह किताब B का उल्लेख करती है, किताब B तक दौड़ना होगा, किताब C के संदर्भ को खोजना होगा, और इसी तरह आगे बढ़ना होगा।
- लागत: इसमें बहुत समय लगता है। यह बहुत अधिक "ऊर्जा" (कंप्यूटर टोकन) खर्च करता है और एक साधारण संबंध को समझने के लिए हजारों चक्करों (टूल कॉल्स) की आवश्यकता होती है। यह घास के ढेर में से एक विशिष्ट धागे को खोजने के लिए घास के हर एक टुकड़े को एक-एक करके बाहर निकालने जैसा है।
नया तरीका (कोडबेस-मेमोरी)
लेखकों ने Codebase-Memory नामक एक सिस्टम बनाया है। लाइब्रेरी को कागज के ढेर के रूप में मानने के बजाय, उन्होंने जासूस के आने से पहले पूरी लाइब्रेरी का एक विशाल, इंटरैक्टिव 3D मैप तैयार किया है।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "इंस्टेंट मैप" (Tree-Sitter और नॉलेज ग्राफ)
कल्पना कीजिए कि सिस्टम एक बार लाइब्रेरी में घूमता है और एक सटीक नक्शा बनाता है।
- यह केवल टेक्स्ट नहीं लिखता; यह संबंधित चीजों को जोड़ने वाली रेखाएं भी खींचता है।
- यह जानता है कि "फंक्शन A" "फंक्शन B" को कॉल करता है।
- यह जानता है कि "क्लास X", "क्लास Y" से इनहेरिट करती है।
- यह किताबों को "कम्युनिटीज" (समुदायों) में समूहबद्ध करता है, जो इस आधार पर है कि वे मिलकर क्या करती हैं।
- जादू: यह मैप एक छोटे, सुपर-फास्ट डेटाबेस (SQLite) में स्टोर किया जाता है। यह कोड के लिए एक GPS होने जैसा है।
2. "सुपर-कनेक्टर" (MCP)
सिस्टम MCP नामक एक मानक प्रोटोकॉल का उपयोग करता है। इसे एक यूनिवर्सल रिमोट कंट्रोल समझें।
- कोई भी AI एजेंट (जैसे Claude, Cursor, या Aider) इस रिमोट को उठा सकता है।
- AI से "पूरी किताब पढ़ने" के लिए कहने के बजाय, एजेंट इस रिमोट पर एक बटन दबाता है: "मुझे इस बटन से जुड़ी सभी रेखाएं दिखाओ।"
- सिस्टम तुरंत मैप पर ज़ूम करता है और एक सेकंड के भीतर उत्तर दिखा देता है।
3. "सेल्फ-अपडेटिंग" फीचर
लाइब्रेरी बदलती रहती है; नई किताबें जोड़ी जाती हैं, और पुरानी बदली जाती हैं।
- Codebase-Memory के पास एक "सिक्योरिटी गार्ड" (फाइल वॉचर) है जो लाइब्रेरी पर नज़र रखता है।
- यदि एक भी पेज बदला जाता है, तो गार्ड पूरा मैप फिर से नहीं बनाता। वह बस बदले हुए उस छोटे से हिस्से को मिटाता है और उस विशिष्ट कोने को फिर से बनाता है। यह मैप को बिना धीमा किए ताज़ा रखता है।
4. "सेफ्टी फर्स्ट" दृष्टिकोण
चूंकि यह सिस्टम आपके कंप्यूटर की फाइलों तक AI को गहरी पहुंच देता है, इसलिए लेखक सुरक्षा (जैसे किसी अजनबी को अपने घर की चाबियाँ देने) को लेकर बहुत चिंतित थे।
- उन्होंने एक 8-लेयर सुरक्षा ऑडिट बनाया है।
- वे सॉफ्टवेयर के साथ एक हाई-सिक्योरिटी वॉल्ट (तिजोरी) की तरह व्यवहार करते हैं। इसे रिलीज़ करने से पहले, वे इसे दर्जनों एंटीवायरस स्कैनरों से गुजारते हैं, कोड की हर लाइन को छिपे हुए जाल के लिए चेक करते हैं, और इसकी "जन्म प्रमाण पत्र" (प्रोवेनेंस) को सत्यापित करते हैं ताकि यह सुनिश्चित हो सके कि किसी ने इसके साथ छेड़छाड़ नहीं की है। यह एक ऐसी कार की तरह है जो फैक्ट्री-सील्ड इंजन और इस गारंटी के साथ आती है कि किसी ने भी इसके बोल्ट को छुआ तक नहीं है।
परिणाम: यह क्यों मायने रखता है
शोधकर्ताओं ने 31 अलग-अलग प्रोग्रामिंग भाषाओं (जैसे Python, Java, C++, आदि) पर इस नए सिस्टम का परीक्षण पुराने "दौड़ो-और-पढ़ो" तरीके के मुकाबले किया।
- गति: स्ट्रक्चरल सवालों के जवाब देने में नया सिस्टम 1,000 गुना तेज़ है।
- दक्षता: समान उत्तर पाने के लिए यह 10 गुना कम ऊर्जा (टोकन) का उपयोग करता है।
- सटीकता: यह 83% बार सही उत्तर देता है (धीमी विधि के 92% की तुलना में), लेकिन जटिल "कनेक्शन" वाले सवालों (जैसे "इस फंक्शन का उपयोग कौन करता है?") के लिए, यह वास्तव में धीमी विधि से बेहतर प्रदर्शन करता है।
निचोड़
Codebase-Memory एक ऐसे जासूस से अपग्रेड करने जैसा है जिसे लाइब्रेरी की हर किताब पढ़नी पड़ती है, बजाय एक ऐसे जासूस के जिसके पास एक जादुई, जीवित मैप है जो हर कनेक्शन को तुरंत दिखा देता है।
यह समय बचाता है, पैसा बचाता है (कम कंप्यूटर पावर का उपयोग होता है), और AI कोडिंग असिस्टेंट्स को यह समझने में बहुत स्मार्ट बनाता है कि कोड आपस में कैसे जुड़ता है, जबकि सैन्य-ग्रेड सुरक्षा जांच के साथ आपके डेटा को सुरक्षित रखता है। यह अराजक घास के ढेर को एक व्यवस्थित, नेविगेबल शहर में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।