Paritok-4B: Intent-Conditioned Context Compression for Coding Agents

सॉफ्टवेयर विकास की दुनिया में, एक नए प्रकार के कार्यकर्ता का उदय हुआ है: स्वायत्त कोडिंग एजेंट (autonomous coding agent)। ये ऐसे प्रोग्राम हैं जो जटिल समस्याओं को हल करने के लिए खुद से फाइलें पढ़ सकते हैं, कमांड चला सकते हैं और कोड लिख सकते हैं। ऐसा करने के लिए, वे लगातार एक शक्तिशाली कृत्रिम बुद्धिमत्ता (AI) मस्तिष्क के साथ चैट करते हैं, जिसे उन्होंने अब तक जो कुछ भी देखा और किया है, उसका एक लंबा इतिहास भेजते हैं। यह बातचीत का इतिहास एजेंट की स्मृति (memory) है, और यही कार्य को हल करने की कुंजी है। हालाँकि, यह स्मृति महंगी है। हर बार जब एजेंट कोई संदेश भेजता है, तो उसे संदेश में शब्दों की संख्या के आधार पर शुल्क देना पड़ता है। जैसे-जैसे एजेंट काम करता है, स्मृति बढ़ती जाती है, और बातचीत जारी रखने की लागत अत्यधिक हो सकती है, जो अक्सर स्वयं कार्य की लागत से भी अधिक हो जाती है।

इसे हल करने के लिए, शोधकर्ताओं ने मुख्य मस्तिष्क को संदेश भेजने से पहले स्मृति को संक्षिप्त (summarize) करने के लिए छोटे, सस्ते प्रोग्रामों का उपयोग करने का प्रयास किया है। विचार यह है कि संदेश को उसके सबसे महत्वपूर्ण हिस्सों तक सिकोड़ दिया जाए। लेकिन एक कोडिंग एजेंट के लिए, यह एक खतरनाक खेल है। यदि एक सारांश प्रोग्राम किसी वेरिएबल का नाम बदल देता है या फाइल पाथ (file path) बदल देता है, तो एजेंट ऐसी लाइन को एडिट करने की कोशिश कर सकता है जो अब मौजूद ही नहीं है, जिससे पूरी प्रक्रिया विफल हो सकती है। सारांश विवरणों में सटीक होना चाहिए, भले ही वह बहुत छोटा हो। यही वह चुनौती है जिसे एक नया अध्ययन संबोधित करता है: कोडिंग एजेंट की स्मृति को कैसे सिकोड़ा जाए बिना उन विशिष्ट, सटीक टेक्स्ट स्ट्रिंग्स को खोए जो एजेंट के जीवित रहने के लिए आवश्यक हैं।

शोधकर्ताओं की एक टीम ने Paritok-4B विकसित किया है, जो एक विशेष उपकरण है जिसे इन कोडिंग वार्ताओं को संपीड़ित (compress) करने के लिए डिज़ाइन किया गया है। सामान्य सारांशकर्ताओं के विपरीत, जो समाचार लेखों या कहानियों पर प्रशिक्षित होते हैं, इस टूल को कोडिंग एजेंटों की अव्यवस्थित, तकनीकी वास्तविकता के लिए विशेष रूप से बनाया गया है। यह दो सख्त नियमों पर काम करता है। पहला, यह 'एक्सट्रैक्टिव' (extractive) है, जिसका अर्थ है कि यह टेक्स्ट को फिर से लिखने या पैराफ्रेस करने की कोशिश नहीं करता है। इसके बजाय, यह एक सावधानीपूर्वक संपादक की तरह कार्य करता है जो अप्रासंगिक जानकारी के पूरे पैराग्राफ को काट देता है लेकिन शेष वाक्यों को बिल्कुल वैसा ही छोड़ देता है जैसा वे थे, शब्द दर शब्द। यह सुनिश्चित करता है कि यदि एजेंट को किसी विशिष्ट फंक्शन नाम या त्रुटि संदेश (error message) की आवश्यकता है, तो वह बिना किसी बदलाव के वहीं मौजूद रहे। दूसरा, यह 'इंटेंट-कंडीशन्ड' (intent-conditioned) है, जिसका अर्थ है कि इसे पता है कि एजेंट वर्तमान में क्या करने की कोशिश कर रहा है। यह इस ज्ञान का उपयोग यह तय करने के लिए करता है कि इतिहास के कौन से हिस्से महत्वपूर्ण हैं और कौन से केवल शोर (noise) हैं, यह उन लाइनों को रखता है जो वर्तमान कार्य के लिए मायने रखती हैं और बाकी को हटा देता है।

शोधकर्ताओं ने इस टूल को एक बहुत बड़े, अधिक महंगे कृत्रिम बुद्धिमत्ता की नकल करने के लिए सिखाकर बनाया है। उन्होंने कोडिंग एजेंटों द्वारा समस्याओं को हल करने के 67,000 से अधिक वास्तविक उदाहरण एकत्र किए और उस बड़े AI का उपयोग उन वार्ताओं के सटीक संपीड़ित संस्करण बनाने के लिए किया। फिर उन्होंने अपने छोटे, 4-बिलियन-पैरामीटर वाले मॉडल को इन संपीड़ित संस्करणों की नकल करने के लिए प्रशिक्षित किया। परिणाम स्वरूप, एक ऐसा टूल प्राप्त हुआ जो एजेंट की स्मृति को उसके मूल आकार के लगभग एक-चौथाई तक सिकोड़ सकता है। परीक्षणों में, यह संपीड़न सबसे उन्नत वाणिज्यिक AI मॉडलों द्वारा स्वयं किए जा सकने वाले संपीड़न से दोगुना आक्रामक था, फिर भी इसने एजेंट की समस्याओं को हल करने की क्षमता को लगभग समान बनाए रखा। जब एजेंट ने इस संपीड़ित स्मृति का उपयोग किया, तो इसने अभी भी लगभग 89 प्रतिशत समस्याओं को हल किया जिन्हें यह पूर्ण, असंपीडित स्मृति के साथ हल कर सकता था।

अध्ययन ने इस दृष्टिकोण के अर्थशास्त्र (economics) को भी करीब से देखा। संपीड़न करने के लिए एक शक्तिशाली, महंगे AI का उपयोग करने में अक्सर उस पैसे से अधिक खर्च होता है जो मुख्य मस्तिष्क को कम शब्द भेजने से बचाया जाता है। वास्तव में, शोधकर्ताओं ने पाया कि एक शीर्ष-स्तरीय वाणिज्यिक मॉडल को कंप्रेसर के रूप में उपयोग करने से कुल लागत वास्तव में बढ़ गई। हालाँकि, Paritok-4B इतना छोटा है कि इसे एक मानक कंप्यूटर ग्राफिक्स कार्ड पर चलाया जा सकता है। क्योंकि यह प्रत्येक शब्द को प्रोसेस करने के लिए कोई शुल्क नहीं लेता है, यह पैसे बचाने का एक तरीका प्रदान करता है जो एजेंट के काम करने के साथ बढ़ता है, न कि बातचीत बढ़ने के साथ लागत बढ़ाता है। यह टूल सुरक्षित होने के लिए डिज़ाइन किया गया है; यदि संपीड़न कभी कुछ ऐसा हटा देता है जिसकी एजेंट को आवश्यकता है, तो सिस्टम तुरंत मूल, बिना कटा हुआ टेक्स्ट पुनः प्राप्त कर सकता है।

शोधकर्ताओं ने सावधानीपूर्वक मापा कि यह कितना प्रभावी रहा। उन्होंने पाया कि टूल मूल टेक्स्ट के प्रति उल्लेखनीय रूप से वफादार था। संपीड़ित आउटपुट में, लगभग सभी विशिष्ट फाइलों के नाम, फंक्शन और नंबर सीधे इनपुट से कॉपी किए गए थे, जिसमें लगभग कोई नए शब्द नहीं बनाए गए थे। यह महत्वपूर्ण है क्योंकि कोडिंग एजेंट फाइलों को एडिट करने के लिए सटीक मिलान (exact matches) पर निर्भर करते हैं। अध्ययन ने दिखाया कि हालांकि टूल कभी-कभी आवश्यक से थोड़ा अधिक जानकारी रख लेता था, लेकिन इसने शायद ही कभी ऐसी गलती की जिससे एजेंट का काम टूट जाता। टीम ने यह भी नोट किया कि टूल पूरी तरह से कुछ को हटाने का निर्णय लेने में पूर्ण नहीं था; यह सतर्क रहने की प्रवृत्ति रखता था और उन सेगमेंट्स को अधिक रखता था जिनकी शायद आवश्यकता नहीं थी। यह एक सुरक्षित त्रुटि है, क्योंकि अतिरिक्त जानकारी रखना थोड़ा अधिक खर्च करता है लेकिन कार्य को नहीं तोड़ता, जबकि महत्वपूर्ण चीज़ को हटा देने से एजेंट विफल हो सकता है।

यह कार्य इस बारे में हमारी सोच में एक बदलाव का प्रतिनिधित्व करता है कि कृत्रिम बुद्धिमत्ता की दक्षता क्या है। विशाल, महंगे मॉडलों पर काम के हर हिस्से को करने के लिए निर्भर रहने के बजाय, शोधकर्ताओं ने दिखाया कि एक छोटा, विशेष मॉडल संदर्भ प्रबंधन (context management) का भारी काम संभाल सकता है। कोडिंग एजेंटों की विशिष्ट आवश्यकताओं—सटीक स्ट्रिंग्स को संरक्षित करने और वर्तमान कार्य को समझने—पर ध्यान केंद्रित करके, उन्होंने एक ऐसी प्रणाली बनाई जो पिछले तरीकों की तुलना में सस्ती और अधिक प्रभावी है। अध्ययन निष्कर्ष निकालता है कि कोडिंग एजेंटों के लिए, दक्षता का भविष्य बड़े दिमागों में नहीं, बल्कि उन स्मार्ट, छोटे उपकरणों में है जो जानते हैं कि क्या रखना है और किसे जाने देना है।