ContextCov: Deriving and Enforcing Executable Constraints from Agent Instruction Files
ContextCov एक ऐसा फ्रेमवर्क है जो स्वायत्त (autonomous) LLM एजेंटों में "कॉन्टेक्स्ट ड्रिफ्ट" (Context Drift) को कम करने के लिए निष्क्रिय प्राकृतिक भाषा निर्देशों को स्वचालित रूप से सक्रिय, निष्पादन योग्य गार्डरेल्स (guardrails) में परिवर्तित करता है, जो स्थिर (static), रनटाइम और आर्किटेक्चरल डोमेन में प्रोजेक्ट-विशिष्ट बाधाओं को लागू करने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ ContextCov पेपर का हिंदी अनुवाद दिया गया है:
बड़ी समस्या: "भुलक्कड़ इंटर्न" (The Forgetful Intern)
कल्पना कीजिए कि आपने एक विशाल सॉफ्टवेयर प्रोजेक्ट बनाने में मदद के लिए एक बहुत ही बुद्धिमान और सुपर-फास्ट AI इंटर्न को काम पर रखा है। आप उन्हें एक मोटी नियम पुस्तिका (जिसे AG_ENTS.md फ़ाइल कहा जाता है) देते हैं जिसमें लिखा होता है, जैसे:
- "हमेशा नीले पेंट का उपयोग करें, लाल का कभी नहीं।"
- "बिजली की वायरिंग को न छुएं; केवल प्लंबिंग ठीक करें।"
- "भारी फर्नीचर हिलाने से पहले हमेशा अनुमति मांगें।"
अतीत में, एक मानव मैनेजर इंटर्न के कंधे के ऊपर खड़े होकर हर हरकत की जाँच करता था। लेकिन अब, ये AI एजेंट स्वायत्त (autonomous) रूप से काम करते हैं। उन्हें घंटों के लिए कमरे में अकेला छोड़ दिया जाता है, जहाँ वे अपने आप चीजें बनाते हैं।
समस्या क्या है? नियम पुस्तिका केवल निष्क्रिय टेक्स्ट (passive text) है। यह फ्रिज पर चिपके एक स्टिकी नोट की तरह है। AI इसे भूल सकता है, पुराने कोड की आदतों से भ्रमित हो सकता है, या बस यह तय कर सकता है कि, "मुझे लगता है कि यहाँ लाल पेंट बेहतर लगेगा," और फिर वह ऐसा कर देता है।
लेखक इसे "कॉन्टेक्स्ट ड्रिफ्ट" (Context Drift) कहते हैं। यह वैसा ही है जैसे इंटर्न धीरे-धीरे आपके निर्देशों से भटक रहा हो, जिससे छोटी-छोटी गलतियाँ होती हैं जो आपके ध्यान देने से पहले ही एक बड़े मलबे (तकनीकी ऋण/technical debt) में बदल जाती हैं।
समाधान: ContextCov (द स्मार्ट बाउंसर)
यह पेपर ContextCov को पेश करता है, एक ऐसा टूल जो उस निष्क्रिय, भूलने योग्य नियम पुस्तिका को एक सक्रिय, अटूट सुरक्षा घेरे (guardrails) में बदल देता है।
केवल नियमों को पढ़ने के बजाय, ContextCov उन नियमों को एग्जीक्यूटेबल कोड (executable code) में बदल देता है जो एक क्लब के 'बाउंसर' की तरह काम करता है। यह एजेंट को केवल यह बताता नहीं है कि क्या करना है; यह शारीरिक रूप से उन्हें गलत काम करने से रोकता है।
यहाँ बताया गया है कि यह तीन "बाउंसर" शैलियों में कैसे काम करता है:
1. प्रोसेस बाउंसर (द कमांड इंटरसेप्टर)
- नियम: "
npmकमांड का उपयोग कभी न करें; हमेशाpnpmका उपयोग करें।" - पुराना तरीका: AI आदत के कारण
npm installटाइप कर सकता है। आपको इसका पता तब तक नहीं चलेगा जब तक कि बाद में बिल्ड फेल न हो जाए। - ContextCov का तरीका: ContextCov AI के रास्ते में एक नकली
npmकमांड रख देता है। जब AI इसे चलाने की कोशिश करता है, तो नकली कमांड इसे बीच में ही रोक देता है और कहता है, "रुको! आपको इसकी अनुमति नहीं है। इसके बजायpnpmका उपयोग करें।" यह क्रिया को तुरंत ब्लॉक कर देता है।
2. सोर्स कोड बाउंसर (द ग्रामर पुलिस)
- नियम: "हमेशा एरो फंक्शन्स जैसे
x => xका उपयोग करें, कभी भी सिंगल पैरामीटर्स को(x) => xजैसे ब्रैकेट में न रखें।" - पुराना तरीका: AI ऐसा कोड लिखता है जो इंसान के लिए ठीक दिखता है लेकिन आपके विशिष्ट स्टाइल गाइड का उल्लंघन करता है। यह एक शांत त्रुटि (silent error) है।
- ContextCov का तरीका: यह एक सुपर-फास्ट ग्रामर चेकर की तरह कोड को स्कैन करता है। यदि AI
(x) => xलिखता है, तो टूल तुरंत फ्लैग करता है: "उल्लंघन! ब्रैकेट हटाएँ।" यह कोड सेव होने से पहले ही AI को इसे ठीक करने के लिए मजबूर करता है।
3. आर्किटेक्चरल बाउंसर (द बिल्डिंग इंस्पेक्टर)
- नियम: "किचन (UI लेयर) सीधे बेसमेंट (डेटाबेस लेयर) से बात नहीं कर सकता।"
- पुराना तरीका: AI गलती से किचन को बेसमेंट से जोड़ सकता है क्योंकि यह सबसे "आसान" रास्ता है। इससे इमारत की संरचना टूट जाती है।
- ContextCov का तरीका: यह पूरी इमारत का नक्शा (डिपेंडेंसी ग्राफ) बनाता है। यदि AI किचन और बेसमेंट के बीच दरवाजा बनाने की कोशिश करता है, तो टूल कहता है, "नहीं! यह ब्लूप्रिंट का उल्लंघन है।"
- नोट: बहुत जटिल नियमों के लिए (जैसे "किसी और की स्टोरेज कीज़ न चुराएं"), यह कोड को पढ़ने और यह तय करने के लिए कि क्या इरादा गलत था, एक दूसरे AI "जज" का उपयोग करता है, जो सख्त ब्लॉक के बजाय चेतावनी देता है।
यह कैसे काम करता है (द मैजिक मशीन)
पेपर एक तीन-चरणीय असेंबली लाइन का वर्णन करता है:
- मैप को पढ़ना: यह मानव-लिखित अव्यवस्थित मार्कडाउन फ़ाइल को लेता है और कॉन्टेक्स्ट को समझने के लिए एक स्मार्ट एल्गोरिदम का उपयोग करता है। यह जानता है कि "Backend" के तहत वाला नियम "Frontend" पर लागू नहीं होता।
- कोड में अनुवाद करना: यह उन प्राकृतिक भाषा के नियमों को सख्त पायथन (Python) कोड चेक्स में अनुवाद करने के लिए एक AI का उपयोग करता है। यह "कैंची लेकर न दौड़ें" को एक ऐसे सेंसर में बदलने जैसा है जो दौड़ने पर बिजली काट देता है।
- नियमों को लागू करना: ये चेक वास्तविक समय (real-time) में चलते हैं। यदि AI नियम तोड़ने की कोशिश करता है, तो चेक ट्रिगर होता है, क्रिया को रोकता है, और AI को बताता है कि वास्तव में क्या गलत हुआ।
यह क्यों महत्वपूर्ण है (द फीडबैक लूप)
इस पेपर का सबसे दिलचस्प हिस्सा इसकी दर्शन (philosophy) है।
आमतौर पर, जब कोई टूल AI को रोकता है, तो यह कष्टप्रद होता है। लेकिन ContextCov इन रुकावटों को सीखने के क्षणों के रूप में देखता है।
- यदि AI को रोका जाता है, तो वह सीखता है: "ओह, मैं यह नहीं कर सकता।"
- यदि रुकावट बार-बार होती है, तो इंसान सीखता है: "ओह, मेरे निर्देश बहुत अस्पष्ट थे। मुझे नियम पुस्तिका को अधिक स्पष्ट बनाने के लिए उसे फिर से लिखने की आवश्यकता है।"
यह इंसान और AI के बीच के संबंध को एक फीडबैक लूप में बदल देता है। AI कोड को बनाए रखने में मदद करता है, और कोड (ContextCov के माध्यम से) निर्देशों को बनाए रखने में मदद करता है।
निष्कर्ष (The Bottom Line)
ContextCov उस पुल की तरह है जो इस बात के बीच का है कि हम AI एजेंटों को क्या करने के लिए कहते हैं और वे वास्तव में क्या करते हैं।
- इसके बिना: आपके पास एक अराजक निर्माण स्थल है जहाँ AI जो चाहे बनाता है, और धीरे-धीरे आपका घर तोड़ देता है।
- इसके साथ: आपके पास अदृश्य फोर्स फील्ड (force fields) वाला निर्माण स्थल है। AI कुछ भी बना सकता है, जब तक कि वह आपके द्वारा खींची गई रेखाओं के भीतर रहे।
पेपर ने 723 वास्तविक दुनिया के प्रोजेक्ट्स पर इसका परीक्षण किया और पाया कि उनमें से 81% में ऐसे उल्लंघन थे जो इस टूल के बिना अनसुने रह जाते। यह साबित करता है कि जैसे-जैसे AI एजेंट अधिक स्वायत्त होते जा रहे हैं, हमें उन्हें सही रास्ते पर रखने के लिए "एग्जीक्यूटेबल रूल्स" की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।