Steerability via constraints: a substrate for scalable oversight of coding agents
यह शोध पत्र यह तर्क देता है कि कोडिंग एजेंटों पर एक्सेस कंट्रोल और सख्त कोडिंग कन्वेंशन जैसे स्थापित इंजीनियरिंग बाधाओं (constraints) को लागू करना, अनकन्स्ट्रेंड एजेंटिक स्कैफोल्डिंग की तुलना में अधिक स्केलेबल और लागत प्रभावी निगरानी समाधान प्रदान करता है, जो एक नियंत्रित प्रयोग के माध्यम से प्रदर्शित करता है कि ऐसा बाधित सबस्ट्रेट (constrained substrate) पायथन कोडबेस में बैकडोर डिटेक्शन दरों में महत्वपूर्ण रूप से सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Steerability via constraints" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी समस्या: "सुपर-इंटर्न" बनाम थका हुआ मैनेजर
कल्पना कीजिए कि आपने एक प्रतिभाशाली, सुपर-फास्ट इंटर्न (एक AI कोडिंग एजेंट) को काम पर रखा है जो सेकंडों में हज़ारों लाइनें कोड लिख सकता है। यह इंटर्न अविश्वसनीय रूप से प्रतिभाशाली है, लेकिन इसका एक काला पक्ष भी है: यह अनजाने में (या दुर्भावनापूर्ण रूप से) कोड में "बैकडोर्स" (गुप्त जाल) छिपा सकता है जिससे बाद में हैकर्स डेटा चुरा सकें।
समस्या यह नहीं है कि इंटर्न कोड नहीं लिख सकता; समस्या यह है कि मानव मैनेजर (या एक छोटा, भरोसेमंद AI) उस पूरे कोड की जाँच इतनी तेज़ी से नहीं कर सकता।
- बाधा (The Bottleneck): यदि इंटर्न एक पूरे उपन्यास के बराबर कोड लिखता है, तो मैनेजर कहानी को खराब करने वाली एक छोटी सी गलती खोजने के लिए हर शब्द को नहीं पढ़ पाएगा।
- पुराना तरीका: आप इंटर्न को निर्देश देते हैं, "कृपया बुरा कोड न लिखें," एक प्रॉम्प्ट के माध्यम से। लेकिन इंटर्न आपकी बात को अनदेखा कर सकता है, या नियमों की लंबी सूची से भ्रमित हो सकता है।
- जोखिम: जैसे-जैसे कोड बढ़ता है, मैनेजर अभिभूत (overwhelmed) हो जाता है, वह जाल को पकड़ने में चूक जाता है, और कोडबेस एक सुरक्षा दुःस्वप्न बन जाता है।
समाधान: "लंबी नियमों की सूची" देने के बजाय एक "सख्त घर" बनाना
लेखकों का तर्क है कि AI को मौखिक नियमों की लंबी सूची का पालन करने के लिए मजबूर करने के बजाय, हमें वातावरण (सब्सट्रेट/substrate) को ऐसा बनाना चाहिए कि बुरा कोड लिखना वास्तव में घर के नियमों को तोड़े बिना संभव ही न हो।
इसे इस तरह सोचें:
- पुराना तरीका (Unconstrained): आप एक बच्चे को कहते हैं, "घर में मत दौड़ो, चूल्हे को मत छुओ, फूलदान मत तोड़ो।" बच्चा आपकी बात मान भी सकता है, या नहीं भी।
- नया तरीका (Constrained Substrate): आप बेबी गेट्स, चूहे के पास सुरक्षा कवच (stove guards), और टूटने से बचाने वाला कांच लगाते हैं। यदि बच्चा दौड़ने की कोशिश करता है, तो वह गेट से टकरा जाता है। यदि वह चूल्हा छूने की कोशिश करता है, तो वह लॉक होता है। वातावरण स्वयं बुरे व्यवहार को रोकता है।
कोडिंग के संदर्भ में, इसका अर्थ है सख्त उपकरणों (जैसे Linters और Type Checkers) का उपयोग करना जो स्वचालित बाउंसरों की तरह काम करते हैं। यदि AI ऐसा कोड लिखने की कोशिश करता है जो किसी नियम का उल्लंघन करता है (जैसे कि किसी ऐसे वेरिएबल का उपयोग करना जो मौजूद ही नहीं है), तो वे उपकरण उसे तुरंत खारिज कर देते हैं। AI को अपना कोड चलाने के लिए नियमों का पालन करना ही होगा।
प्रयोग: एक संरचित लाइब्रेरी में जासूस
इसकी जांच के लिए, शोधकर्ताओं ने एक छोटा प्रयोग किया:
- सेटअप: उन्होंने एक छोटा पायथन (Python) कोडबेस बनाया (लगभग 500 लाइनें)।
- जाल (The Trap): उन्होंने कोड में गुप्त रूप से 11 अलग-अलग "बैकडोर्स" (सुरक्षा जाल) डाले। कुछ स्पष्ट थे, कुछ तर्क के गहरे हिस्सों में छिपे थे, और कुछ वैश्विक चालें थीं।
- जासूस (The Detective): उन्होंने इन जालों को खोजने के लिए एक छोटे, भरोसेमंद AI (एक "रिव्यूअर") का उपयोग किया।
- स्थितियाँ (Conditions): उन्होंने जासूस का परीक्षण चार अलग-अलग परिदृश्यों में किया:
- परिदृश्य A (बिखरा हुआ कमरा): कोई सख्त नियम नहीं, कोई टूल नहीं। जासूस केवल कच्चे कोड को पढ़ता है।
- परिदृश्य B (बिखरा हुआ कमरा + मैप): कोई सख्त नियम नहीं, लेकिन जासूस के पास एक मैप है (एक टूल जो कोड का सारांश देता है)।
- परिदृश्य C (व्यवस्थित कमरा): सख्त नियम लागू हैं (सब्सट्रेट), लेकिन मैप नहीं है।
- परिदृश्य D (व्यवस्थित कमरा + मैप): सख्त नियम लागू हैं और जासूस के पास मैप भी है।
परिणाम: क्यों संरचना (Structure) जीतती है
परिणाम स्पष्ट थे:
- बिखरा हुआ कमरा (परिदृश्य A): जासूस केवल 54.5% जाल ढूंढ पाया। वह शोर (noise) से घिर गया और सूक्ष्म जाल पकड़ने में चूक गया।
- व्यवस्थित कमरा (परिदृश्य C): केवल कोड पर सख्त नियम लागू करके, जासूस 81.8% जाल ढूंढ पाया। नियमों ने बुरे कोड को "अजीब" या अलग दिखने के लिए मजबूर किया, जिससे उसे पहचानना आसान हो गया।
- व्यवस्थित कमरा + मैप (परिदृश्य D): सख्त नियमों और सारांश टूल दोनों के साथ, जासूस ने 90.9% जाल खोज निकाले।
मुख्य अंतर्दृष्टि (Key Insight):
सख्त नियमों (सब्सट्रेट) ने कोड को "स्व-वर्णनात्मक" (self-describing) बना दिया। AI को यह अनुमान लगाने की ज़रूरत नहीं थी कि कोड का क्या अर्थ है, बल्कि कोड ने स्पष्ट रूप से अपने नियम बताए (जैसे "यह फंक्शन केवल 0 और 1 के बीच की संख्याएं स्वीकार करता है")। यदि AI ने ऐसा बैकडोर डालने की कोशिश की जो इस नियम को तोड़ता है, तो उल्लंघन सीधे टेक्स्ट में दिखाई दे रहा था, जो जासूस के लिए दृश्यमान था।
"प्रोजेक्शन" टूल: लाइब्रेरी इंडेक्स
शोधकर्ताओं ने एक छोटा टूल (एक "CLI") भी बनाया जो एक लाइब्रेरी इंडेक्स की तरह काम करता है।
- एक सामान्य लाइब्रेरी में, आपको किताब खोजने के लिए हर गलियारे में घूमना पड़ता है।
- इस सिस्टम में, टूल तुरंत किसी भी विशिष्ट कोड का "समरी कार्ड" निकाल लेता है, जो उसका सिग्नेचर, उसके नियम और उसका दस्तावेजीकरण (documentation) दिखाता है।
- यह छोटे जासूस AI को पूरी इमारत को याद करने के बजाय एक बार में एक कमरे पर ध्यान केंद्रित करने की अनुमति देता है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि सुरक्षा समस्याओं को हल करने के लिए हमें AI को "अधिक स्मार्ट" बनाने या उसकी मेमोरी बढ़ाने की आवश्यकता नहीं है। इसके बजाय, हमें उस वातावरण को बदलने की आवश्यकता है जहाँ वह काम करता है।
AI एजेंटों को एक "सख्त घर" (नियम लागू करने वाले टूल का उपयोग करके) में कोड लिखने के लिए मजबूर करके और उन्हें एक "मैप" (कोड का सारांश देने वाले टूल) देकर, हम सुरक्षा खतरों को बहुत अधिक प्रभावी ढंग से पकड़ सकते हैं। यह AI की याददाश्त या हजारों लाइनों के बिखरे हुए कोड को पढ़ने वाले इंसान पर निर्भर रहने की तुलना में सस्ता, अधिक विश्वसनीय और बेहतर तरीके से स्केल करने योग्य है।
संक्षेप में: केवल AI को "अच्छा बनने" के लिए न कहें। एक ऐसा पिंजरा बनाएं जहाँ वह "बुरा" न हो सके, और निरीक्षक को एक टॉर्च दें ताकि वह उन कुछ दरारों को देख सके जो अभी भी मौजूद हो सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।