Governing AI Coding Agents: An Empirical Analysis of Repository Artifacts
यह अध्ययन 555 गिटहब (GitHub) रिपॉजिटरी गवर्नेंस आर्टिफ़ैक्ट्स का अनुभवजन्य विश्लेषण करता है जिससे यह पता चलता है कि हालांकि वे ज्ञान हस्तांतरण और कोडिंग मानकों को प्रभावी ढंग से सुगम बनाते हैं, लेकिन उनमें मजबूत निगरानी तंत्रों का अभाव है और वे संगठनात्मक परिपक्वता या डोमेन के साथ कोई व्यवस्थित सहसंबंध नहीं दिखाते हैं, जो अस्पष्ट निर्देशों और विखंडन जैसी महत्वपूर्ण देनदारियों को उजागर करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर निर्माण की आधुनिक दुनिया में, एक नए प्रकार के कार्यकर्ता का आगमन हुआ है: एआई कोडिंग एजेंट। ये केवल वे सरल उपकरण नहीं हैं जो किसी इंसान के लिए कोड की एक पंक्ति पूरी करते हैं; ये स्वायत्त प्रोग्राम हैं जो पूरे प्रोजेक्ट्स को पढ़ सकते हैं, जटिल निर्देशों को समझ सकते हैं, और अपने आप कई फाइलों में सॉफ्टवेयर लिख या ठीक कर सकते हैं। जैसे-जैसे ये डिजिटल कार्यकर्ता अधिक सामान्य होते जा रहे हैं, कंपनियां और ओपन-सोर्स समुदाय एक गंभीर चुनौती का सामना कर रहे हैं: आप उन्हें प्रबंधित कैसे करें? यदि कोई मानव कर्मचारी गलती करता है, तो एक प्रबंधक हस्तक्षेप कर सकता है, काम की समीक्षा कर सकता है, और दिशा सुधार सकता है। लेकिन जब एक एआई एजेंट गति और स्वतंत्रता के साथ कार्य करता है, तो पर्यवेक्षण के पारंपरिक तरीके बहुत धीमे या दूर के महसूस हो सकते हैं। इस अंतर को पाटने के लिए, डेवलपरों ने विशेष निर्देश फाइलें बनाना शुरू कर दिया है—डिजिटल नियमपुस्तिकाएं जो सीधे प्रोजेक्ट के कोड के भीतर संग्रहीत होती हैं। AGENTS.md या CLAUDE.md जैसे नामों वाली ये फाइलें, एआई को यह बताने के लिए हैं कि उसे वास्तव में कैसे व्यवहार करना है, किन नियमों का पालन करना है, और टीम के वर्कफ़्लो में कैसे फिट होना है। वे मशीन कार्यकर्ता के लिए लिखित संविधान हैं।
शोधकर्ताओं ने जो प्रश्न पूछा था वह यह था कि क्या ये डिजिटल नियमपुस्तिकाएं वास्तव में नियंत्रण की एक परिपक्व प्रणाली का प्रतिनिधित्व करती हैं, या वे केवल नोट्स का एक संग्रह मात्र हैं। संगठनात्मक प्रबंधन की दुनिया में, एक लिखित नीति होने का अर्थ उसे लागू करने की क्षमता होना नहीं है। एक वास्तविक शासन क्षमता (governance capability) का अर्थ है कि एक संगठन न केवल नियम लिख सकता है, बल्कि उनकी निगरानी भी कर सकता है, यह सुनिश्चित कर सकता है कि उनका पालन किया जाए, और बदलती परिस्थितियों के अनुसार उन्हें अनुकूलित कर सकता है। यह पता लगाने के लिए कि क्या सॉफ्टवेयर जगत अपने एआई एजेंटों के साथ इस स्तर की परिपक्वता तक पहुँच गया है, फिनलैंड की LUT यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने एक बड़े पैमाने पर जांच की। उन्होंने केवल कुछ उदाहरणों को नहीं पढ़ा; उन्होंने GitHub पर सार्वजनिक सॉफ्टवेयर प्रोजेक्ट्स से इन 555 शासन फाइलों (governance files) को एकत्र और विश्लेषित किया। उनका लक्ष्य यह देखना था कि क्या इन फाइलों की उपस्थिति का अर्थ यह था कि प्रोजेक्ट्स ने एआई को प्रबंधित करने का एक परिष्कृत तरीका विकसित कर लिया है, या फाइलें केवल बिना किसी ठोस तंत्र के अपेक्षाओं का दस्तावेजीकरण कर रही थीं।
शोधकर्ताओं ने इस दृष्टिकोण को अपनाया कि इन फाइलों को इस प्रमाण के रूप में देखा जाए कि प्रोजेक्ट्स अपने एआई कार्यकर्ताओं को कैसे शासित करने का प्रयास करते हैं। उन्होंने पहले फाइलों के एक नमूने को विस्तार से पढ़ा ताकि यह समझ सकें कि वास्तव में उनके भीतर क्या है। उन्होंने पाया कि ये फाइलें आम तौर पर दो श्रेणियों में आती हैं: सहायक निर्देश और छिपी हुई कमजोरियां। सहायक निर्देशों को, जिन्हें उन्होंने 'गवर्नेंस प्रैक्टिसेज' (शासन प्रथाएं) कहा, में प्रोजेक्ट के इतिहास को समझाना, कोडिंग शैलियों को परिभाषित करना और किसी कार्य के चरणों को रेखांकित करना शामिल था। कमजोरियों को, जिन्हें उन्होंने 'गवर्नेंस लायबिलिटीज' (शासन देनदारियां) कहा, उन समस्याओं को कहा जो एआई के काम को कठिन या जोखिम भरा बना सकती हैं। इनमें अस्पष्ट कमांड शामिल थे जो यह निर्दिष्ट नहीं करते थे कि सफलता को कैसे मापा जाए, ऐसे निर्देश जो बिना अनुकूलित किए अन्य प्रोजेक्ट्स से कॉपी किए गए थे, और सुरक्षा अंतराल जहाँ बिना सुरक्षा के संवेदनशील जानकारी का उल्लेख किया गया था।
एक बार जब उनके पास यह मानचित्र तैयार हो गया, तो शोधकर्ताओं ने सभी 555 फाइलों को स्कैन करने के लिए एक शक्तिशाली लैंग्वेज मॉडल का उपयोग किया, जिससे इन विशिष्ट प्रथाओं और कमजोरियों की उपस्थिति की जाँच की जा सके। इसके बाद उन्होंने परिणामों की तुलना प्रोजेक्ट्स की परिपक्वता से की। एक सामान्य धारणा यह हो सकती है कि हजारों स्टार्स और कई योगदानकर्ताओं वाले पुराने, अधिक लोकप्रिय प्रोजेक्ट्स के पास छोटे या नए प्रोजेक्ट्स की तुलना में बेहतर, अधिक मजबूत शासन फाइलें होंगी। तर्क यह होगा कि जैसे-जैसे एक प्रोजेक्ट बढ़ता है, वह अपनी गलतियों से सीखता है और बेहतर सिस्टम बनाता है। हालाँकि, डेटा ने एक अलग कहानी सुनाई। शोधकर्ताओं ने प्रोजेक्ट के आकार या आयु और उसकी शासन फाइलों की गुणवत्ता के बीच कोई संबंध नहीं पाया। एक विशाल, स्थापित प्रोजेक्ट के पास भी एक छोटे या नए प्रोजेक्ट की तरह ही कमजोर या अस्पष्ट निर्देशों का सेट होने की उतनी ही संभावना थी। इसी तरह, उन्होंने देखा कि क्या इंफ्रास्ट्रक्चर या मोबाइल ऐप्स जैसे उच्च-जोखिम वाले क्षेत्रों के प्रोजेक्ट्स में सामान्य वेब डेवलपमेंट की तुलना में सख्त नियम थे। फिर से, कोई अंतर नहीं था। गलती के संभावित परिणामों के बावजूद फाइलें एक जैसी ही दिख रही थीं।
सबसे चौंकाने वाला निष्कर्ष शासन की प्रकृति के बारे में था। शोधकर्ताओं ने पाया कि फाइलें निरीक्षण (oversight) के बजाय निर्देश (instruction) पर अत्यधिक केंद्रित थीं। लगभग 82 प्रतिशत फाइलों में ज्ञान हस्तांतरण या कोडिंग मानकों का पालन करने के निर्देश शामिल थे। इसके विपरीत, केवल लगभग 11 प्रतिशत फाइलों में एक "ह्यूमन अप्रूवल गेट" (मानव अनुमोदन द्वार) था—एक विशिष्ट नियम जिसमें यह आवश्यक था कि एआई के काम को अंतिम रूप देने से पहले एक इंसान द्वारा उसकी जाँच और अनुमोदन किया जाए। यह सुझाव देता है कि वर्तमान दृष्टिकोण मुख्य रूप से एआई को यह बताने के बारे में है कि क्या करना है, बजाय इसके कि उसे गलत होने पर पकड़ने के लिए एक प्रणाली बनाई जाए। इसके अलावा, शोधकर्ताओं ने एक दिलचस्प पैटर्न देखा: एक फाइल में जितने अधिक निर्देश होते थे, उसमें उतनी ही अधिक कमजोरियां होने की प्रवृत्ति होती थी। ऐसा नहीं था कि अधिक नियम जोड़ने से व्यवस्था साफ हो गई; इसके बजाय, अधिक नियम जोड़ने से अक्सर अधिक भ्रम, पुनरावृत्ति या विरोधाभास पैदा हुआ। फाइलें बढ़ने के साथ अधिक सुसंगत नहीं हो रही थीं; वे अधिक अव्यवस्थित हो रही थीं।
अध्ययन यह निष्कर्ष निकालता है कि हालांकि सॉफ्टवेयर प्रोजेक्ट्स अपने एआई एजेंटों को निर्देशित करने के लिए इन शासन फाइलों को तेजी से अपना रहे हैं, लेकिन यह अपनाना अभी तक एक परिपक्व संगठनात्मक क्षमता का संकेत नहीं देता है। फाइलें ज्ञान को दस्तावेजीकृत करने और अपेक्षाओं को निर्धारित करने में प्रभावी हैं, लेकिन उनमें उन संरचनात्मक तंत्रों की कमी है—जैसे जवाबदेही, निरंतर निरीक्षण और प्रोजेक्ट-विशिष्ट अनुकूलन—जो एक वास्तव में संस्थागत प्रणाली की विशेषता होते हैं। एक नियमपुस्तिका की उपस्थिति का अर्थ यह नहीं है कि संगठन के पास इसे लागू करने की क्षमता है। इसके बजाय, वर्तमान परिदृश्य "निर्देश-उन्मुख शासन" (instruction-oriented governance) द्वारा हावी है, जहाँ प्राथमिकता एआई को सक्षम बनाना है, जबकि उसके कार्य को नियंत्रित करने और सत्यापित करने वाली प्रणालियाँ अभी भी अल्पविकसित हैं। एआई के उपयोग को बढ़ाने के इच्छुक संगठनों के लिए, शोध सुझाव देता है कि केवल अधिक निर्देश लिखना समाधान नहीं है। वास्तविक शासन के लिए केवल दस्तावेजीकरण से आगे बढ़कर उन संगठनात्मक दिनचर्याओं का निर्माण करना आवश्यक है जो इन स्वायत्त कार्यकर्ताओं के कार्यों की निगरानी, सत्यापन और अनुकूलन कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।