Do AI Coding Agents Log Like Humans? An Empirical Study
4,550 एजेंटिक पुल रिक्वेस्ट (agentic pull requests) का यह अनुभवजन्य अध्ययन प्रकट करता है कि एआई कोडिंग एजेंट असंगत लॉगिंग पैटर्न प्रदर्शित करते हैं, अक्सर स्पष्ट प्राकृतिक भाषा निर्देशों की अनदेखी करते हैं, और जनरेशन के बाद मरम्मत करने के लिए मानव डेवलपर्स पर बहुत अधिक निर्भर रहते हैं, जो यह सुझाव देता है कि विश्वसनीय लॉगिंग प्रथाओं को सुनिश्चित करने के लिए नियतात्मक गार्डरेल्स (deterministic guardrails) आवश्यक हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक हलचल भरा निर्माण स्थल है जहाँ आपने एक गगनचुंबी इमारत (एक सॉफ्टवेयर सिस्टम) बनाने और मरम्मत करने के लिए अविश्वसनीय रूप से स्मार्ट, तेज़ रोबोटों (AI कोडिंग एजेंटों) की एक टीम काम पर रखी है। ये रोबोट ईंटें बिछाने और बिजली के तार बिछाने में माहिर हैं—वे ऐसा कोड लिख सकते हैं जो काम करता है। लेकिन, एक समस्या है: क्या वे जानते हैं कि सुरक्षा कैमरे और आपातकालीन अलार्म कैसे स्थापित किए जाते हैं (लॉगिंग)?
यह शोध पत्र ठीक इसी प्रश्न की गहराई में जाता है। शोधकर्ताओं ने बिल्डिंग इंस्पेक्टर की तरह काम किया, हजारों निर्माण परियोजनाओं का निरीक्षण किया यह देखने के लिए कि क्या ये रोब रहे कार्यकर्ता आवश्यक सुरक्षा उपकरण स्थापित कर रहे हैं, या वे इमारत को अंधेरे और अंधेपन में छोड़ रहे हैं।
यहाँ उनके द्वारा मिली खोजों की कहानी है, जिसे सरल भागों में विभाजित किया गया है:
1. "शांत" रोबोट बनाम "बातूनी" इंसान
उपमा: कल्पना कीजिए कि एक मानव कार्यकर्ता जो, जब भी वह एक लीक होता पाइप ठीक करता है, दीवार पर एक नोट लिखता है: "दोपहर 2 बजे रसोई में लीकेज ठीक किया।" इससे भविष्य के श्रमिकों को पता चलता है कि क्या हुआ था।
निष्कर्ष: शोधकर्ताओं ने पाया कि रोबोट वास्तव में इंसानों की तुलना में अधिक शांत हैं। लगभग 10 में से 6 परियोजनाओं में, रोबोटों ने "नोट्स" (लॉगिंग कोड) को इंसानों की तुलना में कम बार छुआ। बदलाव करने पर नोट जोड़ने की उनकी संभावना कम थी।
हालाँकि, एक मोड़ है: जब रोबोटों ने वास्तव में नोट्स लिखने का फैसला किया, तो उन्होंने एक छोटे से स्थान में अधिक नोट्स लिखे। यह ऐसा है जैसे इंसान एक स्पष्ट नोट लिखता है, लेकिन रोबोट एक ही जगह पर तीन छोटे-छोटे नोट्स लिख देता है। यह बताता है कि रोबोट थोड़े असंगत हैं: कभी-कभी वे लॉग करना भूल जाते हैं, और जब वे करते हैं, तो वे कभी-कभी बहुत अधिक कर देते हैं।
2. "भुलक्कड़ बॉस" (निर्देश की समस्या)
उपमा: आप एक रोबोट कार्यकर्ता को कहते हैं, "कृपया दरवाजा ठीक करें।" आप यह नहीं कहते, "और कृपया दरवाजे के बारे में एक नोट लिखना भी याद रखना।"
निष्कर्ष: अध्ययन में पाया गया कि मानव बॉस (डेवलपर्स) लगभग कभी नहीं स्पष्ट रूप से इन नोट्स को जोड़ने के लिए रोबोटों को कहते हैं। केवल लगभग 5% समय ही किसी इंसान ने कहा, "सुनिश्चित करें कि लॉगिंग जोड़ दी जाए।"
इससे भी बुरा यह है कि जब इंसानों ने यह विशिष्ट निर्देश दिया, तो रोबानों ने इसे 67% बार अनदेखा कर दिया। यह ऐसा है जैसे आपने रोबोट को कहा, "हेलमेट पहनो," और वह बिना हेलमेट के काम करता रहा। रोबोट इन विशिष्ट, गैर-जरूरी निर्देशों का पालन करने में खराब हैं।
3. "शांत सफाईकर्मी" (छिपा हुआ सफाई दल)
उपमा: रोबोट एक कमरा बनाते हैं, उसे गंदा छोड़ देते हैं, और बॉस उस पर साइन कर देता है। लेकिन बाद में, एक मानव कार्यकर्ता आता है, चुपचाप गंदगी साफ करता है, और छूटे हुए नोट्स जोड़ देता है, और यह सब बिना किसी के ध्यान दिए या शिकायत किए होता है।
निष्कर्ष: यह सबसे आश्चर्यजनक हिस्सा है। रोबोट वास्तव में अंतिम सफाई नहीं कर रहे हैं। इंसान 72.5% लॉगिंग मरम्मत कर रहे हैं बाद में, जब रोबोट अपना काम पूरा कर चुका होता है।
ये इंसान "शांत सफाईकर्मियों" की तरह काम कर रहे हैं। कोड रिव्यू के दौरान रोबोट को यह बताने के बजाय कि, "अरे, तुम नोट्स भूल गए!" इंसान इंतजार करते हैं जब तक कि कोड मर्ज न हो जाए, फिर वे चुपके से आकर स्वयं लॉगिंग की समस्याओं को ठीक कर देते हैं। यह खतरनाक है क्योंकि इसका मतलब है कि रोबोट सीख नहीं रहे हैं; वे केवल इंसानों के लिए अतिरिक्त काम का एक छिपा हुआ टैक्स पैदा कर रहे हैं।
4. यह क्यों मायने रखता है (द "ब्लैक बॉक्स" समस्या)
यदि सॉफ्टवेयर सिस्टम आधी रात को टूट जाता है, तो इंजीनियरों को यह समझने के लिए उन "नोट्स" (लॉग्स) की आवश्यकता होती है कि क्या गलत हुआ।
- यदि रोबोट लॉग नहीं करते: तो सिस्टम एक "ब्लैक बॉक्स" बन जाता है। जब यह क्रैश होता है, तो किसी को पता नहीं चलता कि क्यों हुआ।
- यदि इंसानों को बाद में इसे ठीक करना पड़ता है: तो यह सब कुछ धीमा कर देता है और तकनीकी ऋण (technical debt) का बोझ बढ़ा देता है।
मुख्य निष्कर्ष
शोध पत्र निष्कर्ष निकालता है कि हम केवल इन रोबोटों से बात करके (प्राकृतिक भाषा प्रॉम्प्ट का उपयोग करके) उन्हें लॉगिंग के साथ अच्छा काम करने के लिए मजबूर नहीं कर सकते।
- इंसान शायद ही कभी इसके लिए पूछते हैं।
- रोबोट पूछे जाने पर भी शायद ही कभी सुनते हैं।
समाधान? हमें स्वचालित गार्डरेल्स (Automatic Guardrails) की आवश्यकता है। रोबोट से विनम्रता से हेलमेट पहनने के लिए कहने के बजाय, हमें एक नियम बनाना चाहिए कि, "यदि आपके पास हेलमेट (लॉगिंग) नहीं है, तो आप निर्माण स्थल नहीं छोड़ सकते।" इसका अर्थ है स्वचालित उपकरणों (जैसे Linters या CI/CD चेक्स) का उपयोग करना जो रोबोट के कोड को तब तक मर्ज होने से भौतिक रूप से रोक दें जब तक कि लॉगिंग एकदम सही न हो।
संक्षेप में: AI कोडिंग एजेंट तेज़ और स्मार्ट हैं, लेकिन वे वर्तमान में "पेपर ट्रेल" छोड़ने में बहुत खराब हैं। जब तक हम उन्हें विनम्र अनुरोधों के बजाय सख्त नियमों के साथ यह करने के लिए मजबूर नहीं करते, तब तक इंसानों को उनके कचरे की सफाई करने के लिए देर रात तक जागना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।