On the Use of Agentic Coding: An Empirical Study of Pull Requests on GitHub
Claude Code एजेंट द्वारा 157 ओपन-सोर्स प्रोजेक्ट्स में जेनरेट किए गए 567 GitHub पुल रिक्वेस्ट्स का यह अनुभवजन्य अध्ययन यह प्रकट करता है कि हालांकि 83.8% एजेंट-सहायता प्राप्त योगदान स्वीकार किए जाते हैं—अक्सर बिना किसी संशोधन के—फिर भी उन्हें बग फिक्स, दस्तावेज़ीकरण और प्रोजेक्ट मानकों के पालन के लिए अक्सर मानवीय निरीक्षण की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि सॉफ्टवेयर विकास एक विशाल, हलचल भरे निर्माण स्थल के रूप में है जहाँ हजारों टीमें डिजिटल गगनचुंबी इमारतें (ओपन-सोर्स प्रोजेक्ट्स) बना रही हैं। वर्षों से, श्रमिक (डेवलपर्स) सारा भारी काम, ब्लूप्रिंट तैयार करना और ईंटें बिछाने का काम खुद कर रहे हैं।
हाल ही में, एक नए प्रकार के सुपर-इंटेलिजेंट रोबोट सहायक जिसे "एजेंटिक कोडिंग" (विशेष रूप से एक टूल जिसका नाम Claude Code है) कहा जाता है, इस साइट पर आया है। एक साधारण कैलकुलेटर के विपरीत जो केवल सवालों के जवाब देता है, यह रोबोट पाना (wrench) पकड़ सकता है, ब्लूप्रिंट देख सकता है, लीक होने वाले पाइप को ठीक कर सकता है, एक नया निर्देश मैनुअल लिख सकता है, और काम को मंजूरी दिलाने के लिए कागजी कार्रवाई भी खुद कर सकता है।
यह पेपर एक रिपोर्ट कार्ड है कि ये रोबोट वास्तव में वास्तविक दुनिया में अपना काम कितनी अच्छी तरह कर रहे हैं। शोधकर्ताओं ने 567 निर्माण परियोजनाओं (पुल रिक्वेस्ट) का अध्ययन किया जहाँ इस रोबट ने काम किया, उनकी तुलना मानव द्वारा किए गए प्रोजेक्ट्स से की, और चार बड़े सवाल पूछे।
यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें सरल उपमाओं के साथ समझाया गया है:
1. रोबोट किस तरह का काम करते हैं? (RQ1)
निष्कर्ष: इंसान और रोबोट दोनों टूटी हुई चीजों (बग्स) को ठीक करते हैं और नए कमरे (फीचर्स) बनाते हैं। हालाँकि, रोबोटों में नवीनीकरण और सफाई करने की विशेष प्रतिभा है।
- उपमा: यदि एक मानव कार्यकर्ता को "घर ठीक करने" के लिए कहा जाता है, तो वे छत ठीक कर सकते हैं या नया गैरेज बना सकते हैं। यदि आप रोबोट को "घर ठीक करने" के लिए कहते हैं, तो वह फर्नीचर को व्यवस्थित करने (रिफैक्टरिंग), अलमारियों पर बेहतर लेबल लगाने (डॉक्यूमेंटेशन), और अधिक सुरक्षा कैमरे लगाने (टेस्टिंग) में बहुत कुशल होता है।
- परिणाम: रोबोट उन उबाऊ, नियम-आधारित सफाई कार्यों में आश्चर्यजनक रूप से अच्छे हैं जिन्हें इंसान अक्सर उबाऊ पाते हैं। वे यह भी बताते हैं कि वे बहुत लंबे, विस्तृत "वर्क ऑर्डर्स" (PR विवरण) लिखते हैं जो ठीक से समझाते हैं कि उन्होंने क्या किया।
2. क्या बॉस (मेंटेनर्स) रोबोट के काम को स्वीकार करते हैं? (RQ2)
निष्कर्ष: हाँ, ज्यादातर! लेकिन उतनी बार नहीं जितनी वे मानव कार्य को स्वीकार करते हैं।
- आंकड़े: रोबोट का लगभग 84% काम स्वीकृत और मर्ज हो जाता है। तुलना के लिए, मानव कार्य का लगभग 91% स्वीकृत होता है।
- वे क्यों खारिज किए जाते हैं? यह शायद इसलिए नहीं होता कि रोबोट ने "खराब दीवार" बनाई। आमतौर पर, काम इसलिए खारिज किया जाता है क्योंकि:
- समय (Timing): किसी अन्य टीम सदस्य ने पहले ही किसी अन्य तरीके से समस्या को ठीक कर दिया था।
- आकार (Size): रोबोट ने एक ही बार में पूरा घर ठीक करने की कोशिश की, जिससे ब्लूप्रिंट समीक्षा के लिए बहुत बड़ा हो गया।
- अप्रचलन (Obsolescence): जब रोबोट काम कर रहा था, तब प्रोजेक्ट की दिशा बदल गई।
- सीख: रोबोट आम तौर पर भरोसेमंद होते हैं, लेकिन वे कभी-कभी इस बात का "बड़ा संदर्भ" (big picture context) मिस कर देते हैं कि टीम वास्तव में अभी क्या चाहती है।
3. क्या रोबोटों को काम पूरा करने के लिए मदद की जरूरत होती है? (रिपोर्ट RQ3)
निष्कर्ष: आश्चर्यजनक रूप से, रोबोट और इंसानों दोनों को अपने काम को परफेक्ट बनाने के लिए लगभग समान मात्रा में "पॉलिशिंग" की आवश्यकता होती है।
- उपमा: कल्पना कीजिए कि आपने एक कस्टम केक ऑर्डर किया है। कभी-कभी बेकर (रोबोट) पहली बार में ही इसे 100% सही कर देता है। कभी-कभी वे इसे 90% सही करते हैं और आपको बस फ्रॉस्टिंग में थोड़ा बदलाव करने की आवश्यकता होती है।
- आंकड़े: लगभग 55% रोबोट के केक वैसे ही परफेक्ट होते हैं जैसे वे हैं। यह मानव बेकर्स (58.5%) के लगभग बराबर है।
- प्रयास: जब केक को वास्तव में सुधार की आवश्यकता होती है, तो रोबोट के केक को ठीक करने के लिए आवश्यक काम मानव के केक को ठीक करने के बराबर ही होता है। रोबोट अधिक गलतियाँ नहीं कर रहे हैं जिनके लिए अधिक काम की आवश्यकता हो; वे बस अलग तरह की छोटी गलतियाँ करते हैं।
4. इंसानों को वास्तव में क्या ठीक करना पड़ता है? (RQ4)
निष्कर्ष: जब इंसानों को रोबोट के काम को ठीक करने के लिए हस्तक्षेप करना पड़ता है, तो वे मुख्य रूप से सुरक्षा जांच, निर्देश और शैली (style) को ठीक कर रहे होते हैं।
- बग फिक्स (48%): कभी-कभी रोबोट बहुत आशावादी होने की कोशिश करता है। वह मान लेता है कि दरवाजा कभी टूटेगा ही नहीं, इसलिए वह बैकअप प्लान नहीं बनाता। इंसानों को वह बैकअप प्लान जोड़ना पड़ता है।
- डॉक्यूमेंटेशन (29%): रोबोट एक शानदार नया कमरा तो बना सकता है लेकिन घर का नक्शा अपडेट करना भूल सकता है। इंसानों को "README" (निर्देश मैनुअल) को अपडेट करना पड़ता है।
- रिफैक्टरिंग (27%): रोबोट एक ऐसी दीवार बना सकता है जो काम तो करती है, लेकिन वह ऐसी जगह पर है जिससे बाकी घर में घूमना कठिन हो जाता है। इंसानों को उसे घर की शैली के अनुरूप फिट करने के लिए स्थानांतरित करना पड़ता है।
- स्टाइल (23%): रोबोट गलत रंग का पेंट या गलत फॉन्ट का उपयोग कर सकता है। इंसानों को इसे इमारत के बाकी हिस्सों जैसा बनाना पड़ता है।
बड़ी तस्वीर (The Big Picture)
एजेंटिक कोडिंग को एक बहुत ही प्रतिभाशाली, तेज़ और उत्साही शिक्षु (Apprentice) के रूप में देखें।
- पक्ष (Pros): यह भारी काम का एक बड़ा हिस्सा कर सकता है, विशेष रूप से उबाऊ सफाई और परीक्षण कार्यों को। यह ऐसा काम पैदा करता है जो अक्सर तुरंत उपयोग के लिए पर्याप्त अच्छा होता है।
- विपक्ष (Cons): यह कभी-कभी प्रोजेक्ट के "वाइब" (vibe) को समझ नहीं पाता, निर्देश बहुत लंबे या बहुत छोटे लिखता है, और कभी-कभी इसे सुरक्षा और शैली की जांच के लिए मानव पर्यवेक्षक की आवश्यकता होती है।
निष्कर्ष: रोबोट अभी मानव फोरमैन (Foreman) की जगह नहीं ले रहा है। इसके बजाय, यह एक शक्तिशाली उपकरण है जो भारी काम करता है, जिससे मानव को योजना की समीक्षा करने और अंतिम निर्णय लेने के लिए समय मिलता है ताकि यह सुनिश्चित हो सके कि सब कुछ सुरक्षित, स्टाइलिश और प्रोजेक्ट के लिए एकदम सही है। यह पेपर सुझाव देता है कि हालांकि रोबोट एक बेहतरीन शुरुआत है, लेकिन एक "अच्छे ड्राफ्ट" को "तैयार मास्टरपीस" में बदलने के लिए मानव निरीक्षण अभी भी आवश्यक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।