Do These Violent Delights Have Violent Ends? Measuring the Post-Merge Fate of Agentic Code
182 रिपॉजिटरीज़ के इस अनुदैर्ध्य (longitudinal) अध्ययन से पता चलता है कि जहाँ एजेंटिक कोड योगदान मानव कोड के तुलनीय मर्ज दरों को प्राप्त करते हैं, वहीं वे बाद में काफी अधिक सुधारात्मक रखरखाव बोझ उत्पन्न करते हैं और अधिक सुरक्षा संबंधी कमजोरियाँ पेश करते हैं, विशेष रूप से कम समीक्षा दरों वाले प्रोजेक्ट्स में।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने कोड का एक विशाल, फैला हुआ शहर बनाने में मदद करने के लिए सुपर-फास्ट, अथक रोबोट सहायकों का एक बेड़ा तैनात किया है। ये रोबोट, जो नवीनतम "एजेंटिक" (agentic) AI द्वारा संचालित हैं, पलक झपकते ही सॉफ्टवेयर के पूरे मोहल्ले तैयार कर सकते हैं। तकनीकी दिग्गज खुशी मना रहे हैं, उनका कहना है कि ये रोबोट उनके शहरों में 30% से 75% तक कोड लिख रहे हैं। मेट्रिक्स शानदार दिख रहे हैं: रोबोट पुल रिक्वेस्ट (निर्माण परमिट) उतनी तेजी से बना रहे हैं जितनी गिनती की जा सके। और उनमें से अधिकांश को स्वीकृत किया जाता है और शहर की योजना में शामिल (merge) कर लिया जाता है।
लेकिन यहाँ एक मोड़ है: परमिट पर हस्ताक्षर होने और इमारत आधिकारिक तौर पर शहर का हिस्सा बनने के बाद क्या होता है?
इस अध्ययन ने ठीक इसी बात की जांच की। यह केवल यह गिनने के बजाय कि रोबनों ने कितनी इमारतें बनाईं, शोधकर्ताओं ने एक पूरे वर्ष (मई 2025 से मई 2026 तक) तक कोड का पीछा किया। उन्होंने 182 वास्तविक दुनिया के प्रोजेक्ट्स में कोड की हर एक लाइन को एक जासूस की तरह ट्रैक किया, यह पूछते हुए: क्या यह लाइन जीवित रहती है, या इसे गिराकर फिर से बनाया जाता है? जब यह टूट जाती है तो इसे कौन ठीक करता है? और क्या यह अपने भीतर कोई खतरनाक जाल छिपाती है?
बड़ी आश्चर्यजनक बात: यह "कितना" के बारे में नहीं है, बल्कि "कितना बुरा" के बारे में है
आप उम्मीद कर सकते हैं कि रोबोट द्वारा बनाया गया कोड एक पूर्ण आपदा होगा, जो तुरंत ढह जाएगा। या, आप सोच सकते हैं कि यह एकदम सटीक है। सच्चाई थोड़ी अधिक सूक्ष्म है।
शोध ने पाया कि, कुल मिलाकर, रोबोट द्वारा बनाए गए कोड को "तोड़े जाने" (समाप्त होने) की दर मानव कोड की तुलना में काफी अलग नहीं है। यदि आप केवल इस बात के कच्चे आंकड़ों को देखें कि कोड कितने समय तक टिकता है, तो रोबोट और इंसान बराबरी पर नजर आते हैं।
हालाँकि, एक बार जब आप गहराई से देखते हैं कि वह कोड क्यों बदला गया, तो तस्वीर नाटकीय रूप से बदल जाती है।
- "बग फिक्स" का चुंबक: रोबोट कोड सुधारों के लिए एक चुंबक है। अध्ययन में पाया गया कि एजेंटिक कोड को मानव कोड की तुलना में 46% अधिक सुधारात्मक रखरखाव (चीजों को ठीक करना जो खराब हो गई हैं) की आवश्यकता होती है।
- "बग फिक्स" की विशिष्टता: विशेष रूप से, रोबोट कोड में 45% अधिक बग फिक्स होते हैं। हालांकि मानव कोड में भी बहुत सारे बग फिक्स होते हैं, लेकिन रोबोट अधिक बग पेश करते प्रतीत होते हैं।
- "जाल" का कारक: रोबोट कोड सुरक्षा कमजोरियों और खतरनाक डिपेंडेंसीज़ को भी अधिक संख्या में ला सकता है। अध्ययन ने इसे Semgrep और OSV-Scanner जैसे टूल्स का उपयोग करके मापा। रोबोट कोड ने मानव कोड की तुलना में 1.14 गुना अधिक सुरक्षा संबंधी खामियां पेश कीं, और उच्च-गंभीरता (बहुत खराब) वाली खामियां 1.51 गुना अधिक दर से पेश कीं।
इसे ऐसे समझें: रोबोट दीवारें बनाने में तो माहिर हैं, लेकिन वे अक्सर फायर अलार्म लगाना या ज्वलनशील पेंट का उपयोग करना भूल जाते हैं। इमारत खड़ी तो रहती है, लेकिन बाद में उसे बहुत अधिक अग्नि सुरक्षा निरीक्षणों और मरम्मत की आवश्यकता होती है।
"नो-रिव्यू" (बिना समीक्षा के) खतरा क्षेत्र
सबसे महत्वपूर्ण निष्कर्षों में से एक यह है कि कोड कैसे स्वीकृत किया जाता है। शोधकर्ताओं ने देखा कि क्या होता है जब प्रोजेक्ट्स कोड को बिना किसी मानव समीक्षा के मर्ज कर देते हैं।
उन्होंने एक सीधा संबंध पाया: एक प्रोजेक्ट जितना अधिक कोड बिना मानव समीक्षा के मर्ज करता है, रखरखाव का बोझ उतना ही भारी होता जाता है।
- विशेष रूप से, प्रत्येक प्रोजेक्ट के "नो-रिव्यू रेट" में 10 प्रतिशत अंक की वृद्धि के लिए, एजेंटिक कोड पर रखरखाव का बोझ लगभग 6% बढ़ जाता है।
यह सुझाव देता है कि रोबोट केवल गलतियाँ नहीं कर रहे हैं; वे ऐसी गलतियाँ कर रहे हैं जिन्हें केवल एक मानव समीक्षक ही पकड़ पाता। जब आप समीक्षा को छोड़ देते हैं, तो आप रोबोटों को बेकाबू छोड़ देते हैं, और उनकी गलतियों को ठीक करने का बिल बाद में चुकाना पड़ता है।
"वेलोसिटी एसिमेट्री" (वेग विषमता) की समस्या
पेपर तर्क देता है कि हमने एक खतरनाक असंतुलन पैदा कर दिया है, जिसे वे "जेनरेशन-रिव्यू एसिमेट्री" (उत्पादन-समीक्षा विषमता) कहते हैं।
- जेनरेशन (लिखना): रोबोट अनंत गति से कोड लिख सकते हैं, जो मानवीय थकान से मुक्त है।
- रिव्यू (जांचना): इंसान अभी भी उनके काम की जांच करने वाले हैं। वे थक जाते हैं, वे व्यस्त होते हैं, और वे केवल एक निश्चित गति से ही पढ़ सकते हैं।
अध्ययन का सुझाव है कि केवल "तेजी से समीक्षा करने" या "समीक्षा को स्वचालित करने" से इस समस्या को हल करने की कोशिश करना सही नहीं है। यदि आप रोबोट को कोड इतनी तेजी से लिखने देते हैं कि इंसान उसे चेक न कर सकें, तो आप अंततः छिपे हुए दोषों का एक विशाल बैकलॉग बना देंगे। पेपर का तर्क है कि समाधान समीक्षा प्रक्रिया को और पतला करना नहीं है, बल्कि टूल्स को स्वयं ठीक करना है ताकि वे ऐसा कोड बना सकें जो शुरू से ही सुरक्षित और रखरखाव योग्य हो।
वह जो पेपर ने खारिज किया
यह जानना भी महत्वपूर्ण है कि इस अध्ययन ने क्या नहीं पाया:
- इसने यह नहीं पाया कि रोबोट कोड हर तरह से "बुरा" है। समग्र उत्तरजीविता दर (कोड के बदलने से पहले वह कितने समय तक टिकता है) मानव कोड के समान ही है। अंतर केवल परिवर्तन के प्रकार में है (अधिक बग फिक्स, न कि अधिक फीचर एडिशन)।
- इसने यह नहीं पाया कि समस्या रैंडम (यादृच्छिक) है। रखरखाव का बोझ केवल बदकिस्मती नहीं है; यह विशिष्ट प्रोजेक्ट विशेषताओं से जुड़ा है, जैसे कि कितना कोड बिना समीक्षा के मर्ज किया गया है।
- इसने यह सिद्ध नहीं किया कि रोबोट "बुरे" या "बेकार" हैं। इसने केवल यह मापा कि वे वर्तमान में अधिक बग और सुरक्षा खामियां पेश करते हैं जिन्हें मानव द्वारा साफ करने की आवश्यकता होती है।
निचोड़
अध्ययन निष्कर्ष निकालता है कि हालांकि रोबोट कोड बनाने में प्रभावशाली हैं, लेकिन वे वर्तमान में कोड के टिकने (स्थिर रहने) के मामले में कम विश्वसनीय हैं। इन टूल्स की "सफलता" को इस बात से नहीं मापा जाना चाहिए कि वे कितना कोड उत्पन्न करते हैं या कितनी पुल रिक्वेस्ट मर्ज की जाती हैं। इसके बजाय, असली परीक्षण यह है: क्या कोड मर्ज होने के बाद सुरक्षित और स्थिर रहता है?
पेपर सुझाव देता है कि जैसे-जैसे हम इन एजेंट्स पर अधिक निर्भर होते जा रहे हैं, हमें कोड जनरेशन की गति का जश्न मनाना बंद करना चाहिए और सफाई की लागत (cleanup cost) के बारे में चिंतित होना शुरू करना चाहिए। रोबोट तेज हैं, लेकिन यदि वे बग और सुरक्षा खामियों का निशान छोड़ते हैं, तो जिन इंसानों को इसे साफ करना होगा, उन्हें ओवरटाइम काम करना पड़ेगा। लक्ष्य ऐसा शहर बनाना नहीं होना चाहिए जो पहले दिन शानदार दिखे; बल्कि ऐसा शहर बनाना होना चाहिए जिसे एक साल बाद लगातार आपातकालीन मरम्मत की आवश्यकता न पड़े।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।