Why Agentic-PRs Get Rejected: A Comparative Study of Coding Agents
यह शोध पत्र पांच कोडिंग एजेंटों और एक मानव बेसलाइन के माध्यम से 654 अस्वीकृत पुल रिक्वेस्ट (pull requests) का विश्लेषण करता है ताकि अद्वितीय और एजेंट-विशिष्ट अस्वीकृति पैटर्न की पहचान की जा सके, साथ ही 67.9% मामलों में गायब रिव्यूअर फीडबैक की चुनौती को संबोधित करने के लिए ह्यूरिस्टिक्स (heuristics) प्रस्तावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि सॉफ्टवेयर डेवलपमेंट एक विशाल, हलचल भरे निर्माण स्थल (construction site) की तरह है। आमतौर पर, जब एक कार्यकर्ता (एक मानव डेवलपर) एक नया कमरा पूरा करता है या लीकेज ठीक करता है, तो वे साइट मैनेजर को एक "परिवर्तन अनुरोध" (Change Request/Pull Request) सौंपते हैं। मैनेजर उसे देखता है और कहता है, "बहुत बढ़िया, चलो इसे बनाते हैं," या "नहीं, यह काम नहीं करेगा।"
हाल ही में, एक नए प्रकार के कार्यकर्ता आए हैं: AI एजेंट्स। ये ऐसे रोबोट हैं जो योजना बना सकते हैं, निर्माण कर सकते हैं और बिना किसी इंसान के हाथ थामे अपने स्वयं के परिवर्तन अनुरोध सौंप सकते हैं। यह शोध इस बात की जांच करता है कि जब ये AI कार्यकर्ता अपना काम सौंपते हैं, तो वे मानव कार्यकर्ताओं की तुलना में कैसा प्रदर्शन करते हैं।
यहाँ अध्ययन का विवरण दिया गया, जिसमें सरल उपमाओं (analogies) का उपयोग किया गया है:
1. बड़ी समस्या: "मौन अस्वीकृति" (The Silent Rejection)
शोधकर्ताओं ने पांच अलग-अलग AI रोबोटों (जैसे Devin, Claude Code, और GitHub Copilot) से 654 अस्वीकृत परिवर्तन अनुरोधों का अध्ययन किया और उनकी तुलना मनुष्यों द्वारा किए गए अनुरोधों से की।
सबसे चौंकाने वाला निष्कर्ष? तीन में से दो अस्वीकृतियाँ मौन थीं।
- उपमा: कल्पना कीजिए कि आपने एक प्रतियोगिता में एक ड्राइंग जमा की, और उसे कूड़ेदान में फेंक दिया गया। आप पूछते हैं, "क्यों?" और जज बस कंधे उचकाकर चला जाता है।
- वास्तविकता: 67.9% अस्वीकृत AI अनुरोधों में समीक्षक (reviewer) की ओर से कोई स्पष्टीकरण नहीं था। अनुरोध को बस बंद कर दिया गया था। यह शोधकर्ताओं के लिए यह जानना बहुत कठिन बना देता है कि AI क्यों विफल हुआ, क्योंकि "जज" ने कारण नहीं लिखा।
2. "AI-केवल" गलतियाँ (The "AI-Only" Mistakes)
जब शोधकर्ताओं को अस्वीकृति के कारण मिले, तो उन्होंने पाया कि AI रोबोट ऐसी गलतियाँ करते हैं जो मनुष्य लगभग कभी नहीं करते। उन्हें सात विशिष्ट अस्वीकृति कारण मिले जो केवल AI के साथ हुए:
- "बहुत बड़ा" बॉक्स: मनुष्य कभी-कभी बड़े प्रोजेक्ट जमा करते हैं, लेकिन AI रोबiyट एक ही बार में विशाल, भारी बदलाव जमा करने की प्रवृत्ति रखते हैं। यह एक AI की तरह है जो एक ही दिन में पूरी गगनचुंबी इमारत बनाने की कोशिश कर रहा हो। मैनेजरों ने इन्हें इसलिए अस्वीकार कर दिया क्योंकि ये ठीक से समीक्षा करने के लिए बहुत बड़े थे।
- "अविश्वास" का बैज: कुछ मैनेजरों को बस उस कोड पर भरोसा नहीं था क्योंकि वह एक रोबोट द्वारा बनाया गया था। उन्होंने इसे केवल इसलिए अस्वीकार कर दिया क्योंकि यह AI-जनरेटेड था, इस डर से कि यह अविश्वसनीय या "हैलुसिनेटेड" (मनगढ़ंत) हो सकता है।
- "स्लॉप" (Slop) लेबल: एक मामले में, एक प्रोजेक्ट ओनर ने एक AI अनुरोध को अस्वीकार किया और उसे "SLOP" (कम गुणवत्ता वाली, मशीन द्वारा बनाई गई सामग्री के लिए एक शब्द) लेबल किया, जिसका अर्थ था, "यह एक मशीन द्वारा बनाया गया कचरा है।"
- "प्रयोग" की विफलता: कुछ AI अनुरोध केवल यह देखने के लिए जमा किए गए थे कि क्या रोबोट यह कर सकता है, न कि इसलिए कि वास्तव में कोई उस कोड को चाहता था। इन्हें इसलिए अस्वीकार किया गया क्योंकि ये वास्तविक उपयोग के लिए नहीं थे।
3. "रोबोट-विशिष्ट" विचित्रताएं (The "Robot-Specific" Quirks)
अलग-अलग AI रोबोटों के अलग-अलग व्यक्तित्व और सेटिंग्स होते हैं, जिससे अनूठी अस्वीकृति पैटर्न बनते हैं:
- "Devin" प्रभाव: एक विशिष्ट रोबोट, जिसका नाम Devin है, में एक सेटिंग है जो अपने स्वयं के अनुरोधों को स्वचालित रूप से बंद कर देती है यदि वे बहुत लंबे समय तक निष्क्रिय रहते हैं। अध्ययन में पाया गया कि Devin के कई अस्वीकरण इसलिए नहीं थे कि कोड खराब था, बल्कि इसलिए थे क्योंकि रोबط खुद ने कहा, "मैं ऊब गया हूँ, मैं इसे बंद कर रहा हूँ," 7 दिनों की शांति के बाद।
- "संदर्भ" का जाल (The "Context" Trap): कुछ AI रोबोट इसलिए अस्वीकार हुए क्योंकि वे उन "निजी" फाइलों या डेटा को नहीं देख सके जिनकी उन्हें काम पूरा करने के लिए आवश्यकता थी। यह एक रोबोट की तरह है जो ताला ठीक करने की कोशिश कर रहा है लेकिन उस कमरे से बाहर है जहाँ चाबी रखी है।
4. समाधान: एक "कचरा फिल्टर" (The "Trash Filter")
चूंकि इतनी सारी अस्वीकृतियों में कोई नोट्स नहीं थे (मौन अस्वीकृति की समस्या), शोधकर्ताओं ने महसूस किया कि उन्हें अध्ययन करने से पहले डेटा को साफ करने के लिए एक तरीका चाहिए। उन्होंने एक सरल फ़िल्टर (नियमों का एक सेट) बनाया ताकि यह अनुमान लगाया जा सके कि कौन सी अस्वीकृतियाँ वास्तव में "मौन" थीं और कौन सी जिनमें छिपे हुए सुराग हो सकते थे।
- फ़िल्टर के नियम: उन्होंने उन अनुरोधों की तलाश की जो थे:
- लिखने वाले व्यक्ति द्वारा बंद किए गए (Self-closed)।
- बहुत जल्दी बंद किए गए (जैसे, 7 दिनों के भीतर)।
- बिना किसी टिप्पणी के बंद किए गए।
- परिणाम: इन नियमों का उपयोग करके, वे "शोर" (मौन, अनुपयोगी अस्वीकृतियों) को फ़िल्टर कर सके और उन पर ध्यान केंद्रित कर सके जहाँ मैनेजरों ने वास्तव में समझाया था कि उन्होंने "ना" क्यों कहा। यह भविष्य के शोधकर्ताओं को स्पष्ट तस्वीर पाने में मदद करता है कि क्या गलत हो रहा है।
सारांश
पेपर यह निष्कर्ष निकालता है कि जबकि AI एजेंट्स पहले से कहीं अधिक तेज़ी से कोड बना रहे हैं, उन्हें मनुष्यों की तुलना में अधिक बार अस्वीकार किया जा रहा है। यह केवल इसलिए नहीं है कि उनका कोड बग्स से भरा है; बल्कि इसलिए है क्योंकि वे:
- ऐसी चीजें जमा करते हैं जो बहुत बड़ी या जटिल होती हैं।
- मानव प्रबंधकों के मन में अविश्वास पैदा करते हैं।
- उनकी अपनी अनूठी "रोबोट व्यवहार" (जैसे ऑटो-क्लोजिंग) होती है जो मनुष्यों में नहीं होती।
- अक्सर बिना किसी स्पष्टीकरण के अस्वीकार कर दिए जाते हैं, जिससे गलतियों से सीखना कठिन हो जाता है।
यह अध्ययन डेटा को साफ करने में मदद करने के लिए एक "फ़िल्टर" प्रदान करता है ताकि हम बेहतर समझ सकें कि भविष्य में इन AI श्रमिकों को अधिक विश्वसनीय कैसे बनाया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।