Why Are Agentic Pull Requests Merged or Rejected? An Empirical Study
11,000 से अधिक एजेंटिक पुल रिक्वेस्ट (agentic pull requests) का यह अनुभवजन्य अध्ययन यह प्रकट करता है कि एआई कोडिंग एजेंटों का मूल्यांकन करने के लिए केवल मर्ज या रिजेक्शन परिणामों पर निर्भर रहना भ्रामक है, क्योंकि रिजेक्शन का एक महत्वपूर्ण हिस्सा एजेंट की त्रुटियों के बजाय वर्कफ़्लो बाधाओं से उत्पन्न होता है और कई मर्ज के लिए पर्याप्त मानवीय हस्तक्षेप की आवश्यकता होती है, जिससे समीक्षा व्यवहार पर आधारित इंटरैक्शन-अवेयर (interaction-aware) मूल्यांकन मेट्रिक्स की आवश्यकता अनिवार्य हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक हलचल भरी, हाई-टेक रसोई की कल्पना करें जहाँ रोबोट (AI कोडिंग एजेंट) लगातार नए व्यंजन (कोड परिवर्तन) बनाने की कोशिश कर रहे हैं और उन्हें अनुमोदन के लिए मुख्य शेफ (मानव समीक्षक) के पास परोस रहे हैं। लक्ष्य इन व्यंजनों को रेस्टोरेंट के मेनू (सॉफ्टवेयर में मर्ज) में शामिल करना है।
लंबे समय तक, लोगों ने यह देखकर कि रोबोट शेफ कितने अच्छे हैं, केवल अंतिम परिणाम का न्याय किया: क्या व्यंजन परोसा गया (मर्ज हुआ) या कचरे में फेंक दिया गया (अस्वीकार किया गया)?
यह नया अध्ययन तर्क देता है कि अंतिम परिणाम को देखकर निर्णय लेना एक शेफ को केवल इस आधार पर आंकने जैसा है कि क्या प्लेट रसोई से बाहर निकली या नहीं, बिना यह पूछे कि क्यों। शोधकर्ताओं ने पाया कि "हाँ/नहीं" का लेबल एक बहुत ही अधूरा विवरण देता है।
उन्होंने जो खोजा है, वह यहाँ सरल उपमाओं में दिया गया है:
1. "कचरा" हमेशा शेफ की गलती नहीं होती
जब किसी रोबोट का व्यंजन अस्वीकार कर दिया जाता है, तो हम अक्सर मान लेते हैं कि रोबोट ने कुछ खाने योग्य नहीं बनाया (कोडिंग त्रुटि)। हालाँकि, अध्ययन में पाया गया कि केवल लगभग 36% अस्वीकृतियाँ वास्तव में इसलिए थीं क्योंकि रोबोट ने रेसिपी (नुस्खा) में गड़बड़ी की थी।
बाकी दो-तिहाई अस्वीकृतियाँ उन कारणों से थीं जिनका रोबोट के खाना बनाने के कौशल से कोई लेना-देना नहीं था:
- "गलत रात" की समस्या (31%): व्यंजन एकदम सही था, लेकिन रसोई पहले ही बंद हो चुकी थी, या शेफ ने उस रात के लिए पहले से ही कोई दूसरा व्यंजन ऑर्डर कर लिया था। तकनीकी शब्दों में, कोड ठीक था, लेकिन प्रोजेक्ट वर्कफ़्लो को इसकी आवश्यकता नहीं थी, या यह एक डुप्लिकेट था।
- "मौन व्यवहार" (33%): व्यंजन वापस भेज दिया गया, लेकिन शेफ ने एक शब्द भी नहीं कहा। प्लेट पर यह समझाने के लिए कोई नोट नहीं था कि क्यों। यह समझना असंभव था कि रोबको ने गलती की या शेफ ने बस उसे अनदेखा कर दिया।
सीख: यदि आप अस्वीकृतियों को केवल "विफलता" के रूप में गिनते हैं, तो आप रोबोट को उन चीजों के लिए गलत तरीके से दोषी ठहरा रहे हैं जो वास्तव में केवल खराब समय या चुप्पी के कारण थीं।
2. "परोसा गया" व्यंजन हमेशा केवल रोबोट का नहीं होता
जब एक व्यंजन परोसा जाता है (मर्ज होता है), तो हम मान लेते हैं कि रोबोट ने इसे शुरू से अंत तक पूरी तरह से बनाया है। लेकिन अध्ययन में पाया गया कि इन "सफलताओं" में से लगभग 15% के लिए वास्तव में मानव शेफ को काम शुरू करने से पहले चीजों को ठीक करने के लिए हस्तक्षेप करना पड़ा था।
- "स्वाद परीक्षण" (फीडबैक लूप): रोबोट ने मुख्य कोर्स बनाया, लेकिन शेफ ने चखा, कहा, "इसमें थोड़ा नमक और चाहिए," और रोबोट ने इसे ठीक किया।
- "प्लेटिंग" (मानव हस्तक्षेप): रोबोट ने खाना बनाया, लेकिन शेफ को परोसने से पहले सजावट को व्यवस्थित करने या प्रस्तुति को ठीक करने के लिए हस्तक्षेप करना पड़ा।
वास्तव में, कुछ रोबोटों (जैसे Copilot और Devin) के लिए, मानव शेफ की भागीदारी अन्य रोबोटों (जैसे Codex और Cursor) की तुलना में बहुत अधिक थी, जो ऐसा लग रहा था कि बिना किसी बातचीत के अपने व्यंजन परोस रहे थे।
सीख: "मर्ज" लेबल का मतलब हमेशा यह नहीं होता कि रोबोट ने पूरा काम अकेले किया। कभी-कभी, काम को सफल बनाने के लिए अंत में इंसान ने भारी मेहनत की होती है।
3. अलग-अलग रोबोट, अलग-अलग रसोई
अध्ययन ने देखा कि अलग-अलग रोबोट अलग-अलग "रसोई" (सॉफ्टवेयर प्रोजेक्ट) में अलग-अलग व्यवहार करते थे।
- कुछ रोबोटों को सख्त नियमों और व्यस्त शेफ वाली रसोई में भेजा गया था जो लगातार फीडबैक देते थे। इन रोबोटों के पास अधिक अस्वीकृतियाँ और अधिक मानवीय मदद थी।
- अन्य रोबोटों को ऐसी रसोई में भेजा गया था जहाँ शेफ अधिक 'हैंड्स-ऑफ' (दूरी बनाए रखने वाले) थे, जिससे अधिक "मौन" अनुमोदन या अस्वीकृतियाँ हुईं।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हम केवल टिकट पर लगे "परोसा गया" या "अस्वीकृत" स्टैम्प को देखकर एक रोबोट शेफ के कौशल का न्याय नहीं कर सकते।
- अस्वीकृतियाँ अक्सर केवल वर्कफ़्लो के मुद्दे या चुप्पी होती हैं, खराब खाना बनाना नहीं।
- मर्ज होने में अक्सर प्लेट को परोसने से पहले मानव शेफ द्वारा सुधार शामिल होता है।
इन AI एजेंटों की वास्तविक क्षमता को समझने के लिए, हमें रोबोट और मानव के बीच होने वाली बातचीत को देखना होगा—टिप्पणियाँ, सुधार और निर्णयों के पीछे के कारण—न कि केवल अंतिम परिणाम को। यदि हम ऐसा नहीं करते हैं, तो हम उस शेफ का न्याय उस मेनू के आधार पर कर रहे हैं जो पूरी कहानी नहीं बताता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।