Predicting Acceptance and Review Effort in Human and Agent Pull Requests
यह शोध पत्र यह प्रदर्शित करता है कि केवल सबमिशन-समय की विशेषताओं का उपयोग करने वाले मशीन लर्निंग मॉडल मानव और एजेंट दोनों के पुल रिक्वेस्ट (pull requests) की स्वीकृति का सटीक अनुमान लगा सकते हैं, लेकिन समीक्षा प्रयास (review effort) का पूर्वानुमान लगाने में संघर्ष करते हैं, जो यह सुझाव देता है कि उनका सर्वोत्तम उपयोग स्वचालित निर्णय लेने वालों के बजाय ट्राइएज (triage) के लिए सलाहकार उपकरणों के रूप में किया जाना है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक हलचल भरी सॉफ्टवेयर वर्कशॉप की कल्पना करें जहाँ कोड परिवर्तन (code changes) शिप किए जाने वाले पैकेज की तरह हैं। पुराने दिनों में, केवल मानव कार्यकर्ता ही ये पैकेज भेजते थे। लेकिन अब, टीम में AI रोबोटों की एक नई टोली शामिल हो गई है, जो मनुष्यों के साथ अपने स्वयं के कोड पैकेज भी छोड़ रहे हैं। प्रबंधक (जिन्हें "मेंटेनर्स" कहा जाता है) अचानक अभिभूत हो गए हैं। उनके पास जांचने के लिए पैकेजों का एक पहाड़ है, और उन्हें तुरंत दो बातें जानने की आवश्यकता है: कौन से पैकेज स्वीकृत होकर शिप किए जाएंगे? और किन पैकेजों के लिए एक विशाल, थका देने वाली जांच की आवश्यकता होगी?
यह शोध पत्र एक जासूस की तरह है जो केवल पैकेज के बाहर दिखने वाले सुरागों का उपयोग करके इस रहस्य को सुलझाने की कोशिश कर रहा है, इससे पहले कि कोई भी बॉक्स को खोले या उसके बारे में बात करना शुरू करे।
बड़ी खोज: "पैकेज लेबल" बहुत कुछ बताता है
शोधकर्ताओं ने पाया कि आप केवल लेबल और जिस बॉक्स में वह है उसे देखकर यह काफी सटीक अनुमान लगा सकते हैं कि पैकेज स्वीकार किया जाएगा या नहीं। उन्होंने एक स्मार्ट कंप्यूटर सिस्टम बनाया जिसने इन चीजों को देखा:
- लेबल पर विवरण (description) कितना लंबा था।
- बॉक्स के अंदर कितनी फाइलें थीं।
- दिन का वह कौन सा समय था जब इसे भेजा गया था।
- उस वर्कशॉप की प्रतिष्ठा जहाँ से यह आया था।
जब उन्होंने इस सिस्टम का परीक्षण किया, तो कंप्यूटर "स्वीकृत" पैकेजों को पहचानने में बहुत कुशल रहा। वास्तव में, सबसे अच्छे मॉडलों (Random Forest नामक पद्धति का उपयोग करते हुए) ने स्वीकृत होने वाले पैकेजों की सही पहचान करने के लिए 0.958 का स्कोर प्राप्त किया। यह एक जासूस द्वारा केवल पते को देखते ही 100 में से 96 मामलों को सुलझाने जैसा है!
हालाँकि, एक पेच है। पेपर स्पष्ट रूप से चेतावनी देता है कि यह सिस्टम कोई जादुई "हाँ/ना" बटन नहीं है। कंप्यूटर "संभावित हाँ" को "संभावित ना" से अलग करने में तो अच्छा है, लेकिन यह अपने आप में अंतिम निर्णय लेने के लिए इतना पूर्ण नहीं है। शोधकर्ता इसके उपयोग के लिए इसे एक सहायक के रूप में सुझाव देते हैं जो प्रबंधकों को कह सके, "हे, इसे पहले देखो!" बजाय एक स्वचालित रोबोट के जो बिना किसी इंसान द्वारा देखे ही कहता है, "इसे शिप कर दो!"
कठिन रहस्य: इसमें कितनी मेहनत लगेगी?
दूसरा प्रश्न अधिक कठिन था: "इसकी समीक्षा करने में कितनी मेहनत लगेगी?" शोधकर्ताओं ने दो चीजों की भविष्यवाणी करने की कोशिश की: पैकेज को कितने कमेंट्स मिलेंगे (यानी "चैटर") और शिप होने से पहले वह कतार (queue) में कितने घंटे रहेगा (यानी "वेट टाइम")।
यहाँ, परिणाम बहुत मामूली थे। कंप्यूटर औसत 1.00 कमेंट के त्रुटि मार्जिन के साथ चैटर का अनुमान लगा सका, लेकिन यह केवल 20% कारणों की व्याख्या कर सका कि क्यों कुछ पैकेजों पर अधिक कमेंट्स आए। वेट टाइम की भविष्यवाणी करना और भी कठिन था; कंप्यूटर के अनुमान औसतन 24.00 घंटे गलत थे, और इसने केवल 12% भिन्नता की व्याख्या की।
यह इतना कठिन क्यों था? पेपर सुझाव देता है कि वेट टाइम केवल पैकेज के बारे में नहीं है। यह बस के इंतजार जैसा है: भले ही आपका टिकट एकदम सही हो, फिर भी आपको लंबे समय तक इंतजार करना पड़ सकता है यदि बस ड्राइवर ब्रेक पर है, ट्रैफिक खराब है, या बस भरी हुई है। इसी तरह, एक कोड पैकेज को लंबे समय तक इंतजार करना पड़ सकता है क्योंकि समीक्षक व्यस्त हैं, स्वचालित परीक्षण उपकरण धीमे हैं, या टीम का वर्कफ़्लो ही धीमा है। पेपर का तर्क है कि आप केवल पैकेज लेबल को देखकर इन "ट्रैफिक जाम" की भविष्यवाणी नहीं कर सकते।
इंसान बनाम रोबोट: क्या वे अलग नियमों का पालन करते हैं?
टीम ने यह भी जानना चाहा कि क्या AI रोबोट के पैकेज मनुष्यों के पैकेजों की तुलना में अनुमान लगाने में अधिक कठिन थे। उन्होंने पाया कि AI पैकेज वास्तव में इसलिए अधिक आसान थे क्योंकि वे बहुत व्यवस्थित और नियमित पैटर्न का पालन करते थे। मानव पैकेज अधिक अस्त-व्यस्त और विविध थे।
दिलचस्प बात यह है कि AI पैकेजों पर थोड़ा अधिक "चैटर" (कमेंट्स) होता था और उन्हें शिप होने में थोड़ा अधिक समय लगता था। पेपर सुझाव देता है कि ऐसा इसलिए हो सकता है क्योंकि मानव प्रबंधक अतिरिक्त सावधानी बरत रहे हैं, रोबोट के काम की दोबारा जांच कर रहे हैं ताकि यह सुनिश्चित हो सके कि उसमें कोई छिपी हुई चाल न हो। लेकिन इस अतिरिक्त जांच के बावजूद, कंप्यूटर रोबोट के लिए परिणामों की भविष्यवाणी उतनी ही अच्छी तरह से कर सका जितनी मनुष्यों के लिए।
पेपर किन बातों को "ना" कहता है
यह जानना महत्वपूर्ण है कि इस अध्ययन ने क्या नहीं किया। शोधकर्ताओं ने स्पष्ट रूप से किसी भी ऐसी जानकारी का उपयोग करने से मना कर दिया जो पैकेज खुलने के बाद दिखाई देती है। उन्होंने लोगों द्वारा लिखे गए कमेंट्स, स्वचालित परीक्षणों के परिणाम, या कोड को मर्ज करने के अंतिम निर्णय को नहीं देखा। यदि उन्होंने इस जानकारी का उपयोग किया होता, तो यह बारिश होने के बाद जमीन को देखकर मौसम की भविष्यवाणी करने जैसा होता। पूरा उद्देश्य यह देखना था कि क्या आप बारिश शुरू होने से पहले परिणाम का अनुमान लगा सकते हैं।
उन्होंने इस विचार को भी खारिज कर दिया कि कंप्यूटर मानव समीक्षकों की जगह ले सकता है। परिणाम दिखाते हैं कि जबकि कंप्यूटर एक बेहतरीन "ट्राइएज" टूल (जैसे ट्रैफिक पुलिस जो कारों को निर्देशित करती है) है, यह पूरी तरह से उन जटिल सामाजिक और वर्कफ़्लो कारणों की व्याख्या नहीं कर सकता है कि एक समीक्षा में इतना समय क्यों लगता है।
निष्कर्ष
संक्षेप में, पेपर सुझाव देता है कि हम प्रबंधकों को उनके काम को प्राथमिकता देने में मदद करने के लिए एक स्मार्ट सिस्टम बना सकते हैं। यदि एक पैकेज का लेबल स्पष्ट है, आकार उचित है, और एक अच्छे स्रोत से आया है, तो सिस्टम कह सकता है, "यह सुरक्षित लग रहा है, आइए इसे पहले देखें।" लेकिन जब बात यह अनुमान लगाने की आती है कि एक समीक्षा में कितना समय लगेगा या कितनी बहस होगी, तो सिस्टम अपनी सीमा तक पहुँच जाता है। पेपर निष्कर्ष निकालता है कि ये उपकरण मानव निर्णय के विकल्प के रूप में नहीं, बल्कि एक सहायक के रूप में उपयोग किए जाने के लिए सबसे अच्छे हैं। यदि इसमें अधिक सुराग जोड़े जाएं, जैसे कि समीक्षक वर्तमान में किस काम में व्यस्त हैं या कोड वास्तव में कैसे काम करता है, तो इस तकनीक का भविष्य बेहतर हो सकता है, लेकिन फिलहाल, "बॉक्स के बाहर" के सुराग केवल कहानी का एक हिस्सा ही बताते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।