Repair Evidence Resolution: Separating Prediction, Structural Resolution, and Transfer in Automated Patch Correctness Assessment

सॉफ्टवेयर इंजीनियरिंग की दुनिया में, कंप्यूटर तेजी से बग्स को ठीक करने के लिए अपना स्वयं का कोड लिख रहे हैं। यह क्षेत्र, जिसे ऑटोमेटेड प्रोग्राम रिपेयर (स्वचालित प्रोग्राम मरम्मत) कहा जाता है, एक टूटे हुए प्रोग्राम के लिए हजारों संभावित समाधान उत्पन्न करके और फिर उन्हें नियमों के एक सेट के विरुद्ध परीक्षण करके काम करता है ताकि यह देखा जा सके कि कौन से काम करते हैं। हालांकि, एक निरंतर समस्या लंबे समय से इस प्रक्रिया को परेशान करती रही है: एक समाधान उन सभी परीक्षणों को पास कर सकता है जो कंप्यूटर को दिए गए हैं, फिर भी वह मौलिक रूप से गलत हो सकता है। इसे ओवरफिटिंग (overfitting) कहा जाता है, जहाँ एक समाधान विशेष रूप से उन परीक्षणों के लिए बहुत सटीक रूप से तैयार किया जाता है जिनका वह सामना करता है, लेकिन वह वास्तविक अंतर्निहित त्रुटि को संबोधित करने में विफल रहता है। इसे हल करने के लिए, शोधकर्ताओं ने ऐसे उपकरण बनाए हैं जो न्यायाधीशों के रूप में कार्य करते हैं, जो यह अनुमान लगाने की कोशिश करते हैं कि उत्पन्न किए गए कई सुधारों में से कौन से वास्तव में सही हैं और कौन से केवल भाग्यशाली हैं। वर्षों से, इन न्यायाधीशों की सफलता को इस बात से मापा गया है कि वे कितनी बार सही उत्तर देते हैं, ठीक वैसे ही जैसे किसी छात्र को बहुविकल्पीय परीक्षा पर ग्रेड दिया जाता है। लेकिन यह दृष्टिकोण एक गहरे प्रश्न को छोड़ देता है: भले ही एक न्यायाधीश अनुमान लगाने में अच्छा हो, क्या वह जानकारी जो वह देखता है, वास्तव में एक सही सुधार और एक गलत सुधार के बीच अंतर करने के लिए आवश्यक सुरागों से युक्त है?

उषा मार्टिन यूनिवर्सिटी के मोहम्मद आमिर खुस्रु अख्तर द्वारा किया गया एक नया अध्ययन इस बात पर ध्यान केंद्रित करता है कि एक न्यायाधीश कितनी अच्छी तरह से अनुमान लगाता है, बजाय इसके कि उपलब्ध साक्ष्य वास्तव में सही अंतर करने में सक्षम हैं या नहीं। शोधकर्ता 'रिपेयर एविडेंस रेजोल्यूशन' (Repair Evidence Resolution) नामक एक ढांचा पेश करते हैं, जो कंप्यूटर को दिखाई देने वाली जानकारी को समूहों के संग्रह के रूप में मानता है। मुख्य विचार यह जांचना है कि क्या किसी एकल समूह में एक सही सुधार और एक गलत सुधार दोनों शामिल हैं जो कंप्यूटर को बिल्कुल एक जैसे दिखाई देते हैं। यदि ऐसा कोई समूह मौजूद है, तो कोई भी चतुर अनुमान उन्हें अलग करने में कभी सक्षम नहीं होगा, क्योंकि कंप्यूटर के पास उन्हें अलग करने का कोई तरीका नहीं है। यह एल्गोरिदम की बुद्धिमत्ता के बारे में नहीं है, बल्कि डेटा की अपनी सीमाओं के बारे में है। अध्ययन यह पूछता है कि क्या सुधारों का मूल्यांकन करने के लिए उपयोग किए जाने वाले विशिष्ट संकेत (signals) सही उत्तरों को गलत उत्तरों से अलग करने के लिए पर्याप्त विस्तृत हैं, और क्या अनुसंधान में उपयोग किए गए उदाहरणों का छोटा सेट यह सिद्ध करने के लिए पर्याप्त है कि डेटा सभी संभावित सुधारों के बहुत बड़े ब्रह्मांड के लिए पर्याप्त है।

इसकी जांच करने के लिए, शोधकर्ता ने 2020 के एक सॉफ्टवेयर इंजीनियरिंग सम्मेलन के एक बड़े, सार्वजनिक रूप से उपलब्ध डेटा संग्रह का विश्लेषण किया। इस डेटासेट में दो अलग-अलग स्वचालित उपकरणों द्वारा उत्पन्न प्रोग्राम सुधारों के 1,762 रिकॉर्ड शामिल थे। प्रत्येक रिकॉर्ड में एक लेबल शामिल था जो यह बताता था कि सुधार सही था या गलत, और साथ ही दो अलग-अलग प्रकार के संख्यात्मक विवरण, या 'एविडेंस चैनल्स' (evidence channels), थे जिनका उपयोग कंप्यूटर सुधार को समझने के लिए करता है। शोधकर्ता ने इन सुधारों को उनके विवरणों के आधार पर समूहित करने के लिए एक कंप्यूटर प्रोग्राम लिखा। यदि दो सुधारों का विवरण बिल्कुल समान था, तो उन्हें एक ही बाल्टी (bucket) में रखा गया। प्रोग्राम ने हर बाल्टी की जाँच की कि क्या उसमें सही और गलत सुधारों का मिश्रण है। यदि एक बाल्टी में दोनों थे, तो इसका मतलब था कि साक्ष्य उन्हें अलग करने के लिए अपर्याप्त थे, जिससे किसी भी न्यायाधीश के लिए एक अंध बिंदु (blind spot) बन गया।

विश्लेषण ने दो प्रकार के साक्ष्यों के बीच एक स्पष्ट अंतर प्रकट किया। जब शोधकर्ता ने अकेले पहले प्रकार के विवरण को देखा, तो उन्होंने पाया कि नौ समूह ऐसे थे जिनमें सही और गलत सुधारों का भ्रमित करने वाला मिश्रण था। इन नौ समूहों में 43 पैच शामिल थे, जो सत्य और त्रुटि के बीच अंतर करने की क्षमता में एक छोटे लेकिन महत्वपूर्ण अंतर का प्रतिनिधित्व करते हैं। हालांकि, जब शोधकर्ता ने दूसरे प्रकार के विवरण की जांच की, या दोनों प्रकार की जानकारी को मिलाया, तो वे भ्रमित करने वाले समूह गायब हो गए। संयुक्त दृश्य में, प्रत्येक समूह में या तो केवल सही सुधार थे या केवल गलत सुधार थे। इसका अर्थ है कि दूसरे प्रकार के साक्ष्य, या दोनों का संयोजन, उस पूर्ण संरचनात्मक अलगाव को प्रदान करता था जिसका पहले प्रकार में अभाव था। यह अध्ययन सिद्ध करता है कि केवल एक बेहतर भविष्यवाणी मॉडल होना ही पर्याप्त नहीं है; डेटा को पहले परिणामों को अलग करने में सक्षम होना चाहिए।

शायद सबसे चौंकाने वाला निष्कर्ष यह है कि शोधकर्ता छोटे नमूना आकारों (sample sizes) द्वारा कितनी आसानी से गुमराह हो सकते हैं। अध्ययन ने गणना की कि इन सुधारों के एक छोटे, यादृच्छिक चयन की संभावना कितनी थी कि वह पूरी तरह से resolvable (समाधान योग्य) दिखाई देगा, भले ही पूरा संग्रह ऐसा न हो। केवल 100 सुधारों के एक नमूने के लिए, इसकी संभावना 91.29% थी कि यह ऐसा दिखेगा जैसे साक्ष्य पूर्ण हैं—अर्थात सभी भ्रमित करने वाले समूहों को छिपा रहा है। 400 सुधारों के एक नमूने के साथ भी, 34% संभावना थी कि भ्रम छिपा रहेगा। यह केवल तब हुआ जब नमूना आकार 800 तक पहुँच गया, जब समस्या को मिस करने की संभावना गिरकर 2.5% से नीचे आ गई। यह दर्शाता है कि एक शोधकर्ता आसानी से डेटा के एक छोटे सेट पर नए उपकरण का परीक्षण कर सकता है, यह पा सकता है कि यह पूरी तरह से काम करता है, और गलत निष्कर्ष निकाल सकता है कि साक्ष्य पर्याप्त है, जबकि सुधारों का बड़ा समूह अभी भी न पकड़े जा सकने वाले त्रुटियों से भरा हुआ है।

यह शोध पत्र यह दावा नहीं करता है कि ये निष्कर्ष स्वचालित मरम्मत की समस्या को हल करते हैं या विशिष्ट डेटासेट प्रत्येक संभावित सॉफ्टवेयर बग का प्रतिनिधित्व करता है। इसके बजाय, यह साक्ष्य की गुणवत्ता के ऑडिट करने का एक नया तरीका स्थापित करता है। यह दिखाता है कि इससे पहले कि हम पूछें कि क्या कंप्यूटर एक सुधार को परखने के लिए पर्याप्त स्मार्ट है, हमें यह पूछना चाहिए कि क्या उसे दी गई जानकारी निर्णय लेने के लिए पर्याप्त विस्तृत है। अध्ययन पुष्टि करता है कि अधिक प्रकार के साक्ष्य जोड़ने से उन संरचनात्मक संघर्षों को हल किया जा सकता है जिन्हें एकल प्रकार नहीं कर सकते, और यह चेतावनी देता है कि छोटे परीक्षण सेट सुरक्षा की एक झूठी भावना दे सकते हैं। भविष्यवाणी के प्रश्न को साक्ष्य समाधान के प्रश्न से अलग करके, यह शोध इस बात के मूल्यांकन के लिए एक स्पष्ट मार्ग प्रदान करता है कि स्वचालित उपकरण वास्तव में कोड को कितनी अच्छी तरह समझ सकते हैं जिसे वे ठीक करने की कोशिश कर रहे हैं।