Verifier Warnings Do Not Improve Comprehensibility Prediction
औपचारिक सत्यापनकर्ता (formal verifier) की चेतावनियों और कोड की सरलता के बीच एक ज्ञात सहसंबंध के बावजूद, यह अध्ययन प्रदर्शित करता है कि इन चेतावनियों के योग को एक विशेषता (feature) के रूप में जोड़ने से मानव-निर्णित कोड बोधगम्यता (comprehensibility) की भविष्यवाणी करने वाले मशीन लर्निंग मॉडलों के प्रदर्शन में महत्वपूर्ण सुधार नहीं होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
"ग्रामर चेकर" बनाम "रीडर" की समस्या
कल्पना कीजिए कि आप एक उपन्यास लिखने की कोशिश कर रहे हैं। आपके पास यह जांचने के दो अलग तरीके हैं कि आपकी किताब "अच्छी" है या नहीं और उसे पढ़ना कितना आसान है:
ग्रामर चेकर (द वेरीफायर - सत्यापनकर्ता): यह एक हाई-टेक सॉफ्टवेयर टूल है। इसे इस बात से कोई फर्क नहीं पड़ता कि आपकी कहानी आगे बढ़ रही है या पात्र कितने जुड़ाव वाले हैं; इसे केवल इस बात से मतलब है कि आपके वाक्य सख्त तार्किक नियमों का पालन करते हैं या नहीं। यह ऐसी चीजें बताता है जैसे: "आपने सेमीकोलन का गलत उपयोग किया है," या "इस वाक्य में कोई सब्जेक्ट (कर्ता) नहीं है।" यह तकनीकी त्रुटियों को ढूंढ रहा है।
मानवीय पाठक (द डेवलपर): यह एक व्यक्ति है जो सोफे पर बैठा है। उसे सेमीकोलन की परवाह नहीं है। उसे इस बात की परवाह है कि क्या वह ऊब रहा है, क्या प्लॉट भ्रमित करने वाला है, या क्या उसे यह समझने के लिए एक पन्ने को तीन बार फिर से पढ़ना पड़ रहा है कि आखिर हुआ क्या था।
पेपर का मुख्य विचार:
शोधकर्ताओं ने यह जानना चाहा कि: यदि हम एक ऐसा AI बनाना चाहते हैं जो यह अनुमान लगा सके कि कंप्यूटर कोड का कोई हिस्सा पढ़ना कितना "आसान" है, तो क्या हमें उस AI को "ग्रामर चेकर" की रिपोर्ट देनी चाहिए?
उन्होंने सोचा कि यदि "ग्रामर चेकर" (फॉर्मल वेरीफायर) बहुत सारे रेड फ्लैग्स (चेतावनी के संकेत) दिखाने लगता है, तो यह इस बात का संकेत है कि कोड उलझता जा रहा है और जटिल होता जा रहा है। यदि कोड मशीन के लिए उलझा हुआ है, तो वह इंसान के लिए भी उलझा हुआ ही होगा।
प्रयोग: "रेड फ्लैग्स" जोड़ना
शोधकर्ताओं ने मौजूदा AI मॉडल्स को लिया जो पहले से ही काफी अच्छे थे यह अनुमान लगाने में कि कोड पढ़ना कितना कठिन है। ये मॉडल "सिंटैक्टिक फीचर्स" (जैसे कि कोड कितना लंबा है) और "डेवलपर फीचर्स" (जैसे कि उसे लिखने वाले व्यक्ति का अनुभव कितना है) का उपयोग करते थे।
फिर उन्होंने एक प्रयोग चलाया:
- ग्रुप A (कंट्रोल ग्रुप): AI केवल लंबाई और डेवलपर के अनुभव को देखता है।
- ग्रुप B (ट्रीटमेंट ग्रुप): AI लंबाई, अनुभव, साथ ही सभी "ग्रामर चेकर" चेतावनियों की एक सूची को देखता है।
वे मूल रूप से यह पूछ रहे थे: "क्या यह जानना कि मशीन ने कितनी तकनीकी त्रुटियां पाईं, AI को यह बेहतर अनुमान लगाने में मदद करता है कि क्या एक इंसान को इसे पढ़ते समय सिरदर्द होगा?"
चौंकाने वाला परिणाम: इससे कोई मदद नहीं मिली
आप उम्मीद कर सकते हैं कि अधिक जानकारी से AI अधिक स्मार्ट हो जाएगा। लेकिन परिणामों ने दिखाया कि चेतावनियों को जोड़ने से वास्तव में AI को बेहतर अनुमान लगाने में कोई मदद नहीं मिली।
AI जो केवल लंबाई और डेवलपर को देखता था, वह उस AI के समान ही अच्छा था (और कभी-कभी उससे भी बेहतर) जिसके पास अतिरिक्त तकनीकी चेतावनियाँ थीं।
विज्ञान की दुनिया में, हम इसे "कोई महत्वपूर्ण अंतर नहीं" (no significant difference) कहते हैं। वह AI जो केवल लंबाई और डेवलपर को देखता था, उस AI के समान ही सक्षम था जिसके पास अतिरिक्त तकनीकी चेतवनियाँ थीं।
ऐसा क्यों हुआ? (रूपक/Metaphor)
इसे इस तरह सोचिए: कल्पना कीजिए कि आप यह अनुमान लगाने की कोशिश कर रहे हैं कि क्या कोई फिल्म दर्शकों के बीच "हिट" होगी।
- आप बजट देख सकते हैं (कोड का आकार)।
- आप निर्देशक की प्रतिष्ठा देख सकते हैं (डेवलपर का अनुभव)।
- आप एक तकनीकी रिपोर्ट भी देख सकते हैं जिसमें लिखा है, "सीन 4 में लाइटिंग थोड़ी खराब थी, और माइक्रोफोन में हल्की गूँज सुनाई दे रही थी।" (वेरीफायर चेतावनियाँ)।
शोधकर्ताओं ने पाया कि यह जानना कि माइक्रोफोन में गूँज थी, आपको यह अनुमान लगाने में मदद नहीं करता कि दर्शक फिल्म को पसंद करेंगे या नहीं। एक फिल्म की तकनीकी लाइटिंग और साउंड एकदम सटीक हो सकती है, फिर भी वह उबाऊ और भ्रमित करने वाली हो सकती है। इसके विपरीत, एक फिल्म में एक छोटी सी तकनीकी खामी हो सकती है और फिर भी वह एक उत्कृष्ट कृति (मास्टरपीस) हो सकती है।
"तकनीकी त्रुटियां" (चेतावनी) और "मानवीय समझ" (कॉम्प्रिहेन्सिबिलिटी) दो अलग-अलग भाषाएं हैं। मशीन के तकनीकी रेड फ्लैग्स उस "तर्क प्रवाह" (लॉजिक फ्लो) को नहीं पकड़ पाते जो एक इंसान को यह कहने पर मजबूर करता है, "आहा! मैं समझ गया!"
निचोड़ (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि यदि हम एक वास्तव में महान AI बनाना चाहते हैं जो हमें बता सके कि कोड पढ़ना कितना आसान है, तो हमें केवल "तकनीकी त्रुटियों" को देखना बंद करना होगा और कोड के काम करने के अधिक गहरे और "मानवीय" तरीकों को खोजने की शुरुआत करनी होगी—जैसे कि कोड के विभिन्न हिस्से एक-दूसरे से कैसे बात करते हैं, न कि केवल यह गिनना कि "ग्रामर चेकर" कितनी बार बीप हुआ।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।