Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions
यह अध्ययन प्रकट करता है कि प्रोग्रामर एआई-जनित गलत दावों का मूल्यांकन करते समय अत्यधिक आत्मविश्वासी होने के साथ-साथ गलत भी होते हैं, एक ऐसी समस्या जो प्राकृतिक-भाषा स्पष्टीकरणों द्वारा कम नहीं होती है—बल्कि और भी बढ़ सकती है—जो यह सुझाव देती है कि वर्तमान एआई उपकरण कोड की समझ या समीक्षा को विश्वसनीय रूप से बढ़ाने में सक्षम नहीं हो सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-टेक शहर में एक जूनियर डिटेक्टिव हैं जहाँ एक सुपर-स्मार्ट रोबोट असिस्टेंट (एक AI) अपराध सुलझाने में आपकी मदद कर रहा है। रोबोट केवल अपराध की कहानी ही नहीं लिखता; वह एक "नियम पुस्तिका" भी लिखता है कि क्या होना चाहिए था, जिसे असर्शन (assertion) कहा जाता है। आपका काम रोबोट की इस नियम पुस्तिका को देखना और यह कहना है, "हाँ, यह कहानी से मेल खाता है," या "ओह, यह गलत है!"
आप सोच सकते हैं कि अगर रोबोट अपनी नियम पुस्तिका को सरल अंग्रेजी में समझाए तो आपका काम बहुत आसान हो जाएगा, है ना? जैसे कोई दोस्ताना गाइड आपके कान में फुसफुसा रहा हो, "हे, यहाँ देखो!"
खैर, शोधकर्ताओं की एक टीम ने 86 वास्तविक जीवन के प्रोग्रामर्स (हमारे डिटेक्टिव्स) को यह देखने के लिए टेस्ट किया कि वे इसमें कितने अच्छे हैं। उन्होंने पाया कि जब AI शामिल होता है, तो हमारा दिमाग कैसे काम करता है, इसके बारे में कुछ आश्चर्यजनक, लगभग मज़ेदार सच सामने आए।
"यस-मैन" वाली समस्या
यहाँ एक बड़ी खोज हुई है: हमारे डिटेक्टिव्स यह पकड़ने में बहुत अच्छे हैं कि रोबोट कब सही होता है, लेकिन वे यह पकड़ने में बहुत बुरे हैं कि रोबमंद कब गलत होता है।
जब रोबोट ने एक सही नियम पुस्तिका लिखी, तो प्रोग्रामर्स लगभग 74% बार सही थे। लेकिन जब रोबोट ने एक गलत नियम पुस्तिका लिखी, तो प्रोग्रामर्स केवल 49% बार ही गलती पकड़ पाए। यह तो सिक्का उछालने से भी थोड़ा ही बेहतर है!
यहाँ तक कि अजीब बात तो यह है कि डिटेक्टिव्स अपने गलत जवाबों के बारे में भी उतने ही आश्वस्त महसूस करते थे जितने अपने सही जवाबों के बारे में। चाहे वे सही थे या गलत, उन्होंने अपनी कॉन्फिडेंस रेटिंग 5 में से 4 दी। यह बिल्कुल वैसा ही है जैसे कोई छात्र गणित के सवाल में 100% पक्का हो, भले ही उसका जवाब गलत हो। शोधकर्ताओं ने पाया कि यह अंतर सांख्यिकीय रूप से महत्वपूर्ण (statistically significant) था (यानी यह केवल एक इत्तेफाक नहीं था), क्योंकि सही नियम पुस्तिका को पहचानने की संभावना गलत को पकड़ने की तुलना में लगभग तीन गुना अधिक थी।
"भ्रमित करने वाला गाइड" वाला जाल
अब, रोबोट के स्पष्टीकरणों (explanations) के बारे में बात करते हैं। शोधकर्ताओं ने सोचा, "शायद अगर रोबोट यह समझाए कि उसने नियम क्यों लिखा, तो डिटेक्टिव्स बेहतर प्रदर्शन करेंगे।" उन्होंने प्रोग्रामर्स को चार प्रकार के स्पष्टीकरण दिए:
- परफेक्ट (Perfect): स्पष्टीकरण नियम पुस्तिका से पूरी तरह मेल खाता है।
- बहुत ज्यादा बारीक (Too Picky): स्पष्टीकरण में ऐसे अतिरिक्त नियम जोड़ दिए गए जो नियम पुस्तिका में नहीं थे।
- बहुत अस्पष्ट (Too Vague): स्पष्टीकरण महत्वपूर्ण नियमों को छोड़ देता है।
- पूरी तरह गलत (Totally Wrong): स्पष्टीकरण कुछ बिल्कुल अलग कहता है।
परिणाम? स्पष्टीकरणों ने बिल्कुल भी मदद नहीं की। वास्तव में, उन्होंने चीज़ों को और भी खराब कर दिया।
जब स्पष्टीकरण बहुत अस्पष्ट (under-specified) था, तो प्रोग्रामर्स वास्तव में बिना किसी स्पष्टीकरण के मुकाबले कम सटीक हो गए। लेकिन असली बात यह है कि उन अस्पष्ट स्पष्टीकरणों ने प्रोग्रामर्स को अधिक आश्वस्त बना दिया (उन्होंने बिना नोट के 3.99/5 की तुलना में 4.25/5 की रेटिंग दी)। यह बिल्कुल वैसा ही है जैसे कोई टूर गाइड आपको एक धुंधला, आधा-सच वाला नक्शा दे जिससे आपको लगता है कि आप शहर को पूरी तरह जानते हैं, भले ही आप गोल-गोल घूम रहे हों। शोधकर्ता सुझाव देते हैं कि ये खराब स्पष्टीकरण आपके सोचने की प्रक्रिया में मदद करने के बजाय, आपके विचारों में बाधा डाल सकते हैं।
डिटेक्टिव्स ने इसे कैसे सुलझाया (और कैसे असफल हुए)
यह समझने के लिए कि यह क्यों हुआ, शोधकर्ताओं ने 10 प्रोग्रामर्स का साक्षात्कार लिया जबकि वे ज़ोर से बोलकर पहेलियाँ सुलझा रहे थे ("थिंक-अलाउड" अध्ययन)। उन्होंने पाया कि अधिकांश डिटेक्टिव्स एक "टॉप-डाउन" दृष्टिकोण अपनाते थे: वे पहले रोबोट का अंग्रेजी स्पष्टीकरण पढ़ते थे, फिर कोड की जाँच करते थे।
उन्होंने पाँच मुख्य तरकीबों का उपयोग किया:
- क्लॉज कंपैरिजन (Clause Comparison): यह देखना कि शब्दों में नियम कोड से मेल खाते हैं या नहीं।
- लॉजिक वॉक-थ्रू (Logic Walk-through): दिमाग में चरणों का पीछा करना।
- पॉजिटिव उदाहरण (Positive Examples): एक "अच्छा" उदाहरण आज़माना कि क्या वह काम करता है।
- नेगेटिव उदाहरण (Negative Examples): एक "बुरा" उदाहरण आज़माना कि क्या वह नियम को तोड़ देता है।
- इंट्यूशन (Intuition): केवल "अंतर्ज्ञान" या "गट फीलिंग" के आधार पर अनुमान लगाना।
अध्ययन में पाया गया कि जब नियम पुस्तिका को शब्द-दर-शब्द जांचना आसान था (क्लॉज कंपैरिजन), तो डिटेक्टिव्स बहुत बेहतर प्रदर्शन करते थे। लेकिन जब वे अंतर्ज्ञान (intuition) पर निर्भर थे, तो वे सही होने के बजाय गलत अधिक होते थे (12 में से 7 बार)। साथ ही, एक गलत नियम पुस्तिका को पकड़ने में काफी अधिक समय लगा (लगभग 123 सेकंड), जबकि एक गलत नियम को सही मान लेने में कम समय लगा (लगभग 97 सेकंड)। ऐसा लगता है कि हमारा दिमाग आलसी है; गलती खोजने के बजाय सिर हिलाकर सहमति देना आसान है।
भविष्य के लिए इसका क्या अर्थ है
शोधकर्ता सुझाव देते हैं कि हम केवल इस उम्मीद में AI पर भरोसा नहीं कर सकते कि वह ये नियम लिखेगा और हम आसानी से गलतियों को पकड़ लेंगे। हम AI की गलतियों को पकड़ने में आश्चर्यजनक रूप से खराब हैं, और खराब स्पष्टीकरण हमें अपनी गलतियों के बारे में बहुत अधिक आत्मविश्वासी बना सकते हैं।
उन्होंने यह भी पाया कि हालांकि हमें तार्किक त्रुटियों (logical errors) को खोजने में संघर्ष करना पड़ता है, लेकिन हम एक "मजबूत" और "कमजोर" नियम पुस्तिका के बीच अंतर कर सकते हैं। यदि कोई नियम पुस्तिका अधिक संभावित बग्स को पकड़ती है, तो हम उसे अधिक पूर्ण मानते हैं, भले ही हम विशिष्ट लॉजिक एरर को न पहचान पाएं।
इसलिए, अगली बार जब आपका AI असिस्टेंट आपके लिए कोई नियम लिखे, तो बस सिर हिलाकर "बहुत अच्छा काम किया!" न कहें। शोधकर्ता चेतावनी देते हैं कि आप गलतियों को नज़रअंदाज़ कर सकते हैं, और एक भ्रमित करने वाला स्पष्टीकरण आपको यह महसूस करा सकता है कि आप इसके बारे में बहुत आश्वस्त हैं। असली चुनौती केवल नियम बनाना नहीं है; बल्कि यह है कि इंसानों को वास्तव में उन्हें सत्यापित (verify) करने में कैसे मदद की जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।