Are LLMs Reliable Code Reviewers? Systematic Overcorrection in Requirement Conformance Judgement
यह शोध पत्र प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स व्यवस्थित रूप से ओवरकरेक्ट करते हुए सही कोड को प्राकृतिक भाषा की आवश्यकताओं के अनुरूप न होने के रूप में गलत वर्गीकृत करते हैं, एक ऐसी त्रुटि जो विस्तृत प्रॉम्प्टिंग द्वारा और बढ़ जाती है, और स्वचालित कोड समीक्षा में इन विश्वसनीयता संबंधी समस्याओं को कम करने के लिए एक फिक्स-गाइडेड वेरिफिकेशन फ़िल्टर का प्रस्ताव देता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने कोड की समीक्षा करने के लिए एक बहुत ही बुद्धिमान, सुशिक्षित, लेकिन थोड़े शंकालु (paranoid) AI असिस्टेंट को काम पर रखा है। आप उसे एक रेसिपी (आवश्यकताएं) और एक डिश (कोड) देते हैं और पूछते हैं, "क्या यह डिश रेसिपी से मेल खाती है?"
आप उम्मीद करते हैं कि AI एक निष्पक्ष न्यायाधीश होगा। लेकिन यह शोध पत्र एक चौंकाने वाला सच उजागर करता है: AI वास्तव में एक "फॉल्स अलार्म मशीन" (झूठी चेतावनी देने वाली मशीन) है। यह गलतियाँ खोजने के लिए इतना उत्सुक है कि यह बार-बार बेहतरीन डिशों को भी खारिज कर देता है, यह दावा करते हुए कि वे जल गई हैं या कच्ची रह गई हैं, जबकि वे वास्तव में स्वादिष्ट होती हैं।
यहाँ सरल उपमाओं (analogies) का उपयोग करके शोध पत्र का विवरण दिया गया है:
1. समस्या: "शंकालु शेफ" (The Paranoid Chef)
शोधकर्ताओं ने कई शीर्ष स्तर के AI मॉडलों (जैसे GPT-4o, Claude और अन्य) का कोडिंग कार्यों के एक विशाल सेट पर परीक्षण किया। उन्होंने AI को दो प्रकार के कोड दिए:
- परफेक्ट डिश: वह कोड जो ठीक वैसा ही काम करता है जैसा रेसिपी कहती है।
- बर्न्ट डिश (जली हुई डिश): वह कोड जिसमें स्पष्ट बग्स (गलतियाँ) हैं।
परिणाम: AI दोनों के बीच अंतर करने में आश्चर्यजनक रूप से खराब था।
- बड़ी गलती: AI अक्सर परफेक्ट डिश को "NO" कहता था। उसने सही कोड को खारिज कर दिया, और यह बताने के लिए मनगढ़ंत कारण बनाए कि वह क्यों काम नहीं कर रहा है। इसे ओवर-करेक्शन (अति-सुधार) कहा जाता है।
- आश्चर्य: शोधकर्ताओं को लगा कि यदि वे AI से "अपने तर्क की व्याख्या करने" या "सुधार का सुझाव देने" के लिए कहेंगे, तो वह अधिक स्मार्ट हो जाएगा। इसके बजाय, वह और भी खराब हो गया। निर्देश जितने विस्तृत होते गए, AI उतना ही अधिक शंकालु होता गया। उसने उन समस्याओं को गढ़ा जो अस्तित्व में ही नहीं थीं, जैसे कि यह दावा करना कि केक बहुत मीठा है क्योंकि रेसिपी में स्पष्ट रूप से "चीनी डालें" नहीं लिखा था।
2. यह क्यों होता है? ("काल्पनिक नियम")
शोध पत्र में पाया गया कि जब AI किसी सही कोड को खारिज करता है, तो वह आमतौर पर चार प्रकार की फर्जी समस्याएँ बनाता है:
- "घोस्ट कंस्ट्रेंट" (भूतिया प्रतिबंध): AI एक ऐसा नियम बना लेता है जो रेसिपी में नहीं था (उदाहरण के लिए, "रेसिपी में धातु के चम्मच का उपयोग करने के लिए नहीं कहा गया था, इसलिए यह लकड़ी का चम्मच गलत है")।
- "एज केस" (चरम स्थिति) का जुनून: AI उन परिदृश्यों के बारे में चिंता करता है जो कभी घटित नहीं होंगे (उदाहरण के लिए, "क्या होगा अगर उपयोगकर्ता नकारात्मक संख्या टाइप करता है? रेसिपी में इसे संभालने के लिए नहीं कहा गया था!")।
- "लॉजिक" का भ्रम: AI बिना गणित किए दावा करता है कि गणित गलत है।
- "बाउंड्री" (सीमा) की भूल: वह इस बात पर भ्रमित हो जाता है कि संख्या "कम है" या "कम या बराबर है"।
उपमा: एक क्लब के सुरक्षा गार्ड की कल्पना करें जो इतना सख्त है कि वह वैध टिकट वाले लोगों को प्रवेश देने से मना कर देता है क्योंकि उन्होंने "गलत रंग की नीली शर्ट" पहनी है या क्योंकि वे एक विशिष्ट प्रकार का आईडी साथ नहीं लाए जो बाउंसर ने कल्पना की थी कि आवश्यक है।
3. "एक्सप्लेनेशन ट्रैप" (व्याख्या का जाल)
सामान्य ज्ञान कहता है कि यदि आप किसी से पूछें कि उन्होंने कोई निर्णय क्यों लिया, तो वे अधिक गहराई से सोचेंगे और अधिक सटीक होंगे।
- वास्तविकता: इन AI मॉडलों के लिए, व्याख्या मांगना एक घबराए हुए छात्र से परीक्षा में अपने उत्तर का औचित्य सिद्ध करने के लिए कहने जैसा है। वे अधिक सोचने लगते हैं, और अपनी शुरुआती (गलत) अंतर्दृष्टि का समर्थन करने के लिए जटिल कारण गढ़ने लगते हैं।
- विरोधाभास: कभी-कभी, AI कहता है "NO" (कोड को खारिज करता है), लेकिन उसका लिखित स्पष्टीकरण वास्तव में कहता है, "यह कोड ठीक लग रहा है, लेकिन फिर भी मैं इसे खारिज कर रहा हूँ।" AI खुद को अधिकारपूर्ण दिखाने के लिए खुद से झूठ बोल रहा है।
4. समाधान: "टेस्ट ऑफ टेस्ट" फ़िल्टर (The Taste Test Filter)
चूंकि AI कोड के बारे में बात करने में बुरा है, इसलिए शोधकर्ताओं ने एक समाधान प्रस्तावित किया जो AI को केवल अनुमान लगाने से रोकता है और उसे सिद्ध करने के लिए मजबूर करता है।
उन्होंने एक "फिक्स-गाइडेड वेरिफिकेशन फ़िल्टर" बनाया। यह कैसे काम करता है:
- AI खारिज करता है: AI कहता है, "यह कोड खराब है," और एक "फिक्स" (एक पैच) का सुझाव देता है।
- रियलिटी चेक (वास्तविकता की जाँच): सिस्टम AI के शब्दों पर भरोसा करने के बजाय, मूल कोड और AI के फिक्स को एक वास्तविक कंप्यूटर टेस्ट (जैसे स्वाद परीक्षण) के माध्यम से चलाता है।
- निर्णय:
- यदि मूल कोड टेस्ट पास कर लेता है, लेकिन AI का फिक्स उसे तोड़ देता है (या बिल्कुल वही चीज़ करता है), तो सिस्टम जान जाता है कि AI गलत था। वह AI को अनदेखा करता है और कहता है, "वास्तव में, कोड ठीक है।"
- यदि मूल कोड फेल हो जाता है और फिक्स पास हो जाता है, तो AI सही था।
उपमा: एक खाद्य आलोचक की कल्पना करें जो कहता है, "यह सूप बहुत नमकीन है।" उसके शब्दों पर विश्वास करने के बजाय, आप उसे एक चम्मच थमाते हैं। यदि वह स्वाद लेकर यह साबित नहीं कर पाता कि यह नमकीन है, या यदि उसका "फिक्स" (पानी डालना) सूप को खराब कर देता है, तो आप उसकी समीक्षा को अनदेखा कर देते हैं। आप वास्तविक स्वाद (टेस्ट के परिणाम) को अंतिम निर्णायक बनने देते हैं।
5. निष्कर्ष (The Takeaway)
- AI की राय पर आँख मूंदकर भरोसा न करें: बिना टेस्ट चलाए कोड की समीक्षा करते समय सबसे स्मार्ट AI मॉडल भी "शंकालु" होने के प्रति प्रवृत्त होते हैं।
- अधिक शब्द बेहतर उत्तर: लंबे स्पष्टीकरण मांगना अक्सर AI को उसकी गलतियों में अधिक आत्मविश्वासी बना देता है।
- कोड चलाकर देखें: सुनिश्चित करने का एकमात्र तरीका वास्तव में कोड (या AI द्वारा प्रस्तावित फिक्स) को चलाना है ताकि देखा जा सके कि वह काम करता है या नहीं।
संक्षेप में: AI एक बेहतरीन "विचार जनरेटर" है, लेकिन एक बुरा "अंतिम न्यायाधीश" है। इसे सुरक्षित रूप से उपयोग करने के लिए, हमें इसके सुझावों को ऐसे परिकल्पनाओं (hypotheses) के रूप में मानना चाहिए जिन्हें केवल उसके आत्मविश्वास भरे स्पष्टीकरणों को पढ़ने से नहीं, बल्कि कोड चलाकर सिद्ध किया जाना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।