Articulate but Wrong: Self-Review Failures in LLM-Based Code Modernization
यह शोध पत्र प्रदर्शित करता है कि LLM-आधारित कोड आधुनिकीकरण अक्सर ऐसे मौन व्यवहारिक विचलन (silent behavioral drifts) उत्पन्न करता जिन्हें मॉडल स्वयं विश्वसनीय रूप से पहचान या सुधार नहीं सकते, जो यह दर्शाता है कि यह विफलता मोड मॉडल के पैमाने या क्षमता पर निर्भर होने के बजाय कार्य-संरचनात्मक (task-structural) है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही स्पष्ट बोलने वाले, आत्मविश्वासी वास्तुकार (architect) को एक पुराने, चरमराते हुए घर (लेगेसी कोड) को एक आधुनिक, शानदार घर में बदलने के लिए काम पर रखा है। आप उनसे यह काम करने को कहते हैं, और फिर, पैसे बचाने के लिए, आप उसी वास्तुकार से अपने ही ब्लूप्रिंट को देखने और यह कहने को कहते हैं, "क्या मैंने अनजाने में घर के काम करने के तरीके को बदल दिया है?"
यह शोध पत्र एक सरल लेकिन डरावना सवाल पूछता है: क्या हम वास्तुकार पर अपनी ही खामोश गलतियों को पकड़ने के लिए भरोसा कर सकते हैं?
शोधकर्ताओं ने पाया कि हालांकि ये AI "वास्तुकार" घर को नया दिखाने में माहिर हैं, लेकिन वे यह नोटिस करने में आश्चर्यजनक रूप से खराब हैं कि उन्होंने चुपचाप प्लंबिंग या बिजली की वायरिंग को इस तरह बदल दिया है जिससे आग तो नहीं लगी, लेकिन घर के व्यवहार में बदलाव आ गया है।
यहाँ उनके निष्कर्षों का रोजमर्रा के उदाहरणों के माध्यम से विवरण दिया गया है:
1. "साइलेंट ड्रिफ्ट" (खामोश बदलाव) की समस्या
जब AI पुराने कोड को अपडेट करने की कोशिश करता है, तो कभी-कभी वह एक ऐसा बदलाव करता है जो दिखने में एकदम सही लगता है। कोड चलता है, क्रैश नहीं होता, और सही दिखता है। लेकिन पर्दे के पीछे, संख्याएँ थोड़ी अलग निकलती हैं।
- उदाहरण: कल्पना कीजिए कि पुराने घर में एक नियम था कि "रोटी का आधा हिस्सा" का मतलब था उसे आधा काटना और आपको पूरा आधा हिस्सा देना। नया घर नियम बदल देता है जहाँ "आधा हिस्सा" का मतलब है आपको केवल एक छोटा सा टुकड़ा देना। घर अभी भी खड़ा है, और रोटी भी वहीं है, लेकिन जो मात्रा आपको मिली, वह गलत है।
- निष्कर्ष: शोधकर्ताओं ने 60 विशिष्ट कठिन परिदृश्यों का परीक्षण किया। जब AI को वास्तविक, जटिल अपडेट करने थे, तो उसने ऐसी खामोश गलतियाँ 40% समय कीं। जब उन्होंने AI को आसान कार्य दिए जिनमें वास्तव में बदलाव की आवश्यकता नहीं थी, तो उसने केवल 7% समय गलतियाँ कीं। यह साबित करता है कि AI केवल लापरवाह नहीं है; वह विशेष रूप से अपडेट के तर्क (logic) के साथ संघर्ष कर रहा है।
2. "अंकगणित का जाल" (Arithmetic Trap)
इन गलतियों का सबसे बड़ा कारण यह है कि AI संख्याओं को कैसे संभालता है।
- उदाहरण: पुराने घर (Python 2) में, यदि आप 2 लोगों के बीच 5 कुकीज़ बांटते हैं, तो आपको 2 कुकीज़ प्रत्येक को मिलती हैं (अतिरिक्त आधा हिस्सा फेंक दिया जाता है)। नए घर (Python 3) में, आपको 2.5 कुकीज़ मिलती हैं।
- निष्कर्ष: AI अक्सर इस नियम को भूल जाता है। वह कोड को अपडेट करता है लेकिन "आधा हिस्सा फेंक देने" वाला तर्क बनाए रखता है, या इसके विपरीत। यह विशिष्ट गणितीय त्रुटि कठिन मामलों में 57% बार हुई। यह ऐसा है जैसे AI दीवारों को पेंट करना तो जानता है लेकिन ईंटों को गिनना भूल गया है।
3. "आत्मविश्वासी झूठा" (Self-Review Failure)
यह सबसे चौंकाने वाला हिस्सा है। नवीनीकरण पूरा होने के बाद, शोधकर्ताओं ने AI से पूछा: "क्या आपने घर के काम करने के तरीके को बदल दिया है?"
- उदाहरण: AI अपने ही ब्लूप्रिंट को देखता है, टूटी हुई प्लंबिंग को देखता है, और कहता है, "हाँ, मैंने इसे बदला है, लेकिन चिंता न करें, यह ठीक है!" या इससे भी बुरा, वह टूटी हुई प्लंबिंग को देखता है, विस्तार से समझाता है कि यह क्यों टूटी है, और फिर निष्कर्ष निकालता है, "इसलिए, घर एकदम सही है।"
- निष्कर्ष: जब AI ने वास्तव में एक खामोश गलती की थी, तो वह 32% समय खुद को पकड़ने में विफल रहा। उसने आत्मविश्वास के साथ अपने ही गलत काम का समर्थन किया।
- कुछ मॉडल एक संदिग्ध निरीक्षक (paranoid inspector) की तरह थे जो हर एक गलती को पकड़ लेते थे (0% विफलता)।
- अन्य मॉडल एक आत्मविश्वासी झूठे की तरह थे जो हर एक गलती को छोड़ देते थे (100% विफलता)।
- महत्वपूर्ण रूप से, "सबसे अच्छे" या महंगे मॉडल वे नहीं थे जिन्होंने अपनी गलतियों को बेहतर तरीके से पकड़ा। एक सस्ता मॉडल कभी-कभी अपने दोषों को पहचानने में महंगे मॉडल से बेहतर प्रदर्शन करता था।
4. "जादुई दर्पण" काम नहीं करता
शोधकर्ताओं ने परीक्षण किया कि क्या AI को अपना "सुरक्षा जाल" (safety net) बनाने के लिए कहना काम करता है।
- उदाहरण: आप सोच सकते हैं, "यदि मैं वास्तुकार को अपना काम दोबारा जांचने के लिए कहता हूँ, तो वह उसे ठीक कर देगा।"
- निष्कर्ष: नहीं। "स्व-जांच" (self-check) एक विश्वसनीय सुरक्षा जाल नहीं है। AI अपनी बातों से खुद को बचाने में बहुत माहिर है। वह पुराने और नए नियमों के बीच के अंतर को समझाने के लिए एक पैराग्राफ लिख सकता है, और फिर तुरंत निष्कर्ष निकाल सकता है कि नियम समान हैं। यह एक ऐसे छात्र की तरह है जो एक बेहतरीन निबंध लिखता है कि क्यों 2+2=5 होता है, और फिर मुस्कुराते हुए उत्तर "5" पर गोला लगा देता है।
5. यह AI के "स्मार्ट" होने के बारे में नहीं है
आप मान सकते हैं कि सबसे शक्तिशाली, महंगे AI मॉडल कम गलतियाँ करेंगे और उन्हें बेहतर तरीके से पकड़ेंगे।
- उदाहरण: आप सोचेंगे कि एक "जूनियर आर्किटेक्ट" के बजाय "मास्टर आर्किटेक्ट" को काम पर रखना अधिक सुरक्षित होगा।
- निष्कर्ष: अध्ययन में पाया गया कि AI की कीमत और उसकी विश्वसनीयता के बीच कोई स्पष्ट संबंध नहीं है। सबसे महंगे मॉडल भी उतने ही खामोश गलतियाँ करते थे जितने सस्ते मॉडल। समस्या यह नहीं है कि AI पर्याप्त "स्मार्ट" नहीं है; बल्कि यह है कि कोड को अपडेट करने के कार्य में एक विशिष्ट संरचनात्मक जाल है जो सभी को भ्रमित कर देता है, चाहे उनकी कीमत कितनी भी क्यों न हो।
मुख्य निष्कर्ष (The Bottom Line)
यदि आप पुराने सॉफ़्टवेयर को अपडेट करने के लिए AI का उपयोग कर रहे हैं, तो AI पर अपने काम की जांच करने के लिए भरोसा न करें।
शोध पत्र निष्कर्ष निकालता है कि AI से पूछना, "क्या मैंने कुछ बिगाड़ा है?" एक जादूगर से पूछने जैसा है, "क्या मैंने खरगोश को गायब कर दिया?" जादूगर कहेगा "हाँ", भले ही खरगोश अभी भी वहीं हो, या भले ही उसने गलती से खरगोश को कबूतर में बदल दिया हो।
सुरक्षित रहने के लिए, आपको एक बाहरी "ओरेकल" (एक सख्त, स्वचालित परीक्षण) की आवश्यकता है जो मूल नियमों के विरुद्ध आउटपुट की जांच करे, न कि AI की अपनी राय पर निर्भर रहे। AI स्पष्ट बोलने वाला है, लेकिन इस विशिष्ट कार्य में, वह खतरनाक रूप से गलत भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।