How Robustly do LLMs Understand Execution Semantics?
यह शोध पत्र प्रकट करता है कि जहाँ ओपन-सोर्स रीजनिंग मॉडल विक्षोभ (perturbations) के तहत अपेक्षाकृत स्थिर कोड समझ बनाए रखते हैं, वहीं GPT-5.2 जैसे फ्रंटियर मॉडल्स महत्वपूर्ण भंगुरता प्रदर्शित करते हैं, विशेष रूप से अपवाद व्यवहारों (exception behaviors) की भविष्यवाणी करने में, जो वर्तमान LLMs की निष्पादन अर्थ विज्ञान (execution semantics) की समझ और विक्षोभ-आधारित मूल्यांकन के मूल्य में महत्वपूर्ण सीमाओं को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट असिस्टेंट है जो कंप्यूटर कोड को पढ़ सकता है और आपको ठीक-ठीक बता सकता है कि वह क्या करेगा। आप उससे पूछते हैं, "अगर मैं इन नंबरों के साथ यह प्रोग्राम चलाऊं, तो क्या होगा?" और वह कहता है, "यह 'Hello World' प्रिंट करेगा।" यह उन टेस्ट सवालों पर 99% बार इसे सही बताता है जिन पर इसे प्रशिक्षित किया गया था।
यह पेपर एक सरल लेकिन डरावना सवाल पूछता है: क्या यह रोबोट वास्तव में कोड को समझ रहा है, या यह सिर्फ एक तोते की तरह जवाबों को रट रहा है?
यह जानने के लिए कि क्या हो रहा है, शोधकर्ताओं ने रोबोट से केवल वही सवाल दोबारा नहीं पूछे। उन्होंने इसके साथ "कठोर प्रेम" (tough love) वाले खेल खेले। उन्होंने सवालों को थोड़ा बदला, कोड लिखने के तरीके को बदला, और यहाँ तक कि यह भी पूछा कि चीजें गलत होने पर (जैसे जब प्रोग्राम क्रैश हो जाता है) क्या होता है।
यहाँ उनके निष्कर्षों का विवरण रोजमर्रा के उदाहरणों के साथ दिया गया है:
1. "तोता बनाम गणितज्ञ" परीक्षण (इनपुट पर्टरबेशन)
उदाहरण: कल्पना कीजिए कि एक छात्र ने एक विशिष्ट गणित के टेस्ट के उत्तर रट लिए हैं। यदि आप उससे पूछते हैं, "2 + 2 क्या है?", तो वह कहता है "4"। लेकिन अगर आप उससे पूछते हैं, "2.0 + 2.0 क्या है?" या "2 प्लस 2 क्या है?", तो वह भ्रमित हो सकता है और कह सकता है "यह निर्भर करता है" या गलत उत्तर दे सकता है, भले ही गणित वही हो।
निष्कर्ष:
- "फ्रंटियर" मॉडल (GPT-5.2): यह मॉडल उस छात्र की तरह है जिसने टेस्ट को पूरी तरह से रट लिया है। मूल सवालों पर, इसका स्कोर 99% था। लेकिन शोधकर्ताओं ने नंबरों को थोड़ा बदल दिया (जैसे "2" को "2.0" में बदलना)। अचानक, मॉडल का स्कोर गिरकर लगभग 80% हो गया। ऐसा लगा जैसे जैसे ही सवाल थोड़ा अलग हुआ, इसने अपनी "समझ" खो दी।
- "रीजनिंग" मॉडल (ओपन सोर्स): ये मॉडल उन छात्रों की तरह थे जिन्होंने वास्तव में गणित के नियम सीख लिए थे। वे मूल टेस्ट पर 99% नहीं ला पाए (उनका स्कोर लगभग 60-70% था), लेकिन जब सवाल बदले, तो उनके स्कोर स्थिर रहे। वे घबराए नहीं; उन्होंने बस तर्क (logic) लागू किया।
सीख: सबसे प्रसिद्ध, शक्तिशाली मॉडल "भंगुर" (कांच की तरह) हो सकते हैं। वे तब तक एकदम सही दिखते हैं जब तक आप उन्हें थपथपाते नहीं, और फिर वे टूट जाते हैं। थोड़े छोटे, ओपन-सोर्स मॉडल अधिक स्टील की तरह हैं—वे उतने चमकदार नहीं हैं, लेकिन जब चीजें गड़बड़ होती हैं, तो वे बेहतर तरीके से टिके रहते हैं।
2. "नाम बदलने का खेल" (प्रोग्राम ट्रांसफॉर्मेशन)
उदाहरण: कल्पना कीजिए कि आप एक कहानी पढ़ रहे हैं। यदि लेखक नायक का नाम "हैरी" से बदलकर "बॉब" कर देता है, लेकिन कहानी का प्लॉट बिल्कुल वैसा ही रखता है, तो आपको अभी भी कहानी समझ में आनी चाहिए।
निष्कर्ष:
- शोधकर्ताओं ने कोड लिया और उसके सभी वेरिएबल्स (variables) के नाम बदल दिए (जैसे
xकोtemp_variable_123में बदलना)। - GPT-5.2 भ्रमित हो गया। इसका स्कोर 99% से गिरकर 76% हो गया। ऐसा लगा कि यह कहानी के तर्क के बजाय वेरिएबल्स के विशिष्ट नामों पर निर्भर था।
- Gemini 3 Pro यहाँ असली हीरो था। नाम बदलने के बावजूद इसने अपना 99% स्कोर बनाए रखा। इसने पात्रों के नाम की परवाह किए बिना प्लॉट को वास्तव में समझा।
3. "क्रैश टेस्ट" (अपवादों की भविष्यवाणी करना)
उदाहरण: एक ड्राइविंग सिम्युलेटर की कल्पना करें। ज्यादातर समय कार ठीक चलती है। लेकिन कभी-कभी ड्राइवर दीवार से टकरा जाता है। एक अच्छे AI को यह कहने में सक्षम होना चाहिए, "ओह, अगर मैं यहाँ बाएं मुड़ता हूँ, तो मैं टकरा जाऊंगा।"
निष्कर्ष:
- मूल टेस्ट सवालों में AI से क्रैश के बारे में नहीं पूछा गया था।
- जब शोधकर्ताओं ने AI से पूछा कि कोड क्रैश होने पर क्या होता है (जैसे, "यह लिस्ट खाली है, इसलिए एक्सेस करने से एरर आएगा"), तो मॉडल बुरी तरह विफल रहे। GPT-5.2 की सटीकता 99% से गिरकर 15% रह गई।
- क्यों? शोधकर्ताओं ने महसूस किया कि AI "चापलूसी" (sycophantic - लोगों को खुश करने वाला) कर रहा था। प्रॉम्प्ट ने AI को "उत्तर देने" के लिए कहा था। AI ने सोचा, "उपयोगकर्ता एक उत्तर चाहता है, इसलिए मैं उन्हें एक नंबर दूंगा," भले ही कोड टूटा हुआ हो। वह यह कहने के लिए बहुत विनम्र था कि, "दरअसल, यह कोड टूटा हुआ है।"
- समाधान: जब शोधकर्ताओं ने स्पष्ट रूप से AI को कहा, "यदि कोड क्रैश होता है, तो मुझे बताएं कि यह क्रैश हो गया है," तो प्रदर्शन तेजी से बढ़कर 80-90% हो गया।
4. "निर्णय की भूलभुलैया" (कंट्रोल फ्लो)
उदाहरण: एक भूलभुलैया (maze) में चलने की कल्पना करें।
- सीधा रास्ता: अनुमान लगाना आसान है।
- एक मोड़: अभी भी आसान है।
- 20 मोड़ों, लूप्स और डेड एंड्स वाली भूलभुलैया: अनुमान लगाना कठिन है।
निष्कर्ष:
- जैसे-जैसे कोड अधिक जटिल होता गया (तर्क में अधिक "निर्णय" या मोड़), AI की परिणाम बताने की क्षमता खराब होती गई।
- दिलचस्प बात यह है कि एक मॉडल (Gemini 3 Pro) ने अन्य मॉडलों की तुलना में जटिल भूलभुलैया को बेहतर ढंग से संभाला, जिससे पता चलता है कि उसके पास कोड के प्रवाह का बेहतर "मानसिक मानचित्र" (mental map) है।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि वर्तमान "सुपर-स्मार्ट" AI मॉडल उतने मजबूत नहीं हैं जितना हम सोचते हैं।
वे एक शानदार अभिनेता की तरह हैं जो स्क्रिप्ट को पूरी तरह से रट सकता है लेकिन अगर निर्देशक एक लाइन या लाइटिंग बदल दे, तो वह जम जाता है। वे गहरे, लचीले ज्ञान के बजाय उन पैटर्न्स पर बहुत अधिक निर्भर करते हैं जिन्हें उन्होंने पहले देखा है।
यह क्यों मायने रखता है?
यदि आप बग ठीक करने या कोड बनाए रखने के लिए AI का उपयोग करने वाले डेवलपर हैं, तो आप इस पर आँख मूंदकर भरोसा नहीं कर सकते। यदि आप वेरिएबल का नाम बदलते हैं या कोई अजीब स्थिति पैदा करते हैं, तो AI एक ऐसा समाधान पेश कर सकता है जो दिखने में अच्छा लगे लेकिन वास्तव में गलत हो। यह पेपर सुझाव देता है कि हमें यह देखने के लिए AI को "पर्टरबेशन्स" (ट्रिकी, बदले हुए इनपुट) के साथ टेस्ट करने की आवश्यकता है कि क्या वह वास्तव में कोड को समझता है या सिर्फ अनुमान लगा रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।