Are Large Language Models Robust in Understanding Code Against Semantics-Preserving Mutations?
यह शोध पत्र यह प्रकट करता है कि जहाँ अत्याधुनिक लार्ज लैंग्वेज मॉडल्स (Large Language Models) कोड कार्यों पर उच्च पूर्वानुमान सटीकता प्राप्त करते हैं, वहीं वे अक्सर त्रुटिपूर्ण तर्क पर निर्भर रहते हैं और महत्वपूर्ण भंगुरता प्रदर्शित करते हैं, जो अक्सर अर्थ-संरक्षण करने वाले कोड उत्परिवर्तनों (semantics-preserving code mutations) का सामना करने पर अपने पूर्वानुमानों को बदल देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली छात्र है जो जटिल गणित की समस्याओं को हल कर सकता है और ऐसे निबंध लिख सकता है जो अविश्वसनीय रूप से बुद्धिमान लगते हैं। आप उनसे पूछते हैं कि उन्होंने समस्या को कैसे हल किया, और वे एक सटीक, चरण-दर-चरण कहानी देते हैं। आपको विश्वास हो जाता है कि वे वास्तव में सामग्री को समझते हैं।
लेकिन क्या होगा अगर आप उसी छात्र से कहें, "ठीक है, अब वही समस्या हल करो, लेकिन 'apple' शब्द के बजाय 'fruit' शब्द का उपयोग करो, और 'add' कहने के बजाय 'sum up' कहो?"
यदि वह छात्र अचानक भ्रमित हो जाता है, अपना उत्तर बदल देता है, या पूरी तरह से अलग (और गलत) स्पष्टीकरण देता है, तो आपको एहसास हो जाएगा कि वे वास्तवं में गणित के तर्क (logic) को नहीं समझ रहे थे। वे केवल उपयोग किए गए विशिष्ट शब्दों और पैटर्न को याद कर रहे थे।
यह बिल्कुल वही है जो ऑक्सफोर्ड यूनिवर्सिटी के शोधकर्ताओं ने तब पाया जब उन्होंने कंप्यूटर कोड को समझने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) से सवाल पूछे।
"वाइब कोडिंग" का जाल (The "Vibe Coding" Trap)
आज, कई लोग एआई टूल्स का उपयोग कोड लिखने के लिए कर रहे हैं, जिसे "वाइब कोडिंग" कहा जाता है। हम इन एआई मॉडल्स पर बग्स को ठीक करने और प्रोग्राम लिखने के लिए भरोसा करते हैं। लेकिन शोधकर्ताओं ने एक डरावना सवाल पूछा: क्या ये एआई मॉडल वास्तव में समझते हैं कि कोड कैसे काम करता है, या वे केवल पैटर्न के आधार पर अनुमान लगाने में बहुत अच्छे हैं?
यह पता लगाने के लिए, उन्होंने एआई के साथ एक छात्र की तरह व्यवहार किया जो परीक्षा दे रहा है, लेकिन एक ट्विस्ट के साथ।
"शेप-शिफ्टिंग" टेस्ट (The "Shape-Shifting" Test)
शोधकर्ताओं ने बहुत सारे कंप्यूटर प्रोग्राम लिए और उन पर पांच विशिष्ट "जादुई करतब" (magic tricks) किए। इन करतबों ने कोड के दिखने के तरीके (syntax) को बदल दिया लेकिन उसका अर्थ (semantics) और परिणाम बिल्कुल वैसा ही रखा। यह एक वाक्य लेने जैसा है, जैसे, "The cat sat on the mat," और इसे बदलकर लिखना, "On the mat, the feline rested." अर्थ समान है, लेकिन शब्द अलग हैं।
उनके द्वारा उपयोग किए गए पांच करतब थे:
- वेरिएबल का नाम बदलना (Renaming Variables):
my_listकोx9z2में बदलना। - तुलना को उलटना (Mirroring Comparisons):
if x > 5कोif 5 < xमें बदलना। - लॉजिक को बदलना (Swapping Logic): निर्णय के "if" और "else" वाले हिस्सों को आपस में बदलना।
- लूप रूपांतरण (Loop Conversion): एक "for" लूप को "while" लूप में बदलना।
- लूप अनरोलिंग (Loop Unrolling): कंप्यूटर को दोहराने देने के बजाय लूप के अंतिम कुछ चरणों को मैन्युअल रूप से लिखना।
परिणाम: स्मार्ट गेसर्स, असली विचारक नहीं (The Results: Smart Guessers, Not True Thinkers)
जब शोधकर्ताओं ने इन परीक्षणों को नौ अलग-अलग एआई मॉडल्स (GPT-5.2 और Gemini-3 जैसे सबसे प्रसिद्ध मॉडल्स सहित) पर चलाया, तो उन्हें कुछ परेशान करने वाले पैटर्न मिले:
- "दोषपूर्ण तर्क" की समस्या (The "Flawed Reasoning" Problem): भले ही एआई सही उत्तर प्राप्त कर लेता था, लेकिन अक्सर वह गलत कारणों से ऐसा करता था। वास्तव में, 10% से 50% समय में, एआई एक पूरी तरह से टूटे हुए या बेतुके स्पष्टीकरण के आधार पर सही उत्तर देता था। यह एक छात्र के अनुमान लगाने जैसा था जो गणित की परीक्षा में सही उत्तर तो लिख देता है लेकिन उसे सही ठहराने के लिए एक मनगढ़ंत फॉर्मूला लिख देता है।
- "नाजुकता" की समस्या (The "Fragile" Problem): जब कोड को ऊपर दिए गए तरीकों से "शेप-शिफ्ट" किया गया, तो एआई का प्रदर्शन गिर गया। कुछ मॉडल्स की सटीकता 70% तक कम हो गई।
- उपमा (Analogy): कल्पना कीजिए कि एक शेफ है जो मांस को पूरी तरह से पका सकता है यदि आप कहें "बीफ पकाओ।" लेकिन यदि आप कहें "गाय पकाओ," तो वह घबरा जाता है और रसोई जला देता है। एआई मॉडल उस शेफ की तरह हैं; वे शब्दों में मामूली बदलाव से भ्रमित हो जाते हैं, भले ही "भोजन" (प्रोग्राम का परिणाम) बिल्कुल वही हो।
- "वेरिएबल नेम" के प्रति संवेदनशीलता (The "Variable Name" Sensitivity): मॉडल वेरिएबल के नामों के प्रति आश्चर्यजनक रूप से संवेदनशील थे। नाम को
totalसे बदलकरsum_totalकरने से वे अक्सर विफल हो जाते थे, भले ही कोड का लॉजिक समान था। दिलचस्प बात यह है कि इंसान भी खराब नामकरण से थोड़े भ्रमित हो जाते हैं, लेकिन एआई की प्रतिक्रिया बहुत अधिक चरम थी।
"टॉप स्टूडेंट्स" भी परफेक्ट नहीं हैं (The "Top Students" Aren't Perfect Either)
शोधकर्ताओं ने मुफ्त, ओपन-सोर्स मॉडल्स और महंगे, प्राइवेट मॉडल्स (जैसे GPT-5.2 और Gemini-3) दोनों का परीक्षण किया।
- महंगे मॉडल्स मूल कोड पर सही उत्तर देने और अच्छे स्पष्टीकरण देने में सबसे बेहतर थे।
- हालाँकि, जब कोड को थोड़ा सा बदला गया, तो ये "टॉप स्टूडेंट्स" भी बुरी तरह लड़खड़ा गए। उनका प्रदर्शन काफी गिर गया, जो यह साबित करता है कि उच्च सटीकता का मतलब यह नहीं है कि वे अंतर्निहित तर्क को वास्तव में समझते हैं।
मुख्य निष्कर्ष (The Bottom Line)
पेपर यह निष्कर्ष निकालता है कि वर्तमान एआई मॉडल भंगुर (brittle) हैं। वे पैटर्न पहचानने और मानवीय तर्क की नकल करने में उत्कृष्ट हैं, लेकिन उनमें यह समझने की कमी है कि कोड वास्तव में कैसे काम करता है।
यदि आप उनसे एक तरीके से समस्या हल करने के लिए कहते हैं, तो वे इसे सही कर सकते हैं। लेकिन यदि आप उन्हें उसी प्रश्न को थोड़े अलग तरीके से पूछते हैं (भले ही अर्थ समान हो), तो वे पूरी तरह से विफल हो सकते हैं। यह सुझाव देता है कि फिलहाल, हमें इन मॉडल्स पर कोड को गहराई से समझने के लिए आँख मूंदकर भरोसा नहीं करना चाहिए; वे बहुत उन्नत तोते की तरह हैं जो सही उत्तर तो रट सकते हैं लेकिन उन्हें हमेशा यह नहीं पता होता कि वे उत्तर क्यों सही हैं।
शोधकर्ता सुझाव देते हैं कि एआई को कोडिंग के लिए वास्तव में विश्वसनीय बनाने के लिए, हमें उनकी सीखने की शक्ति को सख्त, औपचारिक नियमों (जैसे एक गणित शिक्षक जो केवल उत्तर नहीं, बल्कि काम की जाँच करता है) के साथ जोड़ने की आवश्यकता है ताकि यह सुनिश्चित हो सके कि वे केवल अनुमान नहीं लगा रहे हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।