Sense and Sensitivity: Examining the Influence of Semantic Recall on Long Context Code Reasoning
यह शोध पत्र यह प्रकट करता है कि जहाँ बड़े भाषा मॉडल (large language models) लंबे कोड संदर्भों में शब्दशः शाब्दिक पुनस्मरण (verbatim lexical recall) में उत्कृष्ट हैं, वहीं जब प्रासंगिक कोड केंद्रीय रूप से स्थित होता है, तो परिचालन अर्थविज्ञान (operational semantics) को समझने की उनकी क्षमता गंभीर रूप से घट जाती है, जो यह संकेत देता है कि वर्तमान बेंचमार्क काफी हद तक वास्तविक अर्थपूर्ण तर्क के बजाय पैटर्न-मैचिंग शॉर्टकट्स पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास लाखों किताबों वाला एक विशाल पुस्तकालय है (एक बहुत बड़ा कोडबेस)। आप एक सुपर-स्मार्ट लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल, या LLM) से किसी विशेष पुस्तक का एक विशिष्ट पृष्ठ खोजने और यह बताने के लिए कहते हैं कि उसे पढ़ने पर क्या होता है।
यह शोध पत्र एक बहुत ही महत्वपूर्ण प्रश्न पूछता है: क्या लाइब्रेरियन वास्तव में कहानी को पढ़ रहा है और समझ रहा है, या वह केवल पुस्तक के शीर्षक को याद कर रहा है और उन पैटर्न के आधार पर अंत का अनुमान लगा रहा है जो उसने पहले देखे हैं?
शोधकर्ताओं ने पाया कि हालांकि ये AI लाइब्रेरियन सही पृष्ठ खोजने में अविश्वसनीय हैं, लेकिन वे अक्सर यह समझने में विफल रहते हैं कि बहुत लंबी किताब में वास्तव में क्या लिखा है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "याददाश्त" के दो प्रकार
लेखक इस बात में अंतर करते हैं कि एक AI कोड को कैसे "याद" रख सकता है:
लेक्सिकल रिकॉल (The Photocopier - फोटोकॉपी करने वाला): यह टेक्स्ट के एक हिस्से को खोजने और उसे शब्द-दर-शब्द कॉपी करने की क्षमता है।
- उपमा: कल्पना कीजिए कि आप लाइब्रेरियन से "केक कैसे बनाएं" के बारे में एक विशिष्ट पैराग्राफ खोजने के लिए कहते हैं। लाइब्रेरियन तुरंत सटीक पृष्ठ की ओर इशारा करता है और सामग्री को पूरी तरह से सुना देता है। उन्हें बेकिंग को समझने की आवश्यकता नहीं थी; उन्हें बस शब्दों को खोजने की आवश्यकता थी।
- निष्कर्ष: AI इसमें परफेक्ट है। लाइब्रेरी में वह पैराग्राफ चाहे कहीं भी हो (शुरुआत में, बीच में, या अंत में), AI उसे त्रुटिहीन रूप से खोज और कॉपी कर सकता है।
सिमेंटिक रिकॉल (The Chef - रसोइया): यह समझने की क्षमता है कि जब कोड चलता है तो वह वास्तव में क्या करता है।
- उपमा: अब, आप लाइब्रेरियन से पूछते हैं, "यदि मैं इन सामग्रियों का उपयोग करता हूँ, तो क्या केक जल जाएगा?" इसका उत्तर देने के लिए, लाइब्रेरियन को वास्तव में रेसिपी को समझना होगा, न कि केवल शब्दों को पढ़ना। उन्हें अपने दिमाग में बेकिंग की प्रक्रिया का अनुकरण (simulate) करना होगा।
- निष्कर्ष: यहीं पर AI विफल हो जाता है। जब रेसिपी एक विशाल लाइब्रेरी के बीच में छिपी होती है, तो AI बेकिंग करना भूल जाता है। वह अनुमान लगाने या भ्रमित (hallucinate) होने लगता है, भले ही वह यदि पूछा जाए तो उस पृष्ठ को खोज सकता है।
2. "Lost in the Middle" (बीच में खो जाना) की समस्या
शोधकर्ताओं ने एक अजीब घटना का पता लगाया जिसे वे "Lost in the Middle" प्रभाव कहते हैं।
- सेटअप: उन्होंने AI को एक लंबी कहानी दी जिसमें कहीं अंदर एक विशिष्ट निर्देश छिपा हुआ था।
- परिणाम:
- यदि निर्देश कहानी के बिल्कुल शुरुआत या बिल्कुल अंत में था, तो AI ने इसे पूरी तरह से समझ लिया।
- यदि निर्देश कहानी के बिल्कुल मध्य में था, तो AI की समझ नाटकीय रूप से गिर गई।
- रूपक: कल्पना कीजिए कि आप एक लंबा उपन्यास पढ़ रहे हैं। यदि प्लॉट ट्विस्ट पेज 1 या पेज 300 पर है, तो आपको वह याद रहता है। लेकिन यदि प्लॉट ट्विस्ट पेज 150 पर है, तो आपका मस्तिष्क जैसे "सुन्न" हो जाता है, और आप विवरण भूल जाते हैं, भले ही आपने पूरी किताब पढ़ी हो।
3. "शॉर्टकट" का जाल (क्यों पुराने परीक्षण विफल रहे)
यह पेपर बताता है कि पिछले परीक्षणों ने इस समस्या को क्यों नहीं पकड़ा।
पुराना परीक्षण (CRUXEval): कल्पना कीजिए कि एक परीक्षण जहाँ AI को एक मानक सॉर्टिंग एल्गोरिदम (जैसे ताश की गड्डी को व्यवस्थित करना) का आउटपुट अनुमान लगाना होता है।
- लूपहोल (Loopholes): AI को प्रदान किए गए विशिष्ट कोड को पढ़ने की आवश्यकता नहीं थी। उसने केवल पैटर्न को पहचान लिया "ओह, यह एक सॉर्टिंग एल्गोरिदम है!" और कहा, "परिणाम व्यवस्थित कार्ड होंगे।" उसने अपने प्री-ट्रेनिंग मेमोरी का उपयोग करके एक शॉर्टकट ले लिया।
- संवेदनशीलता: इस परीक्षण में कम संवेदनशीलता (low sensitivity) थी। इसने AI को पैटर्न के आधार पर अनुमान लगाकर "चीटिंग" करने की अनुमति दी।
नया परीक्षण (SemTrace): शोधकर्ताओं ने एक नया, "बेईमानी न कर पाने वाला" (uncheatable) परीक्षण बनाया।
- सेटअप: उन्होंने AI को एक ऐसा फंक्शन दिया जो रैंडम, अप्रत्याशित गणित करता है (जैसे, "संख्या 81 लें, 43 घटाएं, फिर 88 जोड़ें, फिर 74 घटाएं...")।
- जाल: यहाँ याद करने के लिए कोई पैटर्न नहीं है। AI को उत्तर प्राप्त करने के लिए प्रदान की गई विशिष्ट पंक्तियों को पढ़ना ही होगा।
- परिणाम: जब उन्होंने इस परीक्षण का उपयोग किया, तो लंबे संदर्भ (context) के बीच में AI का प्रदर्शन ढह गया। सटीकता में 92% की गिरावट आई। टेक्स्ट के बीच में निर्देश दबे होने पर AI गणित नहीं कर सका।
4. "काउंटरफैक्चुअल" प्रयोग
यह साबित करने के लिए कि AI चीटिंग कर रहा था, शोधकर्ताओं ने "लाइनें हटाने" का खेल खेला।
- उन्होंने एक कोड लिया और उसकी 50% लाइनें हटा दीं।
- वास्तविक समझ: यदि आप किसी रेसिपी के आधे निर्देश हटा देते हैं, तो केक खराब हो जाएगा। एक वास्तविक शेफ (या पायथन इंटरप्रेटर) तुरंत विफल हो जाएगा।
- AI की प्रतिक्रिया: आधे कोड के गायब होने के बावजूद, AI लगभग 60% बार सही उत्तर दे रहा था!
- निष्कर्ष: इससे सिद्ध हुआ कि AI वास्तव में कोड नहीं पढ़ रहा था; वह केवल इस विचार के आधार पर अनुमान लगा रहा था कि कोड आमतौर पर कैसा दिखता है।
5. GPT-4.1 का सरप्राइज
एक मॉडल, GPT-4.1, इस नए "अनचीटेबल" परीक्षण में सफल होता हुआ दिखाई दिया। शोधकर्ताओं ने गहराई से जांच की और एक ट्रिक मिली:
- परीक्षण में सरल 2-अंकों वाला गणित (जैसे 15 + 23) का उपयोग किया गया था।
- GPT-4.1 ने अपनी ट्रेनिंग से इतना गणित याद कर लिया था कि उसे कोड पढ़ने की आवश्यकता नहीं थी; वह बस मेमोरी से जानता था कि "15 + 23" का उत्तर क्या है।
- जब शोधकर्ताओं ने गणित को कठिन बनाया (6-अंकों वाली संख्याओं के साथ), तो GPT-4.1 अचानक टेक्स्ट के बीच में विफल हो गया, ठीक वैसे ही जैसे अन्य सभी मॉडल।
मुख्य निष्कर्ष (The Big Takeaway)
वर्तमान AI मॉडल जानकारी खोजने (Lexical Recall) में अद्भुत हैं, लेकिन लंबे दस्तावेजों के भीतर दबे जटिल निर्देशों को समझने (Semantic Recall) में आश्चर्यजनक रूप से खराब हैं।
यदि आप इन एआई को वास्तविक दुनिया में बग ठीक करने या विशाल कोडबेस का विश्लेषण करने के लिए तैनात करते हैं, तो वे एक फ़ाइल के बीच के हिस्से को देखते समय महत्वपूर्ण विवरणों को मिस कर सकते हैं, यह सोचते हुए कि वे कोड को समझते हैं जबकि वे वास्तव में केवल अनुमान लगा रहे होते हैं। हमें बेहतर परीक्षणों की आवश्यकता है जो उन्हें केवल शॉर्टकट लेने के बजाय वास्तव में "पढ़ने" और "सोचने" के लिए मजबूर करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।