When LLMs Lag Behind: Knowledge Conflicts from Evolving APIs in Code Generation
यह शोध पत्र एक व्यवस्थित अनुभवजन्य अध्ययन प्रस्तुत करता है जो यह प्रदर्शित करता है कि रिट्रीवल-ऑगमेंटेड जनरेशन और संरचित दस्तावेज़ीकरण के उपयोग के बावजूद, लार्ज लैंग्वेज मॉडल्स अक्सर अपने पुराने पैरामीट्रिक ज्ञान की तुलना में बाहरी API अपडेट को प्राथमिकता देने में विफल रहते हैं, जिसके परिणामस्वरूप कोड निष्पादन दर (code executability rates) कम हो जाती है जिसे केवल बड़े मॉडल स्केल और सेल्फ-रिफ्लेक्शन जैसी रीजनिंग-आधारित रणनीतियों द्वारा आंशिक रूप से ही कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, अत्यंत बुद्धिमान व्यक्तिगत सहायक है जिसका नाम "LLM" (लार्ज लैंग्वेज मॉडल) है। इस सहायक ने एक विशिष्ट तिथि (मान लीजिए, देर 2023) तक लाखों किताबें, कोड मैनुअल और वेबसाइटें पढ़ ली हैं। क्योंकि यह इतना स्मार्ट है, यह लगभग किसी भी अन्य व्यक्ति की तुलना में तेज़ी से कंप्यूटर कोड लिख सकता है।
हालाँकि, एक पेच है: दुनिया बदलती रहती है, लेकिन सहायक का पुस्तकालय नहीं बदलता।
समस्या: "पुराना नक्शा" बनाम "नए सड़क संकेत"
सोचिए कि सॉफ़्टवेयर लाइब्रेरीज़ (जैसे कि वे उपकरण जिनका डेवलपर्स उपयोग करते हैं) एक विशाल शहर की तरह हैं। हर कुछ महीनों में, शहर परिषद (लाइब्रेरी डेवलपर्स) नियमों को बदल देती है:
- वे एक सड़क का नाम बदल देते हैं (एक API को संशोधित (modified) किया जाता है)।
- वे एक पुल को बंद कर देते हैं और एक नया पुल बनाते हैं (एक API को डेप्रिकेटेड (deprecated) या हटा (removed) दिया जाता है)।
- वे एक बिल्कुल नया पार्क बनाते हैं जो पहले मौजूद नहीं था (एक नया API जोड़ा (added) गया है)।
आपका सहायक, "LLM," शहर का एक सटीक नक्शा रखता है, लेकिन वह 2023 का है। यदि आप उसे उस नए पार्क में घर बनाने के लिए कहते हैं, तो वह शायद उस पुराने पुल का उपयोग करने की कोशिश करेगा जो अब अस्तित्व में नहीं है, या वह ऐसी सड़क का आविष्कार कर सकता है जो कभी अस्तित्व में ही नहीं थी।
इसे ठीक करने के लिए, आप (डेवलपर) सहायक की मदद करने के लिए उसे एक नया नक्शा (अपडेटेड डॉक्यूमेंटेशन) देते हैं। आप कहते हैं, "हे, अपने पुराने नक्शे को भूल जाओ। इस नई निर्देश पुस्तिका का उपयोग करो जो मैंने अभी तुम्हें दी है।"
बड़ा सवाल जो यह पेपर पूछता है: क्या सहायक वास्तव में नए नक्शे को सुनता है, या वह अपने पुराने, रटे हुए नक्शे पर अड़ा रहता है?
प्रयोग: एक टेस्ट ड्राइव
शोधकर्ताओं ने एक विशाल टेस्ट ड्राइव आयोजित की। उन्होंने लोकप्रिय पायथन लाइब्रेरीज़ (जैसे कि वे जो AI और डेटा साइंस के लिए उपयोग की जाती हैं) से इन "शहर परिवर्तनों" के 270 वास्तविक उदाहरण लिए। उन्होंने इन AI सहायकों के 11 अलग-अलग संस्करणों को नई निर्देश पुस्तिका दिखाते हुए, नए नियमों का उपयोग करके कोड लिखने के लिए कहा।
उन्होंने दो चीजें मापीं:
- क्या इसने नए नियमों का उपयोग करने की कोशिश की? (अडॉप्शन रेट/अपनाए जाने की दर)
- क्या कोड वास्तव में काम कर गया? (एक्सेक्यूटेबल रेट/निष्पादन दर)
चौंकाने वाले परिणाम
यहाँ उन्हें क्या मिला, जिसे रूपकों (metaphors) के माध्यम से समझाया गया है:
1. "बस एक संकेत" की रणनीति विफल रही
यदि आपने सहायक को केवल यह बताया, "हे, पुल बंद है, नए वाले का उपयोग करो," बिना नया नक्शा दिखाए, तो सहायक ने अक्सर आपकी बात अनसुनी कर दी।
- परिणाम: केवल लगभग 42% कोड वास्तव में काम कर पाया। सहायक अपने पुराने मेमोरी पर इतना विश्वास करता था कि उसने एक साधारण टेक्स्ट संकेत को सुनने के बजाय अपनी पुरानी यादों पर भरोसा किया। यह एक ड्राइवर को बताने जैसा है कि, "बाएं मत मुड़ो," लेकिन उसे नया सड़क संकेत नहीं दिखाया; वह बस बाएं मुड़ता रहता है क्योंकि उसने हमेशा ऐसा ही किया है।
2. "पूर्ण मैनुअल" ने मदद की, लेकिन यह जादू नहीं था
जब शोधकर्ताओं ने सहायक को पूर्ण, विस्तृत मैनुअल (नया डॉक्यूमेंटेशन) दिया, तो चीजें बहुत बेहतर हो गईं।
- परिणाम: सफलता दर बढ़कर 66% हो गई।
- पेच: पूर्ण मैनुअल के साथ भी, कोड लगभग 1/3 बार विफल रहा। क्यों? क्योंकि सहायक की "मसल मेमोरी" (मांसपेशियों की स्मृति) इतनी मजबूत थी। उसने नया मैनुअल देखा, लेकिन उसके दिमाग ने पुराने निर्देशों को नए निर्देशों के साथ मिलाने की कोशिश की, जिससे एक भ्रमित करने वाला मिश्रण बन गया।
3. "सेल्फ-चेक" (स्व-जांच) का तरीका सबसे अच्छा रहा
शोधकर्ताओं ने एक चतुर ट्रिक आजमाई जिसे सेल्फ-रिफ्लेक्शन (Self-Reflection) कहा जाता है। केवल सहायक को कोड लिखने के लिए कहने के बजाय, उन्होंने उससे यह करने को कहा:
- कोड लिखें।
- रुकें और सोचें: "रुको, क्या मैंने वास्तव में नए मैनुअल का पालन किया? क्या मैंने गलती से पुराने पुल का उपयोग कर लिया?"
- यदि आवश्यक हो तो इसे ठीक करें।
- परिणाम: इस सरल "रुकें और जांचें" चरण ने सफलता दर को अन्य 11% बढ़ा दिया। यह एक छात्र द्वारा परीक्षा देने के बाद, अपने उत्तरों को दोबारा जांचने जैसा है। इसने उन सूक्ष्म गलतियों को पकड़ लिया जो "मसल मेमोरी" करती रह गई थीं।
4. "स्मार्टर" मॉडल हमेशा बेहतर नहीं होते
आप सोच सकते हैं कि एक बड़ा, अधिक महंगा AI मॉडल इस मामले में बेहतर होगा। कभी-कभी वे थे, लेकिन हमेशा नहीं।
- वास्तविकता: बड़े, स्मार्ट मॉडल्स भी अपनी पुरानी यादों को छोड़ने में संघर्ष करते रहे। "सेल्फ-चेक" ट्रिक वाला एक थोड़ा छोटा मॉडल अक्सर एक विशाल मॉडल से बेहतर प्रदर्शन करता था जो केवल अनुमान लगा रहा था।
मुख्य निष्कर्ष (यह क्यों महत्वपूर्ण है?)
- मेमोरी पर भरोसा न करें: आप AI पर यह भरोसा नहीं कर सकते कि उसे नवीनतम सॉफ़्टवेयर नियमों का ज्ञान है सिर्फ इसलिए क्योंकि वह "स्मार्ट" है। आपको उसे हर बार वर्तमान डॉक्यूमेंटेशन देना ही होगा।
- "सेल्फ-चेक" एक गेम-चेंजर है: यदि आप नए टूल्स के लिए AI का उपयोग करके कोड लिख रहे हैं, तो केवल कोड के लिए न कहें। AI से पहले नए नियमों के विरुद्ध अपने काम की समीक्षा करने के लिए कहें।
- "पुरानी आदतें" कठिन होती हैं: भले ही आप AI को नए नियम दें, वह अक्सर पुराने नियमों को चुपके से शामिल करने की कोशिश करता है। यह एक शेफ जैसा है जो बार-बार व्यंजन में नमक डाल देता है, भले ही आपने उसे बताया हो कि रेसिपी अब नमक-मुक्त है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि हमें इन AI सहायकों को सब कुछ जानने वाले के रूप में मानना बंद करना होगा। वे उन प्रतिभाशाली छात्रों की तरह हैं जो कुछ साल पहले स्नातक हुए हैं। यदि पाठ्यक्रम बदलता है, तो उन्हें एक नई पाठ्यपुस्तक (डॉक्यूमेंटेशन) और एक सख्त निरीक्षक (सेल्फ-रिफ्लेक्शन) की आवश्यकता होती है ताकि वे अपने पुराने तरीकों पर वापस न लौटें।
शोधकर्ता विशेष रूप से यह जांचने के लिए नए परीक्षणों और उपकरणों की मांग कर रहे हैं कि क्या AI इन "बदलते नियमों" वाले परिदृश्यों को संभाल सकता है, क्योंकि फिलहाल, AI अक्सर वास्तविक दुनिया से पीछे चल रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।