From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks
यह शोध पत्र यह प्रकट करता है कि बड़े भाषा मॉडल अक्सर वर्ण गणना (character counting) के कार्यों में आंतरिक प्रतिनिधित्व की कमी के कारण नहीं, बल्कि इसलिए विफल होते हैं क्योंकि बाद की परतों में विशिष्ट नकारात्मक सर्किट सही संकेतों के बजाय गलत, उच्च-संभावना वाले आउटपुट को सक्रिय रूप से दबा देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, सुपर-स्मार्ट लाइब्रेरियन है जिसने दुनिया की लगभग हर किताब पढ़ ली है। वे कविता लिख सकते हैं, जटिल पहेलियों को सुलझा सकते हैं, और इतिहास की किताबों का सारांश किसी भी अन्य व्यक्ति से बेहतर लिख सकते हैं। लेकिन, यदि आप उनसे एक सरल प्रश्न पूछते हैं जैसे, " 'apple' शब्द में अक्षर 'p' कितनी बार आता है?", तो वे आत्मविश्वास के साथ कह सकते हैं कि उत्तर "1" है या "2", भले ही सही उत्तर "2" हो।
यह शोध पत्र इस बात की जांच करता है कि क्यों ये सुपर-स्मार्ट AI मॉडल (लार्ज लैंग्वेज मॉडल्स या LLMs) ऐसे सरल कार्यों में विफल हो जाते हैं। शोधकर्ताओं ने कुछ आश्चर्यजनक खोजा: AI वास्तव में उत्तर जानता है, लेकिन वह उसे अनदेखा करने का निर्णय लेता है।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "छिपी हुई नोट" की उपमा (प्रारंभिक एनकोडिंग)
AI मॉडल को एक फैक्ट्री असेंबली लाइन के रूप में सोचें जिसमें कई स्टेशन (लेयर्स) हैं।
- खोज: जब AI "apple" शब्द को पढ़ता है, तो लाइन के बहुत पहले वाले स्टेशन तुरंत एक "स्टिकी नोट" लिख देते हैं जिसमें लिखा होता है, "हे, यहाँ दो 'p' हैं।"
- प्रमाण: शोधकर्ताओं ने AI की आंतरिक स्मृति को विभिन्न चरणों में स्कैन करने के लिए एक "प्रोब" (एक मेटल डिटेक्टर की तरह) नामक टूल का उपयोग किया। उन्होंने पाया कि यह सही गिनती वाला "स्टिकी नोट" फैक्ट्री के शुरुआती और मध्य चरणों में स्पष्ट रूप से दिखाई दे रहा था और पढ़ा जा सकता था। जानकारी वहां थी, स्पष्ट और मुखर।
2. "सेंसर" की उपमा (विलंबित दमन/Late Suppression)
तो, यदि AI उत्तर जानता है, तो वह गलत उत्तर क्यों देता है?
- खोज: जैसे-जैसे जानकारी असेंबली लाइन के नीचे अंतिम आउटपुट (वह उत्तर जो उपयोगकर्ता देखता है) की ओर बढ़ती है, यह अंतिम कुछ स्टेशनों में एक विशिष्ट समूह से टकराती है। ये कार्यकर्ता सेंसर या संपादकों की तरह कार्य करते हैं।
- तंत्र: सही नोट ("2") को अंतिम वक्ता तक पहुँचाने के बजाय, ये अंतिम चरण के कार्यकर्ता सक्रिय रूप से सही नोट को मरोड़कर (crumple करके) नष्ट कर देते हैं और उसे एक सरल, अधिक "आरामदायक" अनुमान से बदल देते हैं।
- कुछ मॉडल (जैसे Qwen) एक जिद्दी बच्चे की तरह व्यवहार करते हैं जो हमेशा "1" का अनुमान लगाता है क्योंकि उन्होंने इसे सबसे अधिक बार देखा है।
- अन्य मॉडल (जैसे LLaMA) एक भ्रमित व्यक्ति की तरह व्यवहार करते हैं जो बस एक रैंडम नंबर चुन लेता है क्योंकि उन्हें अपनी याददाश्त पर भरोसा नहीं होता।
- परिणाम: अंतिम उत्तर गलत होता है, इसलिए नहीं कि फैक्ट्री को उत्तर पता नहीं था, बल्कि इसलिए क्योंकि अंतिम संपादकों ने एक "सुरक्षित" या अधिक संभावित अनुमान के पक्ष में सच्चाई को दबाने का निर्णय लिया।
3. "टूटे हुए कंपास" की उपमा (विशेष रूटिंग का अभाव)
आप सोच सकते हैं कि AI के पास एक विशेष "अक्षर-गिनने वाली टीम" (जैसे एक समर्पित विभाग) है जो इस कार्य को संभालती है।
- खोज: शोधकर्ताओं ने इस टीम की तलाश की और उन्हें कुछ भी नहीं मिला। कोई विशिष्ट "अक्षर-गिनने वाला विभाग" नहीं है।
- वास्तविकता: अक्षरों के बारे में जानकारी कई अलग-अलग कार्यकर्ताओं में बिखरी हुई और अव्यवस्थित तरीके से फैली हुई है। यह एक भीड़ भरे कमरे में संदेश भेजने की कोशिश करने जैसा है जहाँ हर कोई अलग-अलग चीजें चिल्ला रहा है। जब तक संदेश अंत तक पहुँचता है, वह गलत अनुमानों की ऊंची आवाजों द्वारा खो जाता है या बदल दिया जाता है।
4. "बड़ा मतलब बेहतर नहीं" का मोड़
आमतौर पर, जब हम AI मॉडल को बड़ा बनाते हैं (अधिक पैरामीटर्स जोड़ते हैं, जैसे फैक्ट्री में अधिक कर्मचारी देना), तो हम उम्मीद करते हैं कि वे स्मार्ट हो जाएंगे।
- निष्कर्ष: शोधकर्ताओं ने बड़े मॉडल्स (9 बिलियन पैरामीटर्स तक) का परीक्षण किया और उन मॉडल्स का भी परीक्षण किया जिन्हें निर्देशों का पालन करने के लिए "प्रशिक्षित" किया गया था।
- परिणाम: वे भी उतनी ही बुरी तरह विफल रहे। फैक्ट्री को बड़ा बनाने से समस्या ठीक नहीं हुई। लाइन के अंत में "सेंसर" अभी भी वहीं थे, अभी भी सही नोट्स को मरोड़ रहे थे। वास्तव में, मॉडल्स को अधिक आज्ञाकारी होने के लिए प्रशिक्षित करने से कभी-कभी वे और भी खराब हो गए क्योंकि उन्होंने अपनी बुरी आदतों (जैसे हमेशा "1" का अनुमान लगाना) पर और अधिक निर्भर होना सीख लिया।
मुख्य निष्कर्ष
यह शोध पत्र हमें बताता है कि समस्या यह नहीं है कि AI "मूर्ख" है या उसमें अक्षरों को समझने की क्षमता नहीं है। समस्या संरचनात्मक (structural) है।
एक ऐसी कार की कल्पना करें जिसमें एक बेहतरीन इंजन और एक बेहतरीन GPS है, लेकिन ड्राइवर (AI की अंतिम लेयर) की आदत है GPS को अनदेखा करने की और चक्कर काटते हुए गाड़ी चलाने की क्योंकि उसे लगता है कि वह शॉर्टकट जानता है। कार के पास सही मैप है, लेकिन ड्राइवर उसका उपयोग करने से इनकार करता है।
इससे क्या फर्क पड़ता है?
यदि ये मॉडल अक्षरों को गिनने के लिए भरोसेमंद नहीं हैं—एक ऐसा कार्य जो एक 5 साल का बच्चा भी कर सकता है—तो यह सुझाव देता है कि वे अन्य क्षेत्रों में भी नाजुक हो सकते हैं। वे "हैलुसिनेट" (मनगढ़ंत बातें बनाना) इसलिए नहीं कर रहे हैं क्योंकि उन्हें तथ्य नहीं पता, बल्कि इसलिए कर रहे हैं क्योंकि उनके आंतरिक "सेंसर" एक अधिक आत्मविश्वासी दिखने वाले, लेकिन गलत उत्तर देने के लिए सच्चाई को सक्रिय रूप से दबा रहे हैं।
संक्षेप में: AI इसलिए विफल नहीं हो रहा है क्योंकि वह उत्तर देख नहीं पा रहा है; वह इसलिए विफल हो रहा है क्योंकि उसे जो उत्तर दिख रहा है, उसे अनदेखा करने के लिए प्रशिक्षित किया गया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।