Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडल (large language models) की बार-बार आने वाले टोकन को गिनने में विफलता उनके आंतरिक रूप से सही गणना को दर्शाने में असमर्थता के कारण नहीं, बल्कि एक विशिष्ट फॉर्मेट-ट्रिगर वाली एमएलपी (MLP) तंत्र के कारण होती है जो आउटपुट जनरेशन के दौरान सटीक प्रतिनिधित्व को एक निश्चित गलत उत्तर के साथ ओवरराइट कर देती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (AI मॉडल) है। आप उससे एक लंबी सूची में "apple" शब्द कितनी बार आया है, यह गिनने के लिए कहते हैं। आप उम्मीद करेंगे कि वह इसे सही ढंग से करेगा, लेकिन इसके बजाय, वह आत्मविश्वास के साथ कहता है, "8 सेब हैं," जबकि स्पष्ट रूप से 10 हैं।
लंबे समय तक, लोगों को लगा कि लाइब्रेरियन गिनती करने में खराब है। उन्होंने माना कि लाइब्रेरियन के दिमाग में कोई "काउंटर" (गिनती करने वाला यंत्र) बना हुआ नहीं है, इसलिए वह संख्याओं को याद नहीं रख सकता।
यह शोध पत्र कहता है कि यह धारणा गलत है।
यहाँ शोधकर्ताओं ने वास्तव में जो पाया है, उसका सरल विवरण दिया गया है, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. लाइब्रेरियन को उत्तर पता है
शोधकर्ताओं ने लाइब्रेरियन के मस्तिष्क (मॉडल की आंतरिक परतों) के भीतर गहराई से देखा और सोचने की प्रक्रिया के हर एक चरण का अध्ययन किया। उन्होंने पाया कि सही संख्या (10) पहले चरण से लेकर अंतिम चरण तक स्पष्ट रूप से और पूरी तरह से लिखी हुई थी।
- उदाहरण: कल्पना कीजिए कि लाइब्रेरियन हाथ में एक व्हाइटबोर्ड लेकर एक गलियारे में चल रहा है। उसके चलने के हर कदम पर, व्हाइटबोर्ड पर स्पष्ट रूप से "10" लिखा है। जानकारी वहाँ मौजूद है, साफ और स्पष्ट। लाइब्रेरियन भ्रमित नहीं है; उसे वास्तव में उत्तर पता है।
2. "ग्लिच वाला" साइन-राइटर (संकेत लिखने वाला)
तो, यदि लाइब्रेरियन जानता है कि उत्तर 10 है, तो वह "8" क्यों कहता है?
शोधकर्ताओं को सोचने की प्रक्रिया के बीच में एक विशिष्ट "ग्लिच" (खराबी) मिला। प्रक्रिया के लगभग 90% हिस्से के दौरान, एक विशिष्ट कार्यकर्ता (कंप्यूटर कोड का एक हिस्सा जिसे MLP ब्लॉक कहा जाता है) सूची के प्रारूप (स्पेस द्वारा अलग किए गए शब्द) को देखता है और व्हाइटबोर्ड को अनदेखा करने का निर्णय लेता है।
- उदाहरण: कल्पना कीजिए कि लाइब्रेरियन हाथ में "10" का संकेत लेकर गलियारे में चल रहा है। अचानक, एक विशिष्ट कार्यकर्ता (मान लीजिए उसका नाम "फॉर्मेट-फ्रेड" है) सामने आता है। फ्रेड देखता है कि सूची शब्दों के साथ स्पेस (जैसे "apple apple apple") के रूप में लिखी गई है। उसका एक पूर्व-निर्धारित नियम है: "यदि मैं स्पेस वाले शब्दों की सूची देखता हूँ, तो मुझे संकेत को बदलकर '8' करना होगा।"
- फ्रेड व्हाइटबोर्ड को पकड़ता है, "10" को मिटा देता है, और उस पर "8" लिख देता है।
- भले ही लाइब्रेरियन के दिमाग में अभी भी यह पता है कि यह 10 है (मूल संकेत पृष्ठभूमि में अभी भी मौजूद है), अंतिम आउटपुट अब "8" है क्योंकि फ्रेड ने उसे ओवरराइट (बदल) दिया है।
3. यह शब्दों के बारे में नहीं, बल्कि प्रारूप (फॉर्मेट) के बारे में है
यह ग्लिच केवल शब्दों (जैसे "apple" या "cat") के साथ होता है, संख्याओं (जैसे "1" या "2") के साथ नहीं।
- उदाहरण: यदि आप लाइब्रेरियन को संख्याओं की सूची देते हैं ("1 1 1 1..."), तो फॉर्मेट-फ्रेड को फर्क नहीं पड़ता। वह केवल शब्दों पर प्रतिक्रिया करता है। लाइब्रेरियन संख्याओं को पूरी तरह से गिन लेता है। लेकिन यदि आप उन्हें शब्द देते हैं, तो फ्रेड सक्रिय हो जाता है।
- साथ ही, यदि आप प्रारूप को स्पेस के बजाय कोमा (जैसे "apple, apple, apple") में बदलते हैं, तो फ्रेड बाहर नहीं आता। "8" का नियम सक्रिय नहीं होता है, और लाइब्रेरियन सही उत्तर देता है। यह साबित करता है कि समस्या गिनती करने की क्षमता नहीं है; यह इस बात की प्रतिक्रिया है कि सूची कैसी दिखती है।
4. यह "रूटिंग" (मार्गदर्शन) की समस्या है, "रिप्रेजेंटेशन" (प्रतिनिधित्व) की नहीं
यह शोध पत्र दो प्रकार की विफलताओं के बीच एक बड़ा अंतर बताता है:
रिप्रेजेंटेशन विफलता (Representation Failure): लाइब्रेरियन को गिनती करना नहीं आता। (यह पेपर कहता है कि ऐसा नहीं हो रहा है)।
रूटिंग विफलता (Routing Failure): लाइब्रेरियन जानता है कि कैसे गिनना है, लेकिन सिग्नल बोलने से ठीक पहले हाइजैक (हथिया लिया) कर लिया जाता है। (यही हो रहा है)।
उदाहरण: यह एक रेडियो स्टेशन की तरह है जो सही गाना (गिनती) बजा रहा है, लेकिन बूथ में बैठा एक डीजे (MLP ब्लॉक) संगीत को काटकर और स्पीकर तक जाने से ठीक पहले एक अलग गाना (गलत संख्या) चलाने का निर्णय लेता है। संगीत ठीक है; रूटिंग खराब है।
5. बड़े मॉडल्स में एक अलग ग्लिच होता है
शोधकर्ताओं ने बड़े, अधिक स्मार्ट मॉडल्स को भी देखा। ये मॉडल्स आमतौर पर गिनती सही करते हैं, लेकिन वे तब विफल हो जाते हैं जब आप सेबों की सूची में एक "केला" (banana) छिपा देते हैं।
- ग्लिच: ये बड़े मॉडल्स केले को देखते हैं। उनका अटेंशन सिस्टम इसे नोटिस करता है। लेकिन, छोटे मॉडल्स की तरह ही, वे इस जानकारी को अंतिम उत्तर बदलने की अनुमति नहीं दे पाते। वे विसंगति को देखते हैं लेकिन उस नई जानकारी को अंतिम आउटपुट तक "रूट" करने में विफल रहते हैं।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि ये AI मॉडल्स "गणित में खराब" नहीं हैं। वे वास्तव में आंतरिक रूप से संख्याओं को ट्रैक करने में बहुत अच्छे हैं। समस्या यह है कि उनके दिमाग का एक विशिष्ट हिस्सा इस बात से ट्रिगर हो जाता है कि सूची कैसे लिखी गई है (स्पेस बनाम कोमा, शब्द बनाम संख्या) और वह अंतिम आउटपुट पर एक गलत उत्तर थोप देता है, जो पहले से मौजूद सही उत्तर को ओवरराइट कर देता है।
इसे ठीक करने के लिए, हमें AI को गिनना सिखाने की आवश्यकता नहीं है (वह पहले से ही जानता है)। हमें उस "ट्रैफिक पुलिस" (रूटिंग मैकेनिज्म) को ठीक करने की आवश्यकता है जो वर्तमान में सही उत्तर को बाहर आने से रोक रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।