States Hidden in Hidden States: Implicit Discrete State Representations Emerge in LLMs' Hidden States
यह शोध पत्र इस बात की जांच करता है कि कैसे लार्ज लैंग्वेज मॉडल्स (Large Language Models) अपने हिडन स्टेट्स (hidden states) के भीतर 'इम्परफेक्ट इम्प्लिसिट डिस्क्रीट स्टेट रिप्रेजेंटेशन्स' (Imperfect Implicit Discrete State Representations) बनाकर और उनका उपयोग करके, स्पष्ट 'चेन-ऑफ-थॉट' (chain-of-thought) तर्क के बिना विस्तृत गणनाएं करते हैं, साथ ही यह उनके निर्माण को भी अभिलक्षणित करता है और कम्प्यूटेशनल त्रुटियों में उनके योगदान की पहचान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जादूगर को टोपी से खरगोश निकालते हुए देख रहे हैं। आप जानते हैं कि खरगोश अचानक हवा में प्रकट नहीं हुआ है, लेकिन आप उस ट्रिक को देख नहीं पा रहे हैं। लंबे समय से, आर्टिफिशियल इंटेलिजेंस (AI) का अध्ययन करने वाले वैज्ञानिक भी इसी तरह की स्थिति में रहे हैं। वे जानते हैं कि ये विशाल कंप्यूटर मस्तिष्क, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, कविता लिखने, गणित की समस्याओं को हल करने और इंसानों की तरह बातचीत करने जैसे अद्भुत काम कर सकते हैं। लेकिन वे अपने "दिमाग" के अंदर (जो केवल संख्याओं और परतों का एक विशाल संग्रह है) यह सब कैसे करते हैं, यह एक ब्लैक बॉक्स की तरह रहा है।
इस पेपर को समझने के लिए, आपको दो सरल चीजें जानने की आवश्यकता है। पहली, LLMs एक वाक्य में अगले शब्द की भविष्यवाणी करके काम करते हैं, एक बार में एक शब्द। दूसरा, जब वे ऐसा करते हैं, तो वे जानकारी का एक अस्थायी "स्क्रैचपैड" बनाते हैं जिसे हिडन स्टेट (hidden state) कहा जाता है। हिडन स्टेट को AI द्वारा सोचते समय बनाई गई एक मानसिक नोट की तरह समझें। आमतौर पर, हम यह मान लेते हैं कि AI पूरे प्रश्न को पढ़ता है और फिर उत्तर का अनुमान लगाता है। लेकिन क्या होगा अगर, संख्याओं की एक लंबी सूची पढ़ते समय, AI चुपके से अपने दिमाग में एक रनिंग टोटल (कुल योग) रख रहा हो, ठीक वैसे ही जैसे आप बिना कुछ लिखे अपने किराने के बिल का हिसाब अपने दिमाग में लगाते हैं? यह पेपर पूछता है: क्या AI वास्तव में वह मानसिक गणित कर रहा है, या वह सिर्फ अनुमान लगा रहा है?
मानसिक गणित का जादुई खेल
कल्पना कीजिए कि आप एक पार्टी में हैं, और कोई आपको संख्याओं की एक लंबी सूची देता है: 17, 38, 32, 87... और आपसे बिना कुछ लिखे या चरणों को ज़ोर से बोले, तुरंत उन्हें जोड़ने के लिए कहता है। अधिकांश लोग संघर्ष करेंगे, लेकिन दुनिया के सबसे स्मार्ट AI मॉडल इस काम में बहुत कुशल होते जा रहे हैं। वे 15 संख्याओं तक की एक स्ट्रिंग को देख सकते हैं और बिना अपना काम दिखाए तुरंत सही कुल योग बता सकते हैं।
यह पेपर, जिसका शीर्षक "States Hidden in Hidden States" है, इस बात की जांच करता है कि ये AI मॉडल वास्तव में इस ट्रिक को कैसे अंजाम देते हैं। त्सिंगहुआ विश्वविद्यालय के शोधकर्ताओं ने यह परिकल्पना की कि ये मॉडल केवल अनुमान नहीं लगा रहे हैं; वे चुपके से इम्प्लिसिट डिस्क्रीट स्टेट रिप्रेजेंटेशन (IDSRs) बना रहे हैं।
आइए उस फैंसी टर्म को समझते हैं। कल्पना कीजिए कि AI पानी की एक बाल्टी लेकर एक लाइन में काम करने वाले श्रमिकों की एक टीम है।
- इम्प्लिसिट (Implicit): वे संख्या को ज़ोर से चिल्लाकर नहीं बता रहे हैं (टेक्स्ट जेनरेट नहीं कर रहे)।
- डिस्क्रीट स्टेट (Discrete State): वे अपने हाथों में एक विशिष्ट, सटीक संख्या पकड़े हुए हैं (जैसे 17 और 20 जोड़ने के बाद "37")।
- रिप्रेजेंटेशन (Representation): यह संख्या AI की आंतरिक परतों के भीतर एक पैटर्न के रूप में मौजूद है।
शोधकर्ता यह साबित करना चाहते थे कि AI वास्तव में सूची पढ़ते समय इन मध्यवर्ती संख्याओं को अपने पास रख रहा है, न कि सब कुछ एक साथ कैलकुलेट करने के लिए बिल्कुल अंत तक प्रतीक्षा कर रहा है।
जासूसी कार्य: मस्तिष्क के भीतर झांकना
यह देखने के लिए कि क्या यह "मानसिक स्क्रैचपैड" वास्तव में मौजूद है, शोधकर्ताओं ने AI की आंतरिक परतों के साथ "20 सवाल" (20 Questions) जैसा खेल खेला। उन्होंने एक उपकरण का उपयोग किया जिसे प्रोब (probe) कहा जाता है। प्रोब को एक छोटे, सुपर-फास्ट जासूस की तरह समझें जो किसी भी विशिष्ट क्षण में AI के आंतरिक नोट्स को देख सकता है और पूछ सकता है, "तुम अभी कौन सी संख्या सोच रहे हो?"
उन्होंने इसका परीक्षण विभिन्न मॉडल्स पर किया, छोटे मॉडल्स (जैसे Llama2-7B) से लेकर दिग्गजों (जैसे GPT-4 और Qwen-72B) तक। उन्होंने मॉडल्स को 2 से 14 संख्याओं वाली जोड़ (addition) की समस्याएँ हल करने के लिए कहा।
उन्हें क्या मिला:
- बड़े मॉडल और बड़े होते जाते हैं: यह मानसिक गणित करने की क्षमता मॉडल्स के बड़े होने के साथ "इमर्ज" (उभरती) होती है। छोटे मॉडल्स दो या तीन संख्याएँ जोड़ सकते हैं, लेकिन जैसे ही सूची आठ तक पहुँचती है, वे क्रैश हो जाते हैं। हालाँकि, सबसे बड़े मॉडल्स 11 या यहाँ तक कि 15 संख्याओं की सूची को आश्चर्यजनक सटीकता के साथ संभाल सकते हैं।
- छिपा हुआ नोट वास्तविक है: जब शोधकर्ताओं ने अपने "जासूसी प्रोब्स" का उपयोग AI की हिडन लेयर्स पर किया, तो उन्होंने पाया कि मॉडल वास्तव में रनिंग टोटल्स को रख रहे थे। उदाहरण के लिए, "17 + 24" पढ़ने के बाद, मॉडल की आंतरिक स्थिति में "41" का प्रतिनिधित्व था, भले ही उसने अभी तक "41" शब्द ज़ोर से नहीं बोला था।
- यह परफेक्ट नहीं है: बुरी खबर यह है कि यह मानसिक नोट परफेक्ट नहीं है। जैसे-जैसे सूची लंबी होती जाती है, "नोट" थोड़ा धुंधला होता जाता है। शोधकर्ताओं ने पाया कि जबकि AI पहले कुछ स्टेप्स के लिए संख्या को पूरी तरह से पकड़ सकता है, 15वें नंबर तक पहुँचते-पहुँचते, आंतरिक प्रतिनिधित्व विवरण खोने लगता है। यह "लॉसी" (lossy) कंप्रेशन ही कारण है कि सबसे स्मार्ट मॉडल्स भी कभी-कभी अंतिम उत्तर गलत कर देते हैं।
AI संख्या कैसे बनाता है
पेपर ने यह भी पता लगाया कि AI इन संख्याओं को कैसे बनाता है, जो आश्चर्यजनक रूप से इंसानों के करने के तरीके के समान है।
- एक बार में एक अंक: AI पूरे नंबर को एक साथ कैलकुलेट नहीं करता है। यह दाईं ओर से (इकाई के स्थान से) शुरू करके, फिर दहाई, फिर सैकड़ा, एक-एक अंक करके उत्तर बनाता है। यह कागज पर कॉलम जोड़ने जैसा है, लेकिन यह पूरी तरह से AI के दिमाग के अंदर होता है।
- "शैलो" (Shallow) बनाम "डीप" (Deep) लेयर्स: AI में प्रोसेसिंग की कई परतें होती हैं। शोधकर्ताओं ने पाया कि पहली 10 परतें मस्तिष्क के "कैलकुलेटर" वाले हिस्से की तरह हैं—वे बस कच्चा गणित करती हैं। लेकिन जैसे ही जानकारी गहरी परतों (लगभग लेयर 10 और उसके आगे) में जाती है, AI वाक्य के संदर्भ (context) को मिलाना शुरू कर देता है। यह वैसा ही है जैसे कैलकुलेटर आसपास की बातचीत से विचलित हो जाता है। यही मिश्रण अंतिम उत्तर में "धुंधलेपन" या त्रुटियों का कारण बनता है।
- लीनियर, जादुई नहीं: AI गणित को किसी जादुई, एक साथ होने वाले तरीके से नहीं करता है। यह सूची को एक सीधी रेखा में प्रोसेस करता है। यदि आपके पास संख्याएँ A, B, C और D हैं, तो यह (A+B) कैलकुलेट करता है, फिर उस परिणाम को लेता है और C जोड़ता है, फिर D जोड़ता है। यह (A+B) और (C+D) को अलग-अलग करके फिर उन्हें जोड़ता नहीं है।
"ब्रिज" प्रयोग
यह साबित करने के लिए कि AI वास्तव में इन छिपे हुए नोट्स का उपयोग कर रहा है न कि केवल अनुमान लगा रहा है, शोधकर्ताओं ने एक चतुर ट्रिक की। उन्होंने AI के अटेंशन मैकेनिज्म में एक "ब्रिज" बनाया। कल्पना कीजिए कि AI एक लंबा वाक्य पढ़ रहा है, और उन्होंने इसे वाक्य की शुरुआत को देखने से रोक दिया, जिससे यह मजबूर होकर केवल आखिरी चीज़ को ही देख सके।
यदि AI केवल पूरे वाक्य के आधार पर अनुमान लगा रहा होता, तो यह ब्लॉक इसे पूरी तरह से तोड़ देता। लेकिन, AI गणित की समस्या को हल कर सकता था यदि वह "ब्रिज" (सबसे हालिया जोड़ का चिह्न) को "देख" पाता। इसने साबित कर दिया कि AI एक स्टेप से दूसरे स्टेप तक रनिंग टोटल को आगे ले जा रहा है, ठीक वैसे ही जैसे एक इंसान करता है।
मुख्य निष्कर्ष
यह पेपर सुझाव देता है कि जब विशाल AI मॉडल बिना अपना काम दिखाए गणित करते हैं, तो वे वास्तव में काम कर रहे होते हैं। वे अदृश्य, आंतरिक "स्टिकी नोट्स" बना रहे हैं जो पढ़ते समय रनिंग टोटल को थामे रखते हैं।
हालाँकि, एक पेंच है। ये स्टिकी नोट्स परफेक्ट नहीं हैं। जैसे-जैसे संख्याओं की सूची लंबी होती जाती है, नोट्स थोड़े धुंधले होते जाते हैं, और AI गलतियाँ करने लगता है। शोधकर्ताओं का मानना है कि यदि हम यह समझ सकें कि इन आंतरिक नोट्स को अधिक स्पष्ट और कम "लॉसी" कैसे बनाया जाए, तो हम AI को केवल गणित ही नहीं, बल्कि जटिल तर्क कार्यों में भी बहुत बेहतर बना पाएंगे।
फिलहाल, हम जानते हैं कि AI जादुई नहीं है; यह बस मानसिक गणना रखने में बहुत अच्छा है, भले ही वह गणना लंबी सूची के अंत तक थोड़ी धुंधली हो जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।