Task-Dependent Intrinsic Dimensionality Across Transformer Layers: An Exploratory Study of Qwen2.5-1.5B
Qwen2.5-1.5B के इस अन्वेषणात्मक अध्ययन से पता चलता है कि आंतरिक निरूपणों की अंतर्निहित विमा (intrinsic dimensionality) कार्य श्रेणियों और ट्रांसफार्मर परतों में गैर-समान रूप से भिन्न होती है, जहाँ मध्य परतों में तर्क संबंधी कार्यों में तथ्यात्मक स्मरण की तुलना में कम विमा देखी जाती है, लेकिन अंतिम परतों में यह समान स्तरों की ओर अभिसरित हो जाती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखक ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के डिजिटल मस्तिष्क के भीतर, एक विशाल, अदृश्य परिदृश्य मौजूद है जहाँ सूचना संग्रहीत और रूपांतरित होती है। ये सिस्टम, जिन्हें ट्रांसफॉर्मर कहा जाता है, शब्दों को संख्याओं की लंबी सूचियों में बदलकर भाषा को संसाधित करते हैं, जिससे एक उच्च-आयामी (high-dimensional) स्थान निर्मित होता है जिसमें हजारों निर्देशांक (coordinates) हो सकते हैं। फिर भी, इस विशाल क्षमता के बावजूद, किसी विशिष्ट समस्या को हल करने के लिए आवश्यक वास्तविक जानकारी अक्सर उस स्थान के बहुत छोटे, अधिक केंद्रित क्षेत्र में रहती है। वैज्ञानिक इसे 'इंट्रिन्सिक डायमेंशन' (intrinsic dimension) कहते हैं, जो इस बात का माप है कि डेटा का वर्णन करने के लिए वास्तव में कितने दिशाओं की आवश्यकता है। यह समझना कि क्या यह आंतरिक स्थान कार्य के प्रकार के आधार पर—जैसे कि तथ्य याद करने बनाम तर्क संबंधी पहेली सुलझाने के बीच—विस्तारित या संकुचित होता है, हमें यह समझने का अवसर देता है कि ये मशीनें कैसे सोचती हैं। यदि इन आंतरिक निरूपणों (representations) की ज्यामिति काम के आधार पर बदलती है, तो यह सुझाव देता है कि मॉडल सभी ज्ञान को एक एकल, समान ब्लॉक के रूप में नहीं मानता, बल्कि वह अपनी आंतरिक दुनिया को समस्या के अनुरूप नया आकार देता है।
एक हालिया अध्ययन ने Qwen2.5-1.5B नामक एक विशिष्ट, छोटे आर्टिफिशियल इंटेलिजेंस मॉडल के भीतर इन बदलते परिदृश्यों का मानचित्रण करने का प्रयास किया। शोधकर्ता मॉडल को कुछ नया सिखाने या यह जाँचने के लिए नहीं थे कि क्या वह प्रश्नों के उत्तर दे सकता है। इसके बजाय, वे मानचित्रकारों (cartographers) की तरह कार्य कर रहे थे, यह देख रहे थे कि विभिन्न प्रकार के प्रॉम्प्ट्स को संसाधित करते समय मॉडल की आंतरिक स्थिति कैसे बदलती है। उन्होंने 200 विशिष्ट अनुरोध एकत्र किए, जिन्हें चार श्रेणियों में विभाजित किया गया था: तथ्यात्मक स्मरण (विशेष रूप से रसायन विज्ञान के बारे में), अंकगणितीय गणना, तार्किक तर्क, और छोटे कंप्यूटर कोड के आउटपुट की भविष्यवाणी करना। प्रत्येक अनुरोध के लिए, उन्होंने मॉडल के आंतरिक "विचार" को उसके प्रसंस्करण के हर एक चरण में कैप्चर किया, पहले लेयर (layer) से जहाँ इनपुट प्राप्त होता है, लेकर अंतिम लेयर तक जहाँ उत्तर तैयार किया जाता है। इसने उन्हें नेटवर्क में गहराई तक जाते हुए मॉडल की सोच के आकार का पता लगाने की अनुमति दी।
इन आंतरिक अवस्थाओं की जटिलता को मापने के लिए, शोधकर्ताओं ने कई उपकरणों का उपयोग किया जो उच्च-आयामी स्थान के लिए पैमाने (rulers) की तरह कार्य करते हैं। उन्होंने देखा कि डेटा की ऊर्जा कई निर्देशांकों में कैसे वितरित होती है। यदि डेटा समान रूप से फैला हुआ है, तो स्थान को उच्च-आयामी माना जाता है; यदि डेटा केवल कुछ ही दिशाओं में सिमटा हुआ है, तो स्थान निम्न-आयामी होता है। उन्होंने प्रत्येक चार कार्य प्रकारों के लिए मॉडल की प्रतिक्रियाओं पर इन मापों को लागू किया। परिणामों ने एक आश्चर्यजनक और गतिशील पैटर्न का खुलासा किया। प्रसंस्करण के शुरुआती और मध्य चरणों में, तार्किक तर्क कार्यों के लिए आंतरिक निरूपण सरल तथ्यात्मक स्मरण की तुलना में थोड़े बड़े और अधिक जटिल स्थान पर स्थित थे। हालाँकि, जैसे ही मॉडल अपने अंतिम लेयर्स में पहुँचा, यह संबंध उलट गया। नेटवर्क के सबसे गहरे हिस्सों में, तथ्यात्मक स्मरण के निरूपण काफी अधिक जटिल और फैले हुए हो गए, जबकि तर्क संबंधी कार्यों के लिए स्थान वास्तव में सिकुड़ गया और अधिक केंद्रित हो गया।
यह उलटफेर इस कार्य की सबसे उल्लेखनीय खोज थी। प्रसंस्करण श्रृंखला के अंत के पास एक विशिष्ट बिंदु पर, तथ्यात्मक स्मरण के लिए जटिलता का माप तर्क संबंधी कार्यों की तुलना में दोगुने से भी अधिक था। यह सुझाव देता है कि मॉडल गहराई में जाने पर केवल "स्मार्टर" या अधिक जटिल नहीं होता है; बल्कि, यह अपनी आंतरिक ज्यामिति को इस तरह से पुनर्गठित करता है जो पूरी तरह से इस पर निर्भर करता है कि वह क्या करने की कोशिश कर रहा है। रसायन विज्ञान के तथ्यों के लिए, मॉडल अंतिम चरणों में अपनी एकाग्रता कई दिशाओं में फैला देता है, जबकि तर्क पहेलियों के लिए, वह अपने फोकस को एक संकीकर, अधिक कुशल पथ में सिकोड़ लेता है। शोधकर्ताओं ने उल्लेख किया कि यह विशिष्ट सेट प्रॉम्प्ट्स का एक वर्णनात्मक अवलोकन था और यह सिद्ध नहीं करता कि एक कार्य स्वाभाविक रूप से दूसरे से कठिन या बेहतर है। इसने केवल यह दिखाया कि मॉडल की सोच का आकार काम करते समय बदल जाता है।
अध्ययन ने इतने छोटे नमूने से व्यापक निष्कर्ष निकालने के प्रयासों की सीमाओं को भी रेखांकित किया। शोधकर्ताओं ने अपने मुख्य विश्लेषण के लिए प्रत्येक श्रेणी के लिए केवल एक दर्जन प्रॉम्प्ट्स का उपयोग किया, जो कि मॉडल के बारे में निश्चित दावे करने के लिए बहुत कम संख्या है। उन्होंने पाया कि प्रॉम्प्ट की लंबाई और प्रश्नों के लिखने का विशिष्ट तरीका परिणामों को प्रभावित कर सकता था, और वे इन कारकों को सभी श्रेणियों में पूरी तरह से समान नहीं रख सके। इस कारण से, वे निश्चितता के साथ यह नहीं कह सके कि देखे गए अंतर केवल कार्य के प्रकार के कारण थे, न कि प्रश्नों की संरचना के कारण। इसके अलावा, अध्ययन ने यह परीक्षण नहीं किया कि क्या इन ज्यामितीय परिवर्तनों ने वास्तव में मॉडल को सही उत्तर देने में मदद की या वे केवल इस बात का दुष्प्रभाव थे कि मॉडल कैसे बनाया गया था।
अंततः, यह कार्य इस बात का विस्तृत विवरण प्रदान करता है कि एक भाषा मॉडल की आंतरिक दुनिया स्थिर नहीं होती है। यह एक तरल वातावरण है जो कार्य के आधार पर फैलता और संकुचित होता है। यह खोज कि तर्क और तथ्यात्मक स्मरण नेटवर्क के अंतिम लेयर्स के माध्यम से अलग-अलग पथों का अनुसरण करते हैं, इस विचार को चुनौती देती है कि ये मॉडल सभी जानकारी को एक ही तरह से संसाधित करते हैं। हालांकि अध्ययन पूर्ण मानचित्र प्रदान नहीं करता है, लेकिन यह स्थापित करता है कि नेटवर्क की गहराई मायने रखती है और विभिन्न प्रकार के कार्यों के बीच का संबंध स्थिर नहीं है। शोधकर्ताओं ने अपना डेटा और विधियाँ उपलब्ध करा दी हैं ताकि अन्य लोग इन अवलोकनों को सत्यापित कर सकें, और यह स्वीकार किया है कि इन डिजिटल दिमागों द्वारा अपने ज्ञान को व्यवस्थित करने के पूर्ण दायरे को समझने के लिए अभी बहुत काम किया जाना बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।