Anatomical Heterogeneity in Transformer Language Models
यह शोध पत्र स्मोलएलएम2-135एम (SmolLM2-135M) में गहन शारीरिक विषमता (anatomical heterogeneity) को प्रदर्शित करके ट्रांसफार्मर भाषा मॉडलों में परत समरूपता (layer homogeneity) की धारणा को चुनौती देता है, जहाँ परतें अत्यधिक भिन्न महत्व और प्रशिक्षण आवश्यकताओं को प्रदर्शित करती हैं, जो अंततः यह सिद्ध करता है कि परत के महत्व के आधार पर कम्प्यूटेशनल बजट का पुनर्वितरण लागत को काफी कम करते हुए प्रदर्शन में सुधार कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, 30-मंजिला गगनचुंबी इमारत बना रहे हैं ताकि उसमें एक सुपर-स्मार्ट AI को बसाया जा सके।
वर्षों से, इंजीनियरों (AI शोधकर्ताओं) ने इन गगनचुंबी इमारतों को इस तरह बनाया है जैसे हर एक मंजिल को बिल्कुल एक समान माना जाता है। वे हर मंजिल को समान मात्रा में कंक्रीट, समान संख्या में श्रमिक और निर्माण के लिए समान समय देते हैं। वे यह मान लेते हैं कि मंजिल 1 उतनी ही महत्वपूर्ण है जितनी मंजिल 15 और मंजिल 30।
लेकिन, शोधकर्ता टोमास विट्रीकोव्स्की (Tomasz Wietrzykowski) के एक नए अध्ययन ने सुझाव दिया है कि यह एक बहुत बड़ी गलती है। उन्होंने एक छोटे AI मॉडल (जिसे SmolLM2 कहा जाता है) के भीतर झाँका और पाया कि इसके "मंजिलें" वास्तव में एक-दूसरे से बेहद अलग हैं। कुछ मंजिलें इमारत का मस्तिष्क हैं, कुछ केवल सजावटी गलियारे हैं, और कुछ वास्तव में संरचनात्मक कमजोरियां हैं जो इमारत को बदतर बना देती हैं।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:
1. AI की "शरीर रचना" (Anatomy)
विट्रीकोव्स्की ने पाया कि AI कोड का एक समान ब्लॉक नहीं है। इसकी एक शारीरिक रचना है, ठीक वैसे ही जैसे मानव शरीर की होती है:
- ब्रेनस्टेम (मंजिल 1 और 2): ये प्रवेश द्वार हैं। यदि आप इन्हें नुकसान पहुँचाते हैं, तो AI आपकी बात समझ भी नहीं पाएगा। ये अत्यंत महत्वपूर्ण हैं और इन्हें ठीक करना कठिन है।
- "मस्तिष्क" (मंजिल 8–11): यह गहरे तर्क (reasoning) का केंद्र है। सारा मुख्य काम यही करते हैं। यदि आप इनके साथ छेड़छाड़ करते हैं, तो AI पूरी तरह से पागल हो जाएगा। इनमें से एक मंजिल (मंजिल 11) इतनी महत्वपूर्ण है कि यह अन्य मंजिलों की तुलना में 10 लाख गुना अधिक महत्वपूर्ण है।
- "संयोजी ऊतक" (मंजिल 3–7, 12–22): ये गलियारे और सहायक बीम हैं। ये थोड़ी मदद तो करते हैं, लेकिन यदि आप इन्हें हटा दें या छोटा कर दें, तो भी इमारत खड़ी रहती है। ये "अतिरिक्त" (redundant) हैं।
- "एंटी-लेयर्स" (मंजिल 14 और 17): यह सबसे चौंकाने वाली खोज है। ये मंजिलें एक बुरे अपेंडिक्स की तरह हैं। ये वास्तव में AI को नुकसान पहुँचा रही हैं। जब विट्रीकोव्स्की ने इन्हें हटाया या इन्हें रैंडम शोर (noise) से बदल दिया, तो AI वास्तव में अधिक स्मार्ट हो गया। ये सक्रिय रूप से मॉडल के विरुद्ध काम कर रहे थे।
- "मोटर कॉर्टेक्स" (मंजिल 23–28): ये अंतिम उत्तर तैयार करते हैं। ये महत्वपूर्ण हैं, लेकिन बहुत लचीले हैं और यदि इनके साथ गड़बड़ी हो जाए, तो ये जल्दी उबर सकते हैं।
2. "दोलन तरंग" (Oscillating Wave) का रहस्य
शोधकर्ता ने देखा कि कैसे वजन (AI के अंदर के नंबर) मंजिल दर मंजिल एक अजीब पैटर्न में बदलते हैं। यह एक पूल में उठने वाली स्थिर तरंग (standing wave) की तरह है।
यदि मंजिल 5 पानी को एक दिशा में धकेलती है, तो मंजिल 6 उसे दूसरी दिशा में धकेलती है, और मंजिल 7 उसे फिर से आगे की ओर धकेलती है। वे लगातार एक-दूसरे की भरपाई कर रहे हैं। इसका मतलब है कि आप बस एक मंजिल को इमारत के दूसरे हिस्से से कॉपी-पेस्ट नहीं कर सकते; वह "धक्का और खिंचाव" पूरे ढांचे को तोड़ देगा।
3. "मैजिक स्केल" (Magic Scale) का तरीका
टीम ने "बेकार" मंजिलों को ठीक करने या बदलने के कई तरीके आजमाए:
- उन्हें शून्य (Zero) कर देना: इमारत ढह गई।
- पड़ोसी मंजिलों को कॉपी करना: इमारत भ्रमित हो गई।
- उन्हें मिला देना (Blending): इमारत बिखर गई।
केवल एक ही चीज़ काम कर पाई: वजन को धीरे से कम करना (वजन को 0.9 के पैमाने पर लाना)। यह एक अतिरिक्त मंजिल को यह बताने जैसा है कि, "तुम्हें इतनी मेहनत करने की ज़रूरत नहीं है, बस अपना हिस्सा फुसफुसाकर बताओ।" इसने AI को पूरी तरह से काम करने योग्य रखते हुए संसाधनों की बचत की।
4. निर्माण का नया तरीका: "ग्रोथ ट्रेनिंग" (Growth Training)
सबसे बड़ी सीख यह है कि हमें भविष्य में इन AI को कैसे प्रशिक्षित करना चाहिए।
पुराना तरीका (एकसमान प्रशिक्षण):
कल्पना कीजिए कि एक गायक मंडली (choir) को प्रशिक्षित करना, जहाँ हर गायक को एक ही गाना एक ही समय के लिए अभ्यास कराया जाता है, चाहे वह मुख्य सुप्रानो हो या पीछे की पंक्ति में गुनगुनाने वाला व्यक्ति। यह अक्षम है।
नया तरीका (ग्रोथ ट्रेनिंग):
यह इस बात की नकल करता है कि एक बच्चा कैसे बढ़ता है।
- पहले कंकाल और मस्तिष्क बनाएं: सबसे महत्वपूर्ण परतों (कोर) को पहले प्रशिक्षित करें।
- फिर हाथ-पैर विकसित करें: एक बार जब मस्तिष्क ठोस हो जाए, तो अगली परतें जोड़ें, मस्तिष्क के पैटर्न का उपयोग ब्लूप्रिंट के रूप में करते हुए।
- अंत में त्वचा जोड़ें: मामूली, अतिरिक्त परतों को अंत में प्रशिक्षित करें।
परिणाम:
एक परीक्षण में, इस "ग्रोथ" पद्धति ने मानक पद्धति की तुलना में 4.7 गुना बेहतर मॉडल बनाया, जबकि इसमें उतना ही समय और पैसा लगा। इससे भी अधिक प्रभावशाली बात यह है कि इस पद्धति से केवल आधे बजट के साथ प्रशिक्षित किया गया मॉडल, पूर्ण संसाधनों के साथ प्रशिक्षित मानक मॉडल से बेहतर प्रदर्शन करता रहा।
निचोड़ (The Bottom Line)
AI मॉडल एकसमान मशीनें नहीं हैं; वे जटिल, जीवित जैसी संरचनाएं हैं जिनके विशिष्ट भाग होते हैं। उन्हें एक जैविक जीव की तरह मानकर—जैसे कि "मस्तिष्क" को अधिक ध्यान देना, "बुरे अपेंडिक्स" को हटाना, और उन्हें चरणों में बनाना—हम उन्हें स्मार्ट, तेज़ और सस्ता बना सकते हैं।
हमें गगनचुंबी इमारत की हर मंजिल को एक ही तरह से बनाने की ज़रूरत नहीं है; हमें बस सही मंजिलों को, सही क्रम में, और सही प्रयास के साथ बनाने की ज़रूरत है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।