Scaling Embeddings Outperforms Scaling Experts in Language Models
यह शोध पत्र यह प्रदर्शित करता है कि एम्बेडिंग आयामों (embedding dimensions) को स्केल करना, मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) को स्केल करने की तुलना में स्पर्सिटी (sparsity) और प्रदर्शन लाभ प्राप्त करने का एक अधिक कुशल तरीका हो सकता है, एक ऐसा निष्कर्ष जिसे लॉन्गकैट-फ्लैश-लाइट (LongCat-Flash-Lite) के परिचय द्वारा मान्य किया गया है, जो न्यूनतम एक्टिवेशन लागत वाला एक उच्च-प्रदर्शन वाला 68.5B पैरामीटर मॉडल है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक लाइब्रेरी बना रहे हैं। इस लाइब्रेरी को और अधिक स्मार्ट बनाने के लिए, आपके पास विस्तार करने के दो मुख्य तरीके हैं:
"एक्सपर्ट" विधि (विशेषज्ञों को बढ़ाना - Scaling Experts): आप हजारों विशेषज्ञ प्रोफेसरों (विशेषज्ञों) को काम पर रखते हैं। यदि कोई छात्र जीव विज्ञान (biology) के बारे में पूछता है, तो आप जीव विज्ञान के प्रोफेसर को बुलाते हैं। यदि वे इतिहास के बारे में पूछते हैं, तो आप इतिहास के प्रोफेसर को बुलाते हैं।
"शब्दावली" विधि (एम्बेडिंग्स को बढ़ाना - Scaling Embeddings): अधिक प्रोफेसरों को काम पर रखने के बजाय, आप लाइब्रेरी की हर एक किताब को एक बहुत ही विस्तृत, अति-विशिष्ट इंडेक्स (सूची) देते हैं। केवल "Apple" लेबल लिखने के बजाय, इंडेक्स कहता है "कुरकुरा, लाल, मीठा, शरद ऋतु का, फल, ग्रेनी स्मिथ।"
लंबे समय तक, AI की दुनिया "एक्सपर्ट विधि" के प्रति जुनूनी रही है। हम अधिक विषयों को संभालने के लिए अधिक से अधिक विशेषज्ञों को जोड़ते जा रहे हैं। लेकिन Meituan के शोधकर्ताओं ने एक समस्या पाई: अंततः, अधिक प्रोफेसरों को काम पर रखना बहुत महंगा हो जाता है, वे आपस में टकराने लगते हैं (सिस्टम बॉटलनेक्स), और वे वास्तव में लाइब्रेरी को बहुत अधिक स्मार्ट नहीं बना पाते हैं।
यह पेपर एक "तीसरा रास्ता" प्रस्तावित करता है: एम्बेडिंग्स को स्केल करना।
मूल विचार: "N-gram" सुपर-इंडेक्स
शोधकर्ताओं ने N-gram Embedding नामक कुछ पेश किया है।
एक मानक AI के बारे में सोचें जो एक बार में एक शब्द पढ़ता है। वह देखता है "New," फिर "York," फिर "City." वह इसे समझता है, लेकिन वह इसे टुकड़ों में प्रोसेस करता है।
N-gram विधि उस व्यक्ति को "कॉन्टेक्स्टुअल विजन" (संदर्भ संबंधी दृष्टि) देने की तरह है। केवल व्यक्तिगत शब्दों को देखने के बजाय, AI अर्थ के "चंक्स" (टुकड़ों) को देखता है। वह केवल "New" नहीं देखता; वह "New York" को एक एकल, शक्तिशाली अवधारणा के रूप में देखता है। वह "New York City" को एक और भी गहरी अवधारणा के रूप में देखता है। इन बहु-शब्दों वाले चंक्स (multi-word chunks) को शामिल करने के लिए अपने "इंडेक्स" (एम्बेडिंग्स) का विस्तार करके, AI बिना अधिक "प्रोफेसरों" (विशेषज्ञों) को भारी काम करने के लिए बुलाए, ज्ञान का एक विशाल भंडार प्राप्त करता है।
"स्वीट स्पॉट" (गोल्डिलॉक्स सिद्धांत)
शोधकर्ताओं ने पाया कि आप इसे अनंत रूप से नहीं कर सकते। उन्होंने एक "गोल्डिलॉक्स ज़ोन" खोजा:
- बहुत कम एम्बेडिंग स्केलिंग: आप एक मानक AI हैं; आप गहरे संदर्भ (deep context) को खो देते हैं।
- बहुत अधिक एम्बेडिंग स्केलिंग: आप "इंडेक्स" पर इतना पैसा खर्च कर देते हैं कि आपके पास कोई भी प्रोफेसर काम पर रखने के लिए पैसे नहीं बचते! लाइब्रेरी परिभाषाओं की एक विशाल सूची बन जाती है जिसमें उन्हें समझाने के लिए कोई नहीं होता।
- स्वीट स्पॉट (सही संतुलन): उन्होंने पाया कि यदि आप अपने "बजट" का लगभग 50% इन सुपर-विस्तृत एम्बेडिंग्स के लिए आवंटित करते हैं, तो आप अधिक विशेषज्ञों पर वही पैसा खर्च करने की तुलना में कहीं अधिक स्मार्ट मॉडल प्राप्त करते हैं।
परिणाम: LongCat-Flash-Lite
इसे सिद्ध करने के लिए, उन्होंने LongCat-Flash-Lite नामक एक मॉडल बनाया।
यह एक विशाल मॉडल (68.5 बिलियन पैरामीटर्स) है, लेकिन यह अविश्वसनीय रूप से "लीन" (हल्का) है। इतना बड़ा होने के बावजूद, यह किसी भी एक प्रश्न का उत्तर देने के लिए अपने मस्तिष्क के एक बहुत छोटे हिस्से (लगभग 3 से 4.5 बिलियन पैरामीटर्स) को ही "जगाता" है।
क्योंकि उन्होंने अधिक विशेषज्ञों (प्रोफेसरों) को बुलाने के बजाय अपने बजट का एक बड़ा हिस्सा "सुपर-इंडेक्स" (एम्बेडिंग्स) पर खर्च किया है, इसलिए यह मॉडल:
- विशेष कार्यों में स्मार्ट है: यह कोडिंग करने और एक AI एजेंट के रूप में कार्य करने (जैसे टूल्स का उपयोग करना या कंप्यूटर नेविगेट करना) में असाधारण रूप से अच्छा है।
- तेज़ है: क्योंकि इसे उत्तर पाने के लिए कई "प्रोफेसरों" को "बुलाने" की आवश्यकता नहीं होती, इसलिए यह बहुत तेज़ी से प्रतिक्रिया दे सकता है।
संक्षेप में
अधिक "सोचने वाले मॉड्यूल" (जो धीमा और अव्यवस्थित हो जाता है) जोड़कर एक स्मार्ट मस्तिष्क बनाने के बजाय, यह पेपर दिखाता है कि आप एक बेहतर "एम्बेडिंग" के माध्यम से दुनिया को देखने का एक बहुत अधिक परिष्कृत तरीका देकर एक स्मार्ट मस्तिष्क बना सकते हैं। यह एक नक्शा पढ़ने के लिए अधिक लोगों को काम पर रखने और केवल उस व्यक्ति को एक उच्च-रिज़ॉल्यूशन वाला नक्शा देने के बीच का अंतर है जिसके हाथ में नक्शा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।