Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings
यह शोध पत्र Giga-Embeddings को प्रस्तुत करता है, जो टेक्स्ट एम्बेडिंग मॉडल्स का एक परिवार है जिसमें एक स्पार्स (sparse) 10B-पैरामीटर वाला Mixture-of-Experts एनकोडर है जो कई भाषाओं में स्टेट-ऑफ-द-आर्ट रिट्रीवल गुणवत्ता और उच्च थ्रूपुट प्राप्त करता है, साथ ही इसमें संसाधन-सीमित वातावरण के लिए अनुकूलित छोटे डेंस (dense) और डिस्टिल्ड (distilled) वेरिएंट भी शामिल हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल दुनिया में, कंप्यूटर शब्दों को वैसे नहीं समझते जैसे इंसान समझते हैं। एक मशीन के लिए, एक वाक्य केवल प्रतीकों की एक लंबी श्रृंखला मात्र है। टेक्स्ट का अर्थ समझने के लिए, शोधकर्ताओं ने शब्दों को संख्याओं की सूचियों में बदलने की एक विधि विकसित की है, जिसे एम्बेडिंग्स (embeddings) कहा जाता है। इन सूचियों को टेक्स्ट के प्रत्येक अद्वितीय पते के रूप में सोचें, जो इसे एक विशाल, बहु-आयामी स्थान में स्थापित करती है, जहाँ समान विचार पास-पास होते हैं और भिन्न विचार दूर-दूर होते हैं। यह प्रणाली उन उपकरणों को शक्ति प्रदान करती है जिनका हम रोज उपयोग करते हैं, जैसे कि सर्च इंजन जो सही दस्तावेज़ ढूँढते हैं या आर्टिफिशियल इंटेलिजेंस जो टेक्स्ट के पुस्तकालय के आधार पर प्रश्नों के उत्तर देता है। हालाँकि, इस क्षेत्र में एक निरंतर तनाव बना रहता है: सिस्टम जितना अधिक जटिल होगा, वह भाषा को उतना ही बेहतर समझता है, लेकिन इसे चलाने के लिए उतने ही अधिक कंप्यूटर पावर और मेमोरी की आवश्यकता होती है। इन प्रणालियों को उनकी बुद्धिमत्ता खोए बिना तेज़ और सस्ता बनाना वैज्ञानिकों के लिए एक बड़ी चुनौती रही है।
शोधकर्ताओं के एक दल ने 'गीगा-एम्बेडिंग्स' (Giga-Embeddings) नामक टेक्स्ट एम्बेडिंग मॉडल का एक नया परिवार पेश किया है, जिसे उच्च गुणवत्ता और उच्च गति के बीच संतुलन बनाकर इस समस्या को हल करने के लिए डिज़ाइन किया गया है। उनकी सबसे महत्वाकांक्षी रचना एक विशाल मॉडल है जिसमें दस बिलियन पैरामीटर्स हैं, जो इसकी आंतरिक जटिलता का एक माप है। प्रत्येक शब्द को प्रोसेस करने के लिए सभी दस बिलियन पैरामीटर्स का उपयोग करने के बजाय, यह मॉडल 'मिक्सचर ऑफ एक्सपर्ट्स' (mixture of experts) नामक तकनीक का उपयोग करता है। एक बड़ी लाइब्रेरी की कल्पना करें जहाँ, प्रत्येक पुस्तक के लिए जब कोई पाठक पूछता है, तो केवल विशेषज्ञों की एक विशिष्ट, छोटी टीम को मदद के लिए बुलाया जाता है, जबकि बाकी कर्मचारी स्टैंडबाय पर रहते हैं। इस कंप्यूटर मॉडल में, प्रत्येक शब्द के लिए केवल लगभग 1.8 बिलियन पैरामीटर्स सक्रिय होते हैं, जबकि पूरे दस बिलियन मेमोरी में उपलब्ध रहते हैं। यह सिस्टम को एक विशाल मस्तिष्क का ज्ञान रखने की अनुमति देता है, जबकि किसी भी दिए गए क्षण में वह एक छोटे मस्तिष्क का काम ही करता है।
शोधकर्ताओं ने इस बड़े मॉडल का परीक्षण कई अन्य मॉडलों के विरुद्ध किया, जिनमें तीन बिलियन पैरामीटर्स वाला एक मानक, डेंस (dense) मॉडल और 480 मिलियन पैरामीटर्स वाला एक छोटा, डिस्टिल्ड (distilled) संस्करण शामिल था। उन्होंने अंग्रेजी, रूसी, बहुभाषी टेक्स्ट और कंप्यूटर कोड से जुड़े कार्यों की एक विस्तृत श्रृंखला पर इन प्रणालियों का मूल्यांकन किया। परिणामों ने दिखाया कि बड़े, स्पार्स (sparse) मॉडल ने इन सभी श्रेणियों में उच्चतम समग्र प्रदर्शन हासिल किया। इसने न केवल छोटे मॉडलों की तुलना में टेक्स्ट को बेहतर ढंग से समझा, बल्कि जानकारी को अधिक तेज़ी से भी प्रोसेस किया। जब यह मापने की बात आई कि सिस्टम प्रति सेकंड कितने शब्दों को संभाल सकता है, तो दस-बिलियन-पैरामीटर वाला मॉडल तीन-बिलियन-पैरामीटर वाले मॉडल की तुलना में 25 प्रतिशत तेज़ था और उसी वातावरण में परीक्षण किए गए अन्य उन्नत सिस्टमों की तुलना में काफी तेज़ था। यह सिद्ध करता है कि एक ऐसा सिस्टम बनाना संभव है जो अपनी क्षमता में अविश्वसनीय रूप से बड़ा और अपने संचालन में अत्यधिक कुशल दोनों हो।
इन शक्तिशाली उपकरणों को कम कंप्यूटिंग पावर वाले उपकरणों के लिए सुलभ बनाने के लिए, टीम ने मॉडल का एक बहुत छोटा संस्करण भी बनाया। उन्होंने इस कॉम्पैक्ट मॉडल को सिखाने के लिए 'सिमिलैरिटी-डिस्ट्रीब्यूशन डिस्टिलेशन' (similarity-distribution distillation) नामक विधि का उपयोग किया। बड़े 'टीचर मॉडल' के सटीक आंतरिक नंबरों की नकल करने के बजाय, छोटे मॉडल ने बड़े मॉडल के अंतिम निर्णयों की नकल करना सीखा कि विभिन्न टेक्स्ट के टुकड़े एक-दूसरे के कितने समान थे। इसने छोटे मॉडल को, जिसमें केवल 480 मिलियन पैरामीटर्स हैं, लगभग तीन बिलियन पैरामीटर वाले बहुत बड़े मॉडल के समान प्रदर्शन करने में सक्षम बनाया। रूसी टेक्स्ट पर परीक्षणों में, छोटे मॉडल ने लगभग दोगुने आकार के एक प्रसिद्ध प्रतिस्पर्धी से थोड़ा अधिक स्कोर किया, जो यह दर्शाता है कि यदि सही तरीके से सिखाया जाए तो एक छोटा सिस्टम भी अत्यधिक प्रभावी हो सकता है।
टीम ने अपने मॉडलों के तीनों संस्करणों को जनता के लिए जारी किया, जिससे अन्य लोग विभिन्न अनुप्रयोगों के लिए इनका उपयोग कर सकें। उन्होंने पाया कि बड़ा, स्पार्स मॉडल लंबे टेक्स्ट को संभालने में विशेष रूप से प्रभावी था, और इनपुट बढ़ने पर भी अपनी गति बनाए रखता था। जहाँ छोटे मॉडलों को स्टोर करने के लिए कम मेमोरी की आवश्यकता थी, वहीं बड़े मॉडल ने भारी-भरकम कार्यों के लिए गति और सटीकता का सर्वोत्तम संयोजन प्रदान किया। शोधकर्ताओं ने उल्लेख किया कि उनके माप एक विशिष्ट परीक्षण वातावरण में लिए गए थे, इसलिए वास्तविक दुनिया का प्रदर्शन उपयोग किए गए हार्डवेयर के आधार पर थोड़ा भिन्न हो सकता है। फिर भी, यह कार्य एक स्पष्ट मार्ग दिखाता है: स्मार्ट आर्किटेक्चरल विकल्पों और सावधानीपूर्वक शिक्षण विधियों का उपयोग करके, ऐसे टेक्स्ट समझने वाले सिस्टम बनाना संभव है जो जटिल कार्यों को संभालने के लिए पर्याप्त शक्तिशाली और आधुनिक कंप्यूटरों पर तेजी से चलने के लिए पर्याप्त कुशल दोनों हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।