Jais 2: A Family of Arabic-Centric Open Large Language Models
जैस 2 (Jais 2) खुले, व्यावसायिक रूप से उदार अरबी-केंद्रित लार्ज लैंग्वेज मॉडल्स का एक परिवार है, जिसमें 70B-पैरामीटर वाला वेरिएंट शामिल है, जिसे MBZUAI, Cerebras और Inception द्वारा Cerebras हार्डवेयर पर उच्च इन्फरेंस गति के साथ अरबी और सांस्कृतिक रूप से आधारित बेंचमार्क पर अत्याधुनिक प्रदर्शन प्रदान करने के लिए विकसित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बोलना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, सबसे अच्छे शिक्षक मुख्य रूप से अंग्रेजी बोलने वाले थे, इसलिए रोबोट ने अंग्रेजी तो पूरी तरह से सीखी लेकिन अन्य भाषाओं में लड़खड़ा गया, विशेष रूप से उन भाषाओं में जो अरबी जितनी समृद्ध और जटिल हैं। अरबी एक विशाल महासागर की तरह है जिसमें एक औपचारिक "गहरे पानी" वाला संस्करण है जिसका उपयोग समाचार और पुस्तकों के लिए किया जाता है, और दर्जनों "उथले पानी" वाले बोलियाँ हैं जिनका उपयोग दैनिक जीवन में किया जाता है, साथ ही लिखने का एक अनूठा तरीका भी है जो अक्षरों और संख्याओं को मिलाता है। अब तक, अधिकांश रोबोट केवल गहरे पानी को जानते थे या उनके पास बहुत सीमित शब्दावली थी। यह शोध पत्र जैस 2 (Jais 2) को पेश करता है, जो एआई मॉडलों का एक नया परिवार है जिसे विशेष रूप से अरबी महासागर की गहराई में गोता लगाने के लिए बनाया गया है। इन मॉडलों को ऐसे सुपर-स्मार्ट छात्रों के रूप में सोचें जिन्होंने केवल एक शब्दकोश को रटा नहीं है; वे कवियों, रसोइयों, धार्मिक विद्वानों और दादी-नानी द्वारा सपनों की कहानियाँ सुनाने के बीच बड़े हुए, और साथ ही औपचारिक अरबी और इसकी कई स्थानीय बोलियों को धाराप्रवाह बोलना सीखा। लक्ष्य एक ऐसा एआई बनाना था जो न केवल शब्दों का अनुवाद करे बल्कि अरबी भाषी दुनिया की संस्कृति, इतिहास और आत्मा को वास्तव में समझे।
जैस 2 के पीछे के शोधकर्ताओं ने, जो यूएई (UAE), इनसेप्शन (Inception) और सेरेब्रास (Cerebras) की एक टीम है, इस एआई के दो मुख्य संस्करण बनाए: एक छोटा, फुर्तीला 8-बिलियन-पैरामीटर वाला मॉडल और एक विशाल 70-बिलियन-पैरामीटर वाला दिग्गज। उन्होंने केवल एक मौजूदा रोबोट में बदलाव नहीं किया; उन्होंने इन मॉडलों को 600 बिलियन से अधिक अरबी टोकन (पाठ के टुकड़े) और 1.6 ट्रिलियन टोकन अंग्रेजी और कोड का उपयोग करके शुरू से प्रशिक्षित किया। इसे कुशल बनाने के लिए, उन्होंने 150,000 शब्दों का एक कस्टम "शब्दावली" बनाया, जैसे कि अरबी के लिए विशेष रूप से डिज़ाइन किया गया एक विशिष्ट शब्दकोश, जो एआई को बहुत तेज़ी से पढ़ने और लिखने में मदद करता है। उन्होंने एक विशेष प्रशिक्षण रेसिपी का भी उपयोग किया जिसमें एआई को केवल तथ्य ही नहीं, बल्कि सांस्कृतिक रूप से विशिष्ट कार्य भी सिखाए गए: सपनों की व्याख्या करना, कविता पाठ करना, क्षेत्रीय व्यंजनों की पहचान करना और इस्लामी कानून के बारे में प्रश्नों के उत्तर देना सीखना।
परिणाम दिखाते हैं कि जैस 2 अरबी के लिए एक शक्तिगृह है। जब ओपन-सोर्स अरबी मॉडलों के एक लीडरबोर्ड पर परीक्षण किया गया, तो 70-बिलियन संस्करण ने शीर्ष स्थान प्राप्त किया, जिसने अरबी संस्कृति, बोलियों और सामान्य ज्ञान को समझने में लामा 3 (Llama 3) और क्वेन 2.5 (Qwen 2.5) जैसे अन्य विशाल मॉडलों को पीछे छोड़ दिया। यहाँ तक कि छोटा 8-बिलियन संस्करण भी अपने आकार के अधिकांश अन्य मॉडलों से बेहतर प्रदर्शन करता है। एआई केवल तथ्यों में ही अच्छा नहीं हुआ; इसने भाषा की बारीकियों को भी सीखा, जैसे कि यह पहचानना कि एक वाक्य किन 17 अलग-अलग अरबी बोलियों में लिखा गया है और एक औपचारिक समाचार रिपोर्ट और एक अनौपचारिक संदेश के बीच के अंतर को समझना। इसने अंग्रेजी में भी मजबूत कौशल दिखाया, जिससे साबित हुआ कि अरबी पर ध्यान केंद्रित करने से यह वैश्विक भाषा बोलना नहीं भूला। टीम ने मॉडलों को किसी के भी उपयोग के लिए जारी किया और एक चैट ऐप भी बनाया जो सुपर-फास्ट हार्डवेयर पर चलता है, जो प्रति सेकंड 2,000 शब्द उत्पन्न करने में सक्षम है। हालाँकि यह एआई बहुत अच्छा है, लेखक सुझाव देते हैं कि इसमें अभी भी बढ़ने की गुंजाइश है, विशेष रूप से जटिल गणित और कुछ विशिष्ट अंग्रेजी पठन कार्यों में, लेकिन यह अरबी भाषी दुनिया के लिए एआई को वास्तव में सुलभ और सांस्कृतिक रूप से जागरूक बनाने की दिशा में एक महत्वपूर्ण छलांग का प्रतिनिधित्व करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।