Soro: A Lightweight Foundation Model and Chatbot for Tajik
यह शोध पत्र सोरो (Soro) को प्रस्तुत करता है, जो जेम्मा 3 (Gemma 3) पर आधारित हल्के, ताजिक-विशिष्ट संवादात्मक एलएलएम (LLMs) का एक परिवार है, जो अंग्रेजी क्षमताओं को बनाए रखते हुए और क्वांटाइजेशन के माध्यम से कुशल एज डिप्लॉयमेंट (edge deployment) का समर्थन करते हुए, ताजिक भाषा के कार्यों और शैक्षिक डोमेन में बेहतर प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें। वर्षों से, इस लाइब्रेरी में लगभग पूरी तरह से अंग्रेजी और चीनी भाषा की किताबें रखी गई हैं, और अन्य भाषाओं के लिए बहुत कम शेल्फ समर्पित हैं। यदि आप ताजिक (ताजिकिस्तान में बोली जाने वाली, सिरिलिक लिपि में लिखी जाने वाली और फारसी से संबंधित भाषा) में कोई किताब ढूंढते हुए अंदर जाते, तो आपको शेल्फ लगभग खाली मिलते।
यह पेपर Soro को पेश करता है, जो एक नया प्रोजेक्ट है जिसे विशेष रूप से ताजिक बोलने वालों के लिए उन खाली शेल्फों को भरने के लिए डिज़ाइन किया गया है। Soro को बिल्कुल नई लाइब्रेरी के रूप में नहीं, बल्कि एक कुशल लाइब्रेरियन के रूप में सोचें जो पहले से मौजूद कुछ उच्च-गुणवत्ता वाली किताबों (एक मॉडल Gemma 3 से) को लेता है और उन्हें पूरी तरह से ताजिक में फिर से लिखता है, अनुवाद करता है और पुनर्गठित करता है।
यहाँ बताया गया है कि उन्होंने इसे कैसे किया, सरल उपमाओं का उपयोग करते हुए:
1. रेसिपी: "कंटीन्यूअल प्रीट्रेनिंग" (Continual Pretraining) और "इंस्ट्रक्शन ट्यूनिंग" (Instruction Tuning)
टीम ने खाली पन्ने से शुरुआत नहीं की। उन्होंने एक स्मार्ट, ओपन-सोर्स मॉडल (Gemma 3) से शुरुआत की जो ताजिक के बारे में थोड़ा जानता था लेकिन पूरी तरह से कुशल नहीं था।
चरण 1: "इमर्शन कोर्स" (कंटीन्यूअल प्रीट्रेनिंग): कल्पना करें कि उस स्मार्ट लाइब्रेरियन को एक समर कैंप में भेजा जाता है जहाँ वे केवल ताजिक बोलते हैं। उन्होंने 1.9 बिलियन शब्द का ताजिक टेक्स्ट पढ़ा। यह टेक्स्ट केवल इंटरनेट की रैंडम बातें नहीं थी; इसे सावधानीपूर्वक चुना गया था। इसमें शामिल था:
- फिल्टर्ड वेब टेक्स्ट: ताजिक इंटरनेट के "सबसे अच्छे" हिस्से।
- PDF और दस्तावेज़: आधिकारिक कागजात और रिपोर्ट।
- स्कूल की पाठ्यपुस्तकें: महत्वपूर्ण रूप से, उन्होंने ताजिक स्कूलों (कक्षा 5-11) में उपयोग की जाने वाली भौतिक पाठ्यपुस्तकों को स्कैन और टाइप किया। इसने AI को ताजिक इतिहास, साहित्य और विज्ञान की गहरी समझ दी जैसा कि ताजिकिस्तान में पढ़ाया जाता है।
- अनुवादित शैक्षिक सामग्री: उन्होंने गैप को भरने के लिए उच्च-गुणवत्ता वाली अंग्रेजी विज्ञान और इतिहास की किताबों को ताजिक में अनुवादित किया।
चरण 2: "शिक्षक प्रशिक्षण" (इंस्ट्रक्शन ट्यूनिंग): पढ़ना एक बात है; बातचीत करना दूसरी। टीम ने मॉडल को एक मददगार शिक्षक बनना सिखाया। उन्होंने 40,000 उदाहरण बनाए जो प्रश्न और उत्तर के रूप में थे, जिन्हें एक "शिक्षक जैसी" शैली में लिखा गया था। इन उदाहरणों ने AI को सिखाया कि चीजों को सरलता से कैसे समझाया जाए, रूपकों (metaphors) का उपयोग कैसे किया जाए, और छात्रों को समझने में मदद करने के लिए अनुवर्ती प्रश्न कैसे पूछे जाएं, न कि केवल तथ्य उगलना।
2. "मर्जिंग" (Merging) का जादू
इस बात के बाद कि AI ने यह सब ताजिक सीखा, टीम को चिंता हुई कि कहीं वह अंग्रेजी बोलना या सामान्य विषयों को संभालना भूल न जाए। इसे ठीक करने के लिए, उन्होंने लीनियर मर्जिंग (Linear Merging) नामक तकनीक का उपयोग किया।
इसे दो स्मूदी (smoothies) को मिलाने जैसा समझें।
- स्मूदी A: मूल Gemma 3 मॉडल (सामान्य ज्ञान में महान, ताजिक में ठीक-ठाक)।
- स्मूदी B: नया Soro मॉडल (ताजिक विशेषज्ञ, शायद सामान्य अंग्रेजी पर थोड़ा कम पैना)।
- परिणाम: उन्होंने उन्हें आपस में मिला दिया, जिसमें लगभग 80% नए ताजिक विशेषज्ञ और 20% मूल सामान्यज्ञ (generalist) को रखा। इससे एक ऐसा मॉडल बना जो एक ताजिक विशेषज्ञ है लेकिन अभी भी अंग्रेजी बोलने और सामान्य कार्यों को संभालने की क्षमता रखता है।
3. "बैकपैक में फिट करना" (क्वांटाइजेशन - Quantization)
ताजिकिस्तान में सीमित कंप्यूटर हार्डवेयर है, विशेष रूप से ग्रामीण स्कूलों में। आप एक मानक लैपटॉप पर विशाल AI मॉडल नहीं चला सकते; यह एक साइकिल की टोकरी में फुल-साइज़ फ्रिज डालने की कोशिश करने जैसा है।
टीम ने मॉडल को सिकोड़ने के लिए क्वांटाइजेशन (Quantization) का उपयोग किया।
- FP8 (आधा आकार): उन्होंने मॉडल को कंप्रेस किया ताकि यह लगभग आधी मेमोरी ले, जैसे कि एक छोटे बैग में फिट होने के लिए भारी कोट को मोड़ना।
- INT4 (छोटा आकार): उन्होंने इसे और भी अधिक कंप्रेस किया (4-बिट), जिससे यह एक मानक गेमिंग लैपटॉप या यहाँ तक कि एक शक्तिशाली फोन पर चलने के लिए पर्याप्त छोटा हो गया। यह दूरदराज के क्षेत्रों के स्कूलों के लिए महत्वपूर्ण है जहाँ इंटरनेट अस्थिर है; AI बिना किसी बड़े सर्वर फार्म के निरंतर कनेक्शन के, स्कूल के कंप्यूटर पर स्थानीय रूप से चल सकता है।
4. "टेस्ट ड्राइव" (बेंचमार्क्स और पायलट)
चूंकि ताजिक AI के लिए कोई मौजूदा परीक्षण मौजूद नहीं थे, इसलिए टीम को अपने स्वयं के परीक्षण बनाने पड़े। उन्होंने 6 नए परीक्षणों का एक समूह बनाया (जैसे AI के लिए ड्राइविंग लाइसेंस टेस्ट) जिसमें शामिल थे:
- ताजिक इतिहास और साहित्य: क्या इसने सामनद राजवंश और प्रसिद्ध कवियों की कहानियाँ सीखीं?
- भाषाविज्ञान (Linguistics): क्या यह ताजिक व्याकरण और वर्तनी को समझता है?
- सामान्य ज्ञान: क्या यह ताजिक भूगोल और संस्थानों के बारे में सवालों के जवाब दे सकता है?
परिणाम:
- Soro ने समान आकार के अन्य मॉडलों की तुलना में इन ताजिक परीक्षणों पर काफी अधिक स्कोर किया।
- इसने अपने अंग्रेजी कौशल को नहीं खोया; इसने उन्हें मजबूत बनाए रखा।
- यहाँ तक कि इसके छोटे, कंप्रेस्ड संस्करण (INT4) भी विशाल, अन-कंप्रेस्ड संस्करण के लगभग समान प्रदर्शन करते हैं।
5. वास्तविक दुनिया का उपयोग: स्कूल पायलट
पेपर में प्रोजेक्ट सोरो (Project Soro) नामक एक वास्तविक परीक्षण का वर्णन किया गया है।
- कहाँ: राजधानी (दुशानबे) से लेकर दूरदराज के पहाड़ी क्षेत्रों तक, ताजिकिस्तान के 100 स्कूलों में।
- कौन: 770 शिक्षक और 2,0eters से अधिक छात्र।
- यह कैसे काम करता है:
- छात्रों के लिए: यह एक निजी ट्यूटर के रूप में कार्य करता है। एक शर्मीला छात्र बिना कक्षा में शर्मिंदगी महसूस किए, Sero से ताजिक में एक कठिन गणित समस्या को समझाने के लिए कह सकता है।
- शिक्षकों के लिए: यह पाठ योजना (lesson plans) तैयार करने और सामग्री का सारांश बनाने में मदद करता है, जिससे उनका समय बचता है।
- लक्ष्य: स्कूलों में "AI का परिचय" एक विषय के रूप में पढ़ाने की राष्ट्रीय रणनीति का हिस्सा।
6. उन्होंने क्या पाया (और क्या नहीं)
- सफलता: शिक्षकों और छात्रों को यह पसंद आया कि AI धाराप्रवाह, स्वाभाविक ताजिक बोलता है। यह एक जानकार स्थानीय मित्र से बात करने जैसा महसूस हुआ। इसने छात्रों को अपने पाठों के साथ अधिक जुड़ने में मदद की।
- चुनौतियां:
- गति: कुछ स्थानों पर, AI का जवाब देने में थोड़ा समय लग रहा था, जिससे लाइव क्लासरूम उपयोग मुश्किल हो गया।
- सटीकता: कभी-कभी, इसने बहुत विशिष्ट स्थानीय तथ्यों (जैसे स्थानीय सरकार में हालिया बदलावों) पर गलतियाँ कीं, जो दर्शाता है कि इसे अभी भी अधिक "स्थानीय ज्ञान" प्रशिक्षण की आवश्यकता है।
- सुरक्षा: टीम स्वीकार करती है कि AI कभी-कभी "भ्रमित" (hallucinate) हो सकता है (चीजें बना सकता है), इसलिए वे बच्चों के लिए सामग्री को सुरक्षित रखने के लिए फिल्टर बना रहे हैं।
सारांश
Soro एक हल्का, विशिष्ट AI चैटबॉट है जिसे विशेष रूप से ताजिकिस्तान के लिए बनाया गया है। यह एक स्मार्ट, सामान्य-उद्देश्य वाले AI को लेता है, उसे ताजिक संस्कृति और स्कूल पाठ्यक्रम के बारे में वह सब कुछ सिखाता है जिसकी उसे आवश्यकता है, इसे स्थानीय कंप्यूटरों पर फिट होने के लिए सिकोड़ता है, और इसे शिक्षकों और छात्रों की मदद करने के लिए स्कूलों में काम पर लगाता है। यह साबित करता है कि कम-संसाधन वाली भाषा के लिए आधुनिक AI लाने के लिए आपको सुपरकंप्यूटर की आवश्यकता नहीं है; आपको बस सही डेटा और थोड़ी इंजीनियरिंग रचनात्मकता की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।