SozKZ: Training Efficient Small Language Models for Kazakh from Scratch
यह शोध पत्र SozKZ को प्रस्तुत करता है, जो एक समर्पित टोकेनाइज़र के साथ कज़ाख भाषा पर स्क्रैच से प्रशिक्षित छोटे भाषा मॉडलों (50M–600M पैरामीटर) का एक परिवार है, जो कज़ाख बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्राप्त करता है और बड़े बहुभाषी मॉडलों से बेहतर प्रदर्शन करते हुए कम-संसाधन वाली भाषाओं के लिए एक गणनात्मक रूप से कुशल समाधान प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, बहुभाषी रोबोट को कज़ाख (Kazakh) बोलना सिखाने की कोशिश कर रहे हैं, जो लगभग 2.2 करोड़ लोगों द्वारा बोली जाने वाली भाषा है। कज़ाख एक "तुर्किक" (Turkic) भाषा है, जिसका अर्थ है कि यह अंग्रेजी से बहुत अलग तरह से काम करती है। अंग्रेजी में, हम आमतौर पर अर्थ बदलने के लिए छोटे शब्दों को जोड़ते हैं (जैसे "run" से "running" बनता है)। कज़ाख में, आप एक पूरे वाक्य के बराबर अर्थ समाहित करने के लिए एक ही शब्द से लंबे प्रत्ययों (suffixes) की लंबी श्रृंखलाएँ जोड़ते हैं। यह लेगो (Lego) ब्रिक्स से घर बनाने जैसा है जहाँ एक अकेला ब्रिक एक पूरी दीवार हो सकता है।
समस्या: "स्विस आर्मी नाइफ" बनाम "विशेष उपकरण"
आज के अधिकांश बड़े AI मॉडल (जैसे Llama या Qwen) स्विस आर्मी नाइफ की तरह हैं। वे एक साथ 100+ भाषाएँ बोलने की कोशिश करते हैं। क्योंकि उन्हें सबको समाहित करना होता है, इसलिए वे कज़ाख के "लेगो चेन" को संभालने में बहुत खराब होते हैं।
- टोकनाइज़र (Tokenizer) की समस्या: जब एक स्विस आर्मी नाइफ कज़ाख वाक्य को पढ़ने की कोशिश करता है, तो वह लंबे, जटिल शब्दों को छोटे, बेकार टुकड़ों में काट देता है। यह एक ऐसी किताब पढ़ने जैसा है जहाँ हर शब्द को तीन या चार टुकड़ों में तोड़ दिया गया हो। रोबोट भ्रमित हो जाता है, ऊर्जा बर्बाद करता है और मुख्य बात समझ नहीं पाता।
- क्षमता (Capacity) की समस्या: चूंकि रोबोट फ्रेंच, स्पेनिश और जापानी याद रखने की कोशिश कर रहा है, इसलिए उसके पास कज़ाख के लिए बहुत कम दिमागी शक्ति बची है। यह एक ऐसे छात्र की तरह है जो पूरी विश्वकोश (encyclopedia) को याद करने की कोशिश कर रहा है लेकिन उसके पास एक विशिष्ट इतिहास की परीक्षा के लिए केवल 5 मिनट का समय है।
समाधान: SozKZ (वह "विशेष उपकरण")
इस शोध के पीछे के शोधकर्ताओं ने एक स्विस आर्मी नाइफ के बजाय एक विशेष उपकरण बनाने का निर्णय लिया। उन्होंने SozKZ बनाया, जो केवल कज़ाख पर प्रशिक्षित छोटे, समर्पित AI मॉडल का एक परिवार है।
उन्होंने इसे सरल उपमाओं का उपयोग करके कैसे किया, यहाँ बताया गया है:
1. कस्टम डिक्शनरी (The Custom Dictionary - टोकनाइज़र)
एक सामान्य डिक्शनरी के बजाय, उन्होंने विशेष रूप से कज़ाख के लिए एक कस्टम डिक्शनरी बनाई।
- उपमा: कल्पना कीजिए कि एक बहुभाषी डिक्शनरी है जहाँ "apple" एक प्रविष्टि (entry) है, लेकिन कज़ाख में, "apple-possessive-plural" जैसा एक शब्द 4 अलग-अलग प्रविष्टियों में टूट जाता है। नई SozKZ डिक्शनरी उस पूरे जटिल शब्द को एक ही प्रविष्टि के रूप में मानती है। इससे पढ़ना और समझना बहुत तेज़ और अधिक सटीक हो जाता है।
2. ट्रेनिंग डेटा (The Library - पुस्तकालय)
उन्होंने इंटरनेट से 9 अरब कज़ाख शब्दों का एक विशाल पुस्तकालय एकत्र किया, उसे साफ किया और उसे मॉडल को खिलाया।
- उपमा: छात्र को 100 भाषाओं में 1 मिलियन किताबों की लाइब्रेरी देने के बजाय (जहाँ केवल 1% कज़ाख में है), उन्होंने उन्हें 9 अरब किताबें दीं, जो सभी कज़ाख में थीं। छात्र इस भाषा में बहुत तेज़ी से मास्टर बन जाता है।
3. मॉडल्स (The Students - छात्र)
उन्होंने अलग-अलग आकार के चार अलग-अलग "छात्रों" (मॉडल्स) को प्रशिक्षित किया:
- 50M पैरामीटर्स: एक बुद्धिमान प्राथमिक विद्यालय का छात्र।
- 600M पैरामीटर्स: एक बहुत ही बुद्धिमान हाई स्कूल का छात्र।
- नोट: "हाई स्कूल" वाला छात्र भी "स्विस आर्मी नाइफ" वाले दिग्गजों (जो अक्सर 1B से 3B पैरामीटर्स के होते हैं) से बहुत छोटा है।
परिणाम: छोटे लेकिन शक्तिशाली
जब उन्होंने इन छोटे, विशिष्ट छात्रों को विशाल बहुभाषी रोबोटों के खिलाफ टेस्ट किया, तो परिणाम आश्चर्यजनक थे:
- विषय वर्गीकरण (Topic Classification - चीजों को छाँटना): छोटे SoZKZ मॉडल विजेता रहे। वे कज़ाख समाचार लेखों को श्रेणियों में उन विशाल रोबोटों की तुलना में बेहतर ढंग से वर्गीकृत कर सके, भले ही वे रोबोट आकार में 3 से 5 गुना बड़े थे।
- क्यों? क्योंकि कस्टम डिक्शनरी ने उन्हें टुकड़ों में खो जाने के बजाय शब्दों के "बड़े चित्र" (big picture) को देखने में मदद की।
- पठन बोध (Reading Comprehension): उन्होंने बहुत छोटे होने के बावजूद विशाल रोबोटों के बराबर प्रदर्शन किया।
- सांस्कृतिक प्रश्न: 600M मॉडल ने विशाल परिवार के 1B मॉडल के लगभग बराबर स्कोर किया।
मुख्य निष्कर्ष
यह पेपर साबित करता है कि किसी विशिष्ट भाषा को अच्छी तरह से बोलने के लिए आपको हमेशा एक विशाल, महंगे दिमाग की आवश्यकता नहीं होती है।
यदि आप उस विशिष्ट भाषा के लिए एक कस्टम डिक्शनरी के साथ एक छोटा, समर्पित मस्तिष्क बनाते हैं, तो यह एक विशाल, सामान्य-उद्देश्य वाले मस्तिष्क से बेहतर प्रदर्शन कर सकता है जो एक साथ सब कुछ करने की कोशिश कर रहा है। यह कहने जैसा है कि: "एक मास्टर शेफ जिसके पास एक अकेला, सटीक चाकू है, वह एक सामान्य हैंडyman के मुकाबले सब्जियों को अधिक तेज़ी से और बेहतर तरीके से काट सकता है जिसके पास एक जंग लगा हुआ मल्टी-टूल किट है।"
यह क्यों महत्वपूर्ण है?
- लागत: इन छोटे मॉडल्स को प्रशिक्षित करना बहुत सस्ता और तेज़ है।
- पहुंच: इन्हें मुफ्त में जारी किया गया है, ताकि कोई भी बिना लाखों डॉलर की कंप्यूटर शक्ति के कज़ाख बोलने वालों के लिए ऐप्स, चैटबॉट्स या टूल्स बनाने के लिए इनका उपयोग कर सके।
- भविष्य: यह दिखाता है कि कई भाषाओं के लिए, भविष्य "बड़ा बेहतर है" (bigger is better) नहीं है, बल्कि "विशेषज्ञता स्मार्ट है" (specialized is smarter) है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।