MzansiText and MzansiLM: An Open Corpus and Decoder-Only Language Model for South African Languages
यह शोध पत्र MzansiText, जो कि एक क्यूरेटेड बहुभाषी कॉर्पस है, और MzansiLM, जो कि सभी ग्यारह आधिकारिक दक्षिण अफ्रीकी भाषाओं पर शून्य से प्रशिक्षित एक 125M-पैरामीटर वाला डिकोडर-ओनली लैंग्वेज मॉडल है, को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि छोटे पैमाने के डिकोडर-ओनली मॉडल, फ्यू-शॉट रीजनिंग की चुनौतियों के बावजूद, विभिन्न अनुकूलन रणनीतियों के माध्यम से सुपरवाइज्ड NLU और NLG कार्यों पर प्रतिस्पर्धी प्रदर्शन प्राप्त कर सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि दक्षिण अफ्रीका एक हलचल भरा, जीवंत बाजार है जहाँ ग्यारह अलग-अलग भाषाओं में बातचीत हो रही है। लंबे समय तक, इन भाषाओं को समझने के लिए बनाए गए "स्मार्ट असिस्टेंट" (AI मॉडल) उन विशेष पुस्तकालयाध्यक्षों (librarians) की तरह थे जो केवल एक विशिष्ट शैली में लिखी गई किताबें ही पढ़ सकते थे (Encoder-Decoder मॉडल)। वे किताबों को शेल्फ पर व्यवस्थित करने (वर्गीकरण/classification) में तो बहुत अच्छे थे, लेकिन शून्य से नई कहानियाँ लिखने (जनरेशन/generation) में संघर्ष करते थे।
हाल ही में, एक नया प्रकार का AI जिसे डिकोडर-ओनली (Decoder-Only) मॉडल कहा जाता है, उभरा है। इसे एक रचनात्मक कहानीकार (creative storyteller) के रूप में समझें जो लाखों वाक्यों को पढ़कर सीखता है और फिर कहानी में अगला शब्द क्या होगा, इसका अनुमान लगाता है। ये कहानीकार लिखने में अद्भुत हैं, लेकिन अब तक, किसी ने ऐसा अच्छा मॉडल नहीं बनाया था जो दक्षिण अफ्रीका की सभी ग्यारह भाषाएं बोल सके, विशेष रूप से उन नौ भाषाओं के लिए जिनका डेटा कम उपलब्ध है (low-resource languages)।
यह शोध पत्र MzansiText और MzansiLM को पेश करता है, जो इस समस्या को हल करने के लिए यूनिवर्सिटी ऑफ केप टाउन का एक नया प्रोजेक्ट है।
1. सामग्री: MzansiText (पुस्तकालय)
इससे पहले कि आप एक कहानीकार को सिखा सकें, आपको कहानियों के एक पुस्तकालय की आवश्यकता होती है। शोधकर्ताओं ने इंटरनेट से टेक्स्ट का एक विशाल, क्यूरेटेड संग्रह बनाया जिसे MzansiText कहा गया।
- चुनौती: इंटरनेट अंग्रेजी और अफ्रीकी (अमीर भाषाएं) से भरा है, लेकिन अन्य नौ भाषाएं (जैसे isiXhosa, isiZulu और Sepedi) पीछे छिपी दुर्लभ, धूल भरी किताबों की तरह हैं।
- समाधान: उन्होंने इंटरनेट के माध्यम से छानने के लिए एक "छलनी" (फिल्टरिंग पाइपलाइन) का उपयोग किया, जिसमें कचरे (विज्ञापन, टूटा हुआ कोड) को साफ किया गया और सभी ग्यारह भाषाओं में केवल अच्छी कहानियों को रखा गया।
- परिणाम: एक ऐसा पुस्तकालय जहाँ प्रत्येक आधिकारिक भाषा का प्रतिनिधित्व है, हालांकि यह अभी भी अंग्रेजी और अफ्रीकी की ओर अधिक झुका हुआ है क्योंकि ऑनलाइन उपलब्धता उसी की अधिक है।
2. छात्र: MzansiLM (125M-पैरामीटर मॉडल)
उन्होंने एक नया AI मॉडल प्रशिक्षित किया जिसे MzansiLM कहा जाता है।
- आकार का महत्व: AI की दुनिया में, यह मॉडल बहुत छोटा है। इसमें 125 मिलियन पैरामीटर हैं। इसकी तुलना GPT-4 जैसे दिग्गजों से करें, जिनमें सैकड़ों बिलियन पैरामीटर होते हैं।
- उपमा: MzansiLM को एक तेजतर्रार हाई स्कूल छात्र के रूप में समझें जिसने बहुत सारे स्थानीय समाचार पत्र और कहानियाँ पढ़ी हैं। वे अभी जीनियस प्रोफेसर नहीं हैं, लेकिन वे बुद्धिमान, फुर्तीले और अपने स्थानीय समुदाय पर बहुत केंद्रित हैं।
- लक्ष्य: यह देखना कि क्या एक छोटा, किफायती मॉडल बिना किसी शहर जितने बड़े सुपरकंप्यूटर की आवश्यकता के, दक्षिण अफ्रीकी भाषाओं के लिए वास्तव में उपयोगी हो सकता है।
3. प्रशिक्षण: सीखने के तीन तरीके
शोधकर्ताओं ने इस छात्र को विशिष्ट कार्य करने के लिए सिखाने के तीन अलग-अलग तरीकों का परीक्षण किया:
विधि A: विशेषज्ञ (Monolingual Finetuning)
- उपमा: आप एक ऐसे ट्यूटर को काम पर रखते हैं जो केवल isiXhosa बोलता है और आपको केवल समाचार सुर्खियां लिखना सिखाता है।
- परिणाम: यह लिखने के कार्यों के लिए अद्भुत रूप से प्रभावी रहा। मॉडल डेटा को isiXhosa में वाक्यों में बदलने में माहिर हो गया, और इसने उन मॉडलों को भी पछाड़ दिया जो इससे दस गुना बड़े थे लेकिन कम केंद्रित थे।
विधि B: समूह अध्ययन (Multilingual Finetuning)
- उपमा: आप समान भाषा बोलने वाले छात्रों (जैसे isiXhosa और isiZulu, जो आपस में 'कजिन' या संबंधी हैं) को एक ही स्टडी ग्रुप में रखते हैं। वे एक-दूसरे की मदद करते हैं।
- परिणाम: इसने समाचार विषयों को वर्गीकृत करने में मदद की। भाषाओं ने एक-दूसरे से ज्ञान "उधार" लिया, जिससे मॉडल समाचार लेखों को छांटने में अधिक स्मार्ट हो गया।
विधि C: सामान्यज्ञ (Multi-Task Instruction)
- उपमा: आप छात्र को एक अराजक कमरे में डाल देते हैं जहाँ उसे गणित, कहानियाँ लिखना और ईमेल सॉर्ट करना, सब कुछ एक साथ तेजी से करना पड़ता है।
- परिणाम: यह ठीक-ठाक था, लेकिन बहुत अच्छा नहीं। एक छोटे मॉडल के लिए, एक बार में एक चीज़ पर ध्यान केंद्रित करना बेहतर है।
4. रिपोर्ट कार्ड: उन्होंने क्या सीखा?
यह शोध पत्र छोटे AI मॉडलों के बारे में कुछ आश्चर्यजनक सच्चाइयां उजागर करता है:
- "लिखने" की महाशक्ति: जब टेक्स्ट जनरेट करने (जैसे समाचार सारांश लिखना या डेटा को वाक्य में बदलना) की बात आई, तो MzansiLM ने अपनी क्षमता से कहीं अधिक प्रदर्शन किया। इसने उन विशाल मॉडलों को भी हरा दिया जो इससे 10 गुना बड़े थे!
- "सोचने" का संघर्ष: जब कठिन तर्क (hard reasoning) करने के लिए कहा गया (जैसे गणित की वर्ड प्रॉब्लम्स हल करना या पेचीदा लॉजिक सवालों के जवाब देना), तो छोटा मॉडल विफल रहा। इसने बेतरतीब ढंग से अनुमान लगाया, ठीक वैसे ही जैसे एक इंसान तब करेगा जब उसने पर्याप्त पढ़ाई न की हो।
- रूपक: एक हाई स्कूल का छात्र एक अच्छा निबंध लिख सकता है यदि उसके पास एक अच्छा प्रॉम्प्ट हो, लेकिन वह पीएचडी स्तर की भौतिकी की समस्या हल नहीं कर सकता। इसके लिए एक "प्रोफेसर" (70B+ पैरामीटर वाला मॉडल) की आवश्यकता होती है।
- "पुराना गार्ड" जीतता है: ईमेल छांटने या टेक्स्ट में नाम खोजने (वर्गीकरण) जैसे कार्यों के लिए, पुराने "लाइब्रेरियन" मॉडल (Encoder-only) अभी भी बेहतर थे। वे "कहानीकार" मॉडल की तुलना में जानकारी को व्यवस्थित करने में अधिक सटीक हैं।
मुख्य निष्कर्ष
यह शोध पत्र एक भविष्य का रोडमैप है। यह हमें बताता है:
- सिर्फ बड़े मॉडल न बनाएं: कभी-कभी, एक छोटा, अच्छी तरह से प्रशिक्षित मॉडल जो आपकी भाषा बोलता है, उस विशाल मॉडल से बेहतर होता है जो आपको मुश्किल से समझ पाता है।
- विशेषज्ञता (Specialization) महत्वपूर्ण है: यदि आप चाहते हैं कि एक छोटा AI लिखे, तो उसे एक चीज़ सिखाएं और उसे उसमें महारत हासिल करने दें। उससे एक साथ सब कुछ करने के लिए न कहें।
- भाषा मायने रखती है: हम बस अंग्रेजी को अफ्रीकी भाषाओं में कॉपी-पेस्ट नहीं कर सकते। हमें कस्टम-निर्मित पुस्तकालयों (MzansiText) और कस्टम-प्रशिक्षित छात्रों (MzansiLM) की आवश्यकता है ताकि तकनीक दक्षिण अफ्रीका में सभी के लिए काम कर सके।
संक्षेप में, शोधकर्ताओं ने एक छोटे, स्थानीय और बहुत सक्षम AI का निर्माण किया है जो यह साबित करता है कि अपने समुदाय के लिए AI को काम करने लायक बनाने के लिए आपको अरबों डॉलर के बजट की आवश्यकता नहीं है—आपको बस सही डेटा और सही रणनीति की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।