Paramanu: Compact and Competitive Monolingual Language Models for Low-Resource Morphologically Rich Indian Languages
यह शोधपत्र परमाणु (Paramanu) का परिचय देता है, जो पांच प्रमुख भारतीय भाषाओं के लिए ओपन-सोर्स डेटा से शून्य से प्रशिक्षित कॉम्पैक्ट और लागत प्रभावी मोनोलिंगुअल लैंग्वेज मॉडल्स का एक परिवार है, जो अपने छोटे आकार और सिंगल-जीपीयू ट्रेनिंग बजट के बावजूद बड़े मल्टीलिंगुअल मॉडल्स को पछाड़ने के लिए विशेष टोकेनाइज़र और प्रशिक्षण तकनीकों का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें। लंबे समय से, यह लाइब्रेरी लगभग पूरी तरह से अंग्रेजी में लिखी गई किताबों से भरी हुई है। हालांकि इसमें अन्य भाषाओं की कुछ किताबें भी हैं, लेकिन वे अक्सर अंग्रेजी वाली किताबों के अनुवाद मात्र होती हैं, या उन्हें इस तरह लिखा जाता है जैसे कि पाठक अंग्रेजी में सोचता हो। यदि आप इस लाइब्रेरी में भारतीय भाषाओं के बारे में कोई किताब पढ़ने की कोशिश करते हैं, तो आप पाएंगे कि पन्ने फटे हुए हैं, शब्द छोटे-छोटे, भ्रमित करने वाले टुकड़ों में टूटे हुए हैं, या कहानी का कोई अर्थ ही नहीं निकलता।
आप जिस पेपर के बारे में पूछ रहे हैं, वह PARAMANU नामक एक नया, विशेष संग्रह पेश करता है। यहाँ बताया गया है कि उन्होंने इसे कैसे बनाया और यह क्यों महत्वपूर्ण है, जिसे सरल शब्दों में समझाया गया है।
समस्या: "एक ही आकार सबके लिए" वाला सूट सही नहीं बैठता
वर्तमान बड़े AI मॉडल अंग्रेजी बोलने वालों के लिए बने विशाल, भारी सूटों की तरह हैं। जब शोधकर्ता इन सूट्स को भारतीय भाषाओं (जैसे हिंदी, तमिल या बंगाली) के बोलने वालों पर थोपने की कोशिश करते हैं, तो सूट सही से फिट नहीं बैठता।
- "टूटे हुए शब्द" की समस्या: भारतीय भाषाएं "रूपात्मक रूप से समृद्ध" (morphologically rich) हैं, जिसका अर्थ है कि अर्थ जोड़ने के लिए शब्दों का आकार बहुत बदल जाता है (जैसे बहुवचन के लिए "s" जोड़ना या भूतकाल के लिए "ed" जोड़ना, लेकिन यह उससे कहीं अधिक जटिल है)। बड़े मॉडल अक्सर इन शब्दों को छोटे, बेकार टुकड़ों में काट देते हैं, जैसे कि पूरे सेब को केवल उसकी त्वचा काटकर खाने की कोशिश करना। यह AI को धीमा और अक्षम बना देता है।
- "अंग्रेजी मस्तिष्क" की समस्या: भले ही ये मॉडल भारतीय भाषाओं में बात करते हों, लेकिन वे अंदर से अंग्रेजी में ही "सोचते" हैं, जिससे अजीबोगरीब वाक्यांश या पूर्वाग्रह पैदा होते हैं।
- "बहुत महंगा" होने की समस्या: शुरुआत से एक नया AI बनाना आमतौर पर लाखों डॉलर खर्च करता है और इसके लिए सुपरकंप्यूटर की आवश्यकता होती है। यह भारत में शोधकर्ताओं या कम बजट वाले लोगों को अपने स्वयं के उपकरण बनाने से रोकता है।
समाधान: PARAMUANU के "दर्जी द्वारा तैयार किए गए" सूट
लेखकों ने PARAMANU बनाया, जो पांच छोटे, कस्टम-फिटेड AI मॉडलों का एक परिवार है। प्रत्येक को विशेष रूप से एक प्रमुख भारतीय भाषा के लिए डिज़ाइन किया गया है: बंगाली, हिंदी, मराठी, तमिल और तेलुगु।
इन्हें विशाल, भारी सूटों के रूप में नहीं, बल्कि हल्के, कस्टम-फिटेड यूनिफॉर्म के रूप में देखें जो विशेष रूप से उन लोगों के लिए बनाए गए हैं जो उन्हें पहनते हैं।
1. पैचवर्क नहीं, बल्कि शून्य से निर्माण
एक अंग्रेजी मॉडल लेने और फिर उसे भारतीय भाषाएं "सिखाने" के बजाय (जो कि एक फ्रांसीसी वक्ता को केवल फ्रांसीसी शब्दों का उपयोग करके हिंदी सिखाने जैसा है), उन्होंने इन मॉडलों को केवल भारतीय डेटा का उपयोग करके ज़मीन से तैयार किया है। यह स्थानीय ईंटों और लकड़ी का उपयोग करके घर बनाने जैसा है, बजाय इसके कि ऐसी सामग्री आयात की जाए जो जलवायु के अनुकूल न हो।
2. "स्मार्ट श्रेडर" (टोकनाइज़ेशन)
सबसे बड़े नवाचारों में से एक एक नया तरीका है जिससे शब्दों को तोड़ा जाता है, जिसे टोकनाइज़र कहा जाता है।
- पुराना तरीका: कल्पना कीजिए कि एक श्रेडर (shredder) है जो "unbelievable" जैसे शब्द को "un," "believ," "able" में काट देता है। यह मूल अर्थ को खो देता है।
- PARAMANU का तरीका: उन्होंने एक "स्मार्ट श्रेडर" बनाया जो भारतीय भाषाओं के व्याकरण को समझता है। यह शब्द के मूल (root) को बरकरार रखता है (जैसे "unbeliev") और केवल अंत (endings) को अलग करता है। यह AI को शब्द को तेज़ी से और कम "टुकड़ों" के साथ समझने में मदद करता है। इसे लो-फर्टिलिटी (low-fertility) कहा जाता है, जिसका अर्थ है कि यह अनावश्यक टुकड़े नहीं बनाता है।
3. "बजट-अनुकूल" निर्माण
सबसे आश्चर्यजनक बात इसकी लागत है। आमतौर पर, एक AI को प्रशिक्षित करना एक रॉकेट लॉन्च करने जैसा होता है; इसके लिए एक विशाल बजट की आवश्यकता होती है।
- PARAMANU की तरकीब: उन्होंने इन मॉडलों को एक सिंगल ग्राफिक्स कार्ड (एक मानक कंप्यूटर भाग) पर $1,000 से कम के बजट में प्रशिक्षित करने में सफलता प्राप्त की।
- उपमा: यह एक गैरेज में एक साधारण रिंच और कुछ सौ डॉलर का उपयोग करके एक हाई-परफॉर्मेंस रेस कार बनाने जैसा है, बजाय इसके कि आपको एक फैक्ट्री और दस लाख डॉलर के बजट की आवश्यकता हो। यह सीमित संसाधनों वाले शोधकर्ताओं को प्रतिस्पर्धी उपकरण बनाने की अनुमति देता है।
4. मेमोरी का विस्तार (कॉन्टेक्स्ट स्केलिंग)
AI मॉडलों की एक "मेमोरी लिमिट" (कॉन्टेक्स्ट विंडो) होती है कि वे एक बार में कितना टेक्स्ट पढ़ सकते हैं। आमतौर पर, यदि आप एक लंबी किताब पढ़ना चाहते हैं, तो आपको एक बड़े कंप्यूटर की आवश्यकता होती है।
- नवाचार: लेखकों ने एक गणितीय ट्रिक विकसित की (जिसे RoPE इंटरपोलेशन कहा जाता है) जो मॉडल की मेमोरी को "खींचने" (stretch) की अनुमति देती है।
- उपमा: कल्पना कीजिए कि आपके पास एक छोटा स्केल (रूलर) है। एक लंबा स्केल खरीदने के बजाय, उन्होंने स्केल पर निशान लगाने का एक तरीका आविष्कार किया ताकि स्केल के हर एक इंच का प्रतिनिधित्व एक मानचित्र पर एक मील के रूप में किया जा सके। यह मॉडल को महंगे हार्डवेयर की आवश्यकता के बिना लंबे टेक्स्ट अनुक्रमों को पढ़ने की अनुमति देता है।
परिणाम: छोटे लेकिन शक्तिशाली
जब उन्होंने इन छोटे मॉडलों (जिनमें 108 मिलियन से 367 मिलियन "पैरामीटर्स" तक होते हैं—इन्हें मॉडल के मस्तिष्क की कोशिकाएं समझें) का परीक्षण बहुत बड़े मल्टीलिंगुअल मॉडलों (जिनमें अरबों मस्तिष्क कोशिकाएं होती हैं) के विरुद्ध किया:
- द अंडरडॉग्स जीते: छोटे PARAMANU मॉडल अक्सर अपनी विशिष्ट भाषाओं में विशाल, महंगे मल्टीलिंगुअल मॉडलों से बेहतर प्रदर्शन करते हैं।
- दक्षता: उन्होंने प्रदर्शन और लागत के बीच एक बेहतर संतुलन हासिल किया। वे एक कॉम्पैक्ट, ईंधन-कुशल कार की तरह हैं जो पेट्रोल की भारी खपत करने वाली लिमोजिन से बेहतर माइलेज देती है।
"इंस्ट्रक्शन" लाइब्रेरी
इन मॉडलों को वास्तविक कार्यों (जैसे प्रश्न पूछना या आदेशों का पालन करना) के लिए उपयोगी बनाने के लिए, टीम ने बंगाली में "इंस्ट्रक्शन" (निर्देश) के उदाहरणों का एक सेट बनाया। फिर उन्होंने सावधानीपूर्वक इन उदाहरणों को अन्य चार भाषाओं में अनुवादित किया। यह AI को उसकी मातृभाषा में रेसिपी बुक देने जैसा है, जो उसे ठीक से सिखाता है कि उसे कौन से व्यंजन बनाने हैं।
सारांश
यह पेपर तर्क देता है कि जिन भाषाओं में व्याकरण समृद्ध है और डिजिटल संसाधन कम हैं, उनके लिए सबसे अच्छी रणनीति एक बड़ा, अधिक महंगा मॉडल बनाना नहीं है। इसके बजाय, सबसे अच्छी रणनीति छोटे, विशेषीकृत मॉडल बनाना है जो हैं:
- नेटिव (Native): केवल उस विशिष्ट भाषा पर प्रशिक्षित।
- स्मार्ट: एक ऐसा टोकनाइज़र उपयोग करना जो भाषा की संरचना को समझता हो।
- सुलभ (Accessible): जिसे किसी के भी मध्यम बजट के साथ प्रशिक्षित किया जा सके।
उन्होंने साबित कर दिया कि भारतीय भाषाओं के लिए एक महान AI बनाने के लिए आपको अरबों डॉलर के बजट की आवश्यकता नहीं है; आपको बस सही उपकरणों और भाषा की विशिष्ट आवश्यकताओं पर ध्यान केंद्रित करने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।