Optimizing Korean-Centric LLMs via Token Pruning
यह शोध पत्र यह प्रदर्शित करता है कि टोकन प्रूनिंग, जो छोटे कोरियाई-केंद्रित शब्दावली विन्यास बनाने के लिए अप्रासंगिक भाषा मापदंडों को हटा देता है, बहुभाषी एलएलएम (LLMs) में जनरेशन स्थिरता और कोरियाई-विशिष्ट मशीन अनुवाद प्रदर्शन को महत्वपूर्ण रूप से बढ़ाता है, जो केवल मामूली विलंबता सुधारों के बावजूद इसे मेमोरी-बाधित परिनियोजन के लिए एक प्रभावी अनुकूलन रणनीति के रूप में प्रमाणित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, अत्यंत बुद्धिमान लाइब्रेरियन (AI मॉडल) है जिसने दुनिया की हर किताब पढ़ रखी है। यह लाइब्रेरियन 100 भाषाओं में धाराप्रवाह बोल सकता है। वे अविश्वसनीय रूप से जानकार हैं, लेकिन वे अपने साथ एक बहुत भारी बैकपैक भी ले जा रहे हैं, जिसमें उन भाषाओं के शब्दकोश भरे हैं जिनकी आपको आवश्यकता भी नहीं है।
यदि आप इस लाइब्रेरियन से कोरियाई (Korean) में एक कहानी लिखने के लिए कहते हैं, तो वे गलती से कोई फ्रांसीसी शब्द या चीनी अक्षर निकाल सकते हैं क्योंकि उनका मस्तिष्क उन अन्य भाषाओं से भरा हुआ है। साथ ही, उनका बैकपैक इतना भारी है कि उन्हें सही किताब खोजने के लिए शेल्फ तक जाने में काफी समय लगता है।
यह पेपर उस लाइब्रेरियन को कोरियाई कार्यों के लिए एक हल्का और अधिक केंद्रित बैकपैक देने के बारे में है।
समस्या: "बहुभाषीता का अभिशाप" (The Curse of Multilinguality)
लेखकों ने देखा कि आधुनिक AI मॉडल हर चीज़ पर प्रशिक्षित होते हैं: अंग्रेजी, चीनी, स्पेनिश, कोरियाई, आदि। हालांकि यह उन्हें "सार्वभौमिक" बनाता है, लेकिन यह कोरियाई उपयोगकर्ताओं के लिए दो समस्याएं पैदा करता है:
- भ्रम (Confusion): AI भ्रमित हो जाता है और कभी-कभी गलत भाषा बोलता है (जैसे एक शेफ जिसे सुशी बनाना आता है लेकिन वह गलती से इतालवी पास्ता की सामग्री उठाने लगता है)।
- भार (Bloat): AI उन भाषाओं के लाखों "शब्दों" (टोकन) को ढोता रहता है जिनका उपयोग नहीं किया जा रहा है, जिससे मेमोरी बर्बाद होती है और काम धीमा हो जाता है।
समाधान: "टोकन प्रूनिंग" (The Great Purge - एक बड़ी छंटनी)
शोधकर्ताओं ने इन AI मॉडलों पर सर्जरी करने का निर्णय लिया। उन्होंने AI के सोचने के तरीके (मस्तिष्क की संरचना) को नहीं बदला; उन्होंने बस उस शब्दावली के हिस्सों को काट दिया जो कोरियाई या अंग्रेजी नहीं हैं।
इसे इस तरह समझें:
- मूल मॉडल: 50 भाषाओं में 1,000,000 किताबों वाला एक पुस्तकालय।
- प्रून्ड मॉडल (EnKo): केवल 40,000 किताबों वाला एक पुस्तकालय, लेकिन हर एक किताब या तो अंग्रेजी में है या कोरियाई में। फ्रांसीसी, जर्मन और जापानी की किताबों को फेंक दिया गया है।
उन्होंने यह देखने के लिए कई प्रसिद्ध AI परिवारों (जैसे Qwen, Gemma, और Llama) पर परीक्षण किया कि क्या अतिरिक्त किताबें खोने के बाद भी लाइब्रेरियन बुद्धिमान रहेगा।
उन्होंने क्या पाया (परिणाम)
1. लाइब्रेरियन कुछ भी नहीं भूला
आश्चर्यजनक रूप से, जब उन्होंने कोरियाई में सामान्य ज्ञान, सांस्कृतिक पहेलियों और तर्क संबंधी पहेलियों पर AI का परीक्षण किया, तो "प्रून्ड" (छंटनी किए गए) मॉडल मूल, भारी-भरकम मॉडलों के बराबर ही बेहतर प्रदर्शन कर रहे थे।
- उपमा: यह ऐसा है जैसे यह महसूस करना कि सियोल के बारे में एक महान कहानी लिखने के लिए आपको फ्रांसीसी इतिहास के पूरे विश्वकोश की आवश्यकता नहीं थी। उन किताबों को हटाने से लाइब्रेरियन कम बुद्धिमान नहीं हुआ; बल्कि वह अधिक केंद्रित हो गया।
2. "भाषा का भ्रम" गायब हो गया
यह सबसे बड़ी जीत थी। प्रूनिंग से पहले, AI कभी-कभी कोरियाई बोलने के दौरान गलती से चीनी या अंग्रेजी में फिसल जाता था। प्रूनिंग के बाद, AI अत्यंत सुसंगत हो गया।
- उपमा: एक रेडियो स्टेशन की कल्पना करें जो पहले जैज़, कंट्री और हेवी मेटल का मिश्रण बजाता था। अब, यह केवल कोरियाई पॉप बजाता है। आपको कभी चिंता करने की ज़रूरत नहीं है कि गलत गाना बज जाएगा। "वर्ड-लेवल पास रेट" (AI कितनी बार सही भाषा बोलता है) लगभग 100% तक पहुँच गया।
3. अनुवाद बेहतर हो गया
अंग्रेजी और कोरियाई के बीच अनुवाद करते समय, प्रून्ड मॉडल्स ने मूल मॉडल्स की तुलना में बेहतर काम किया।
- उपमा: अन्य भाषाओं के "शोर" को हटाकर, अंग्रेजी और कोरियाई के बीच का संकेत (signal) अधिक स्पष्ट हो गया। यह शोर मचाती भीड़ की आवाज़ को कम करने जैसा है ताकि आप अपने दोस्त की बात स्पष्ट रूप से सुन सकें।
4. गति का आश्चर्य
शोधकर्ताओं को उम्मीद थी कि मॉडल आकार में छोटे होने के कारण बहुत तेज़ चलेंगे। वे थोड़े तेज़ तो हुए, लेकिन बहुत अधिक नहीं।
- उपमा: अतिरिक्त किताबों को हटाने से बैकपैक हल्का हो गया, जिससे लाइब्रेरियन थोड़ा तेज़ चला। हालाँकि, असली बाधा बैकपैक नहीं थी; बल्कि लाइब्रेरियन के मस्तिष्क की प्रोसेसिंग स्पीड थी। इसलिए, मुख्य लाभ गति नहीं था—बल्कि मेमोरी की बचत थी। मॉडल अब छोटे, सस्ते कंप्यूटरों पर चल सकता है।
एक पेच (The One Catch)
इसमें एक छोटा सा मोड़ था। कुछ विशिष्ट AI मॉडलों (जैसे Qwen श्रृंखला) के लिए, बैकपैक में कुछ चीनी शब्दों को रखने से वास्तव में उन्हें तर्क संबंधी पहेलियाँ सुलझाने में मदद मिली।
- क्यों? पता चला कि इन विशिष्ट AIओं ने कोरियाई और चीनी विचारों को आपस में जोड़कर सोचना सीखा था। यदि आप चीनी शब्दों को काट देते हैं, तो वे तर्क करने में थोड़े "कम बुद्धिमान" हो जाते हैं।
- सबक: आपको क्या काटना है, इसके बारे में सावधान रहना चाहिए। कभी-कभी, थोड़ा सा "विदेशी" ज्ञान मस्तिष्क को बेहतर ढंग से काम करने में मदद करता है।
निष्कर्ष (The Bottom Line)
यह पेपर साबित करता है कि कोरिया-विशिष्ट अनुप्रयोगों के लिए, आपको एक विशाल, बहुभाषी राक्षस की आवश्यकता नहीं है। आप अनावश्यक चर्बी को हटा सकते हैं, केवल आवश्यक अंग्रेजी और कोरियाई शब्दों को रख सकते हैं, और अंत में एक ऐसा AI प्राप्त कर सकते हैं जो है:
- अधिक स्थिर (कोई भाषा का मिश्रण नहीं)।
- अनुवाद में बेहतर।
- चलाने में सस्ता (छोटे उपकरणों पर फिट होता है)।
यह एक संप्रभु, स्थानीय AI बनाने की रणनीति है जो लीन (lean), सटीक और कोरियाई भाषा के लिए पूरी तरह से ट्यून किया गया है, बिना पूरी दुनिया की शब्दावली का बोझ उठाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।