Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian
यह शोध पत्र विख्र (Vikhr) को प्रस्तुत करता है, जो रूसी भाषा के लिए ओपन-सोर्स, द्विभाषी इंस्ट्रक्शन-ट्यून्डेड लार्ज लैंग्वेज मॉडल्स की एक श्रृंखला है, जो लाइटवेट लोरा (LoRA) एडेप्टर पर निर्भर रहने के बजाय टोकेनाइज़र वोकैबुलरी को अनुकूलित करके और सभी वेट्स को पूरी तरह से फाइन-ट्यून करके बेहतर प्रदर्शन और कम्प्यूटेशनल दक्षता प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास मिस्ट्रल (Mistral) नाम का एक शानदार, विश्व स्तरीय लाइब्रेरियन है। मिस्ट्रल ने अंग्रेजी में लिखी गई लगभग हर किताब पढ़ ली है। वह अविश्वसनीय रूप से बुद्धिमान, तार्किक और सहायक है। हालाँकि, मिस्ट्रल की एक बड़ी कमजोरी है: उसे रूसी भाषा का बहुत कम ज्ञान है।
यदि आप मिस्ट्रल से रूसी में कोई प्रश्न पूछते हैं, तो वह संघर्ष करता है। वह उत्तर देने की कोशिश तो करता है, लेकिन क्योंकि वह रूसी शब्दों को अच्छी तरह नहीं जानता, इसलिए वह हर शब्द को छोटे, अर्थहीन अक्षरों में तोड़ देता है (जैसे किसी वाक्य को पूरे चित्र के बजाय केवल व्यक्तिगत पहेली के टुकड़ों को देखकर पढ़ने की कोशिश करना)। यह उसे धीमा, भ्रमित और अंग्रेजी शब्दों को मिला देने वाला या व्याकरण संबंधी गलतियाँ करने वाला बना देता है। वह एक ऐसे पर्यटक की तरह है जो केवल एकल अक्षरों के शब्दकोश का उपयोग करके किसी विदेशी देश में भोजन ऑर्डर करने की कोशिश कर रहा है।
इस शोध पत्र के लेखकों ने, जिन्होंने विक्र (Vikhr) नामक एक मॉडल बनाया (जिसका अर्थ है "तेज हवा का झोंका"), इस समस्या को ठीक करने का निर्णय लिया। उन्हें केवल मिस्ट्रल को कुछ रूसी वाक्यांश सिखाने के बजाय, उन्हें एक पूर्ण रूप से द्विभाषी विशेषज्ञ बनाने के लिए पूरी तरह से बदल दिया।
इसे कैसे किया गया, इसका विवरण रोजमर्रा के कुछ उपमाओं के साथ यहाँ दिया गया है:
1. उसे एक बेहतर शब्दकोश देना (शब्दावली अनुकूलन - Vocabulary Adaptation)
सबसे पहले, उन्होंने महसूस किया कि मिस्ट्रल का "शब्दकोश" अंग्रेजी शब्दों से भरा था और उसमें रूसी के लिए केवल कुछ ही अनाड़ी प्रविष्टियाँ थीं। इसलिए, उन्होंने पुराना शब्दकोश फेंक दिया और विशेष रूप से रूसी के लिए एक नया शब्दकोश बनाया।
- उपमा: कल्पना कीजिए कि एक ऐसे शब्दकोश को बदलने की जिसमें "apple" को "a-p-p-l-e" के रूप में परिभाषित किया गया है, उसे एक ऐसे शब्दकोश से बदलना जो इसे "apple" के रूप में परिभाषित करता है। अब, जब विक्र "apple" शब्द देखता है, तो वह इसे तुरंत एक अवधारणा के रूप में पहचान लेता है, न कि चार अलग-अलग अक्षरों के रूप में। यह उसे बहुत तेज़ और अधिक कुशल बनाता है।
2. इमर्शन स्कूल (निरंतर प्री-ट्रेनिंग - Continued Pre-training)
इसके बाद, उन्होंने केवल विक्र को कुछ फ्लैशकार्ड नहीं दिखाए। उन्होंने उसे एक "इमर्शन स्कूल" (तल्लीनता स्कूल) में डाल दिया। उन्होंने उसे उच्च गुणवत्ता वाले रूसी स्रोतों—जैसे विकिपीडिया, समाचार लेख, वैज्ञानिक शोध पत्र और तकनीकी ब्लॉगों—से अरबों शब्द खिलाए।
- उपमा: यह एक अंग्रेजी बोलने वाले को एक वर्ष के लिए मॉस्को में रहने के लिए भेजने जैसा है। वे केवल व्याकरण के नियम नहीं सीखते; वे संस्कृति, बोलचाल की भाषा और लोग वास्तव में कैसे बात करते हैं, इसे आत्मसात करते हैं।
- सुरक्षा जाल: एक जोखिम था कि इस इमर्शन के दौरान विक्र अपनी अंग्रेजी तर्क और सोचने की क्षमता भूल सकता है (एक समस्या जिसे "कैटास्ट्रोफिक फॉरगेटिंग" कहा जाता है)। इसे रोकने के लिए, शोधकर्ताओं ने एक "मेमोरी एंकर" का उपयोग किया। उन्होंने धीरे से विक्र को याद दिलाया, "हे, अपनी पुरानी तार्किक सोच को मत भूलना," यह सुनिश्चित करते हुए कि रूसी सीखते समय वह बुद्धिमान बना रहे।
3. मददगार बनना सीखना (निर्देश ट्यूनिंग - Instruction Tuning)
अंत में, उन्होंने विक्र को निर्देशों का पालन करना सिखाया। उन्होंने उसे रूसी और अंग्रेजी दोनों में प्रश्न-उत्तर के विशाल संग्रह दिए।
- उपमा: यह जॉब ट्रेनिंग (कार्य प्रशिक्षण) की तरह है। मिस्ट्रल तथ्यों को जानता था, लेकिन विक्र ने सीखा कि एक मददगार सहायक कैसे быть। उसने सीखा कि प्रश्नों के उत्तर विनम्रता से कैसे दें, रेसिपी कैसे लिखें, अवधारणाओं को कैसे समझाएं और स्वाभाविक रूप से कैसे चैट करें। उन्होंने प्रशिक्षण डेटा को भी साफ किया, निम्न-गुणवत्ता वाले या भ्रमित करने वाले उदाहरणों को बाहर निकाल दिया, ताकि विक्र केवल सर्वोत्तम उदाहरणों से सीख सके।
परिणाम: विक्र (Vikhr)
परिणामस्वरूप विक्र प्राप्त हुआ, जो एक ओपन-सोर्स एआई मॉडल है जो है:
- प्रवाहपूर्ण: यह अंग्रेजी शब्दों को मिलाए बिना या शब्दों को अक्षरों में तोड़े बिना स्वाभाविक रूप से रूसी बोलता है।
- तेज़: क्योंकि वह अक्षरों के बजाय पूरे शब्दों को पहचानता है, इसलिए वह जानकारी को बहुत तेज़ी से संसाधित करता है।
- बुद्धिमान: वह मूल अंग्रेजी मॉडल के तार्किक तर्क कौशल को बनाए रखते हुए रूसी के गहरे सांस्कृतिक और भाषाई ज्ञान को जोड़ता है।
- द्विभाषी: वह अभी भी अंग्रेजी कार्यों को अच्छी तरह से संभाल सकता है, जिससे यह उन लोगों के लिए उपयोगी हो जाता है जो भाषाओं के बीच स्विच करते हैं।
यह क्यों महत्वपूर्ण है
विक्र से पहले, अधिकांश रूसी एआई मॉडल या तो:
- शून्य से बनाए गए थे (जो महंगा है और अक्सर कम बुद्धिमान होते हैं)।
- केवल एक पतले "पैच" के साथ ऊपर से जोड़े गए अंग्रेजी मॉडल थे (जो धीमे और अक्षम थे)।
विक्र यह सिद्ध करता है कि आप एक शीर्ष-स्तरीय अंग्रेजी एआई को उचित रूप से अपने "शब्दकोश" को अनुकूलित करके, गुणवत्तापूर्ण डेटा में उसे तल्लीन करके और उसे मददगार बनने के लिए प्रशिक्षित करके एक शीर्ष-स्तरीय रूसी एआई में बदल सकते हैं। शोधकर्ताओं ने अपने उपकरण और तरीके साझा किए हैं ताकि अन्य लोग बेलारूसी या कज़ाख जैसी अन्य भाषाओं के लिए भी ऐसा कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।