TildeOpen LLM: Leveraging Curriculum Learning to Achieve Equitable Language Representation
यह शोध पत्र टिल्डेओपन (TildeOpen) एलएलएम (LLM) का परिचय देता है, जो एक 30-बिलियन-पैरामीटर वाला ओपन-वेट मॉडल है जो बिना अतिरिक्त कम्प्यूटेशनल संसाधनों की आवश्यकता के, डेटा असंतुलन को दूर करने के लिए करिकुलम लर्निंग और डेटासेट अपसैंपलिंगिंग का उपयोग करके 34 यूरोपीय भाषाओं, विशेष रूप से कम-संसाधन वाले समूहों के लिए उत्कृष्ट प्रदर्शन प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अत्यंत बुद्धिमान पुस्तकालय बना रहे हैं जो 34 अलग-अलग यूरोपीय भाषाएं बोल सकता है। इस शोध पत्र का लक्ष्य एक बड़ी समस्या को ठीक करना है: अधिकांश "स्मार्ट लाइब्रेरी" (जिन्हें लार्ज लैंग्वेज मॉडल या LLM कहा जाता है) घमंडी होती हैं। वे अंग्रेजी पूरी तरह से बोलते हैं, और वे फ्रेंच या जर्मन जैसी बड़ी भाषाएं अच्छी तरह से बोलते हैं, लेकिन वे लातवियाई, एस्टोनियाई या लिथुआनियाई जैसी छोटी भाषाओं में लड़खड़ा जाते हैं।
क्यों? क्योंकि इंटरनेट पर ज्यादातर अंग्रेजी लिखी गई है। जब आप एक रोबोट को वेब से पढ़कर सीखने के लिए प्रशिक्षित करते हैं, तो वह 90% अंग्रेजी पढ़ता है और बाकी सब कुछ बहुत कम पढ़ता है। यह वैसा ही है जैसे इतालवी व्यंजनों को पढ़कर खाना बनाना सीखने की कोशिश करना; आप एक इतालवी शेफ तो बन जाएंगे, लेकिन आपको पारंपरिक लातवियाई राई ब्रेड (rye bread) बनाने के बारे में कुछ पता नहीं होगा।
यहाँ Tilde (एक लातवियाई टेक कंपनी) की टीम ने TildeOpen बनाया है, जो एक नया पुस्तकालय है जो हर भाषा के साथ समान सम्मान के साथ व्यवहार करता है, और इसके लिए उन्होंने कुछ चतुर युक्तियों का उपयोग किया है।
1. "निष्पक्षता" वाला शब्दकोश (द टोकनाइज़र)
सबसे पहले, उन्हें एक शब्दकोश बनाना था। AI में, शब्दों को "टोकन" नामक छोटे टुकड़ों में तोड़ा जाता है।
- समस्या: मानक शब्दकोशों में, अंग्रेजी का एक सरल वाक्य 5 टोकन ले सकता है, लेकिन एस्टोनियाई में वही वाक्य 15 टोकन ले सकता है। यह AI को "हकलाने" पर मजबूर करता है और छोटी भाषाओं में कुछ शब्द कहने के लिए बहुत अधिक मानसिक शक्ति खर्च करवाता है।
- समाधान: उन्होंने शब्दकोश को इस तरह से पुनर्गठित किया कि लातवियाई में एक वाक्य में लगभग उतने ही टोकन होते हैं जितने अंग्रेजी में। यह ऐसा है जैसे हर किसी को उनके पैर के आकार के बावजूद एक ही आकार का जूता देना, ताकि हर कोई समान गति से दौड़ सके।
2. "पाठ्यक्रम" वाला स्कूल शेड्यूल (प्रशिक्षण रणनीति)
यह इस शोध पत्र का सबसे बड़ा नवाचार है। आमतौर पर, AI प्रशिक्षण एक अराजक बुफे की तरह होता है जहाँ AI जो भी मेज पर मिले उसे खा लेता है। चूंकि अंग्रेजी का खाना बहुत अधिक उपलब्ध है, इसलिए AI ज्यादातर अंग्रेजी ही खाता है।
Tilde ने इसके बजाय एक स्कूल पाठ्यक्रम चलाने का निर्णय लिया, जिसमें तीन अलग-अलग चरण शामिल हैं:
- चरण 1 (सुबह की कक्षा): वे AI को एक संतुलित भोजन खिलाने के लिए मजबूर करते हैं। इसे लातवियाई, फिनिश, पोलिश और अंग्रेजी के समान हिस्से मिलते हैं। यह सुनिश्चित करता है कि यह हर भाषा को समान रूप से सीखे।
- चरण 2 (लंच ब्रेक): यहाँ, वे AI को स्वाभाविक रूप से खाने देते हैं। इसे अंग्रेजी और जर्मन का एक विशाल भोज मिलता है (क्योंकि वहां बहुत सारा डेटा उपलब्ध है), लेकिन इसे छोटी भाषाओं का एक अच्छा साइड डिश भी मिलता है। यह AI को जटिल अवधारणाओं और विशाल ज्ञान को सीखने में मदद करता है।
- चरण 3 (फाइनल एग्जाम): वे वापस संतुलित भोजन पर आते हैं। वे स्नातक होने से ठीक पहले AI को छोटी भाषाओं का अभ्यास करने के लिए मजबूर करते हैं। यह उसके कौशल को "पॉलिश" करता है ताकि वह उन्हें भूल न जाए।
3. "अपसैंपलिंग" वाली ट्रिक
उन भाषाओं के लिए जो इंटरनेट पर बहुत दुर्लभ हैं (जैसे कुछ बाल्टिक भाषाएं), वहां पर्याप्त "खाना" उपलब्ध नहीं है।
- समाधान: उन्होंने इन दुर्लभ भाषाओं के मौजूदा टेक्स्ट को कुछ बार "फोटोकॉपी" किया (2.5 गुना तक)। यह ऐसा है जैसे यदि आपके पास किसी दुर्लभ व्यंजन के लिए केवल एक रेसिपी हो, तो आप उसे पढ़ेंगे, फिर उसे फिर से पढ़ेंगे, और फिर से, ताकि आप उसके हर मसाले को याद कर सकें। यह AI को उन दुर्लभ भाषाओं को सीखने में मदद करता है जिनके लिए अभी नया डेटा मौजूद नहीं है।
4. "कचरे" की सफाई (डेटा फ़िल्टरिंग)
इंटरंतनेट कचरे से भरा है। इस प्रोजेक्ट के लिए, उन्हें रूसी-भाषा के डेटा के प्रति बहुत सावधान रहना पड़ा।
- समस्या: वेब पर रूसी भाषा की बहुत सारी सामग्री राज्य-प्रायोजित प्रचार (फेक न्यूज, नफरत भरे भाषण, या राजनीतिक हेरफेर) है। यदि AI इसे पढ़ता है, तो यह झूठ मान सकता है या नफरत भरे भाषण दोहरा सकता है।
- समाधान: उन्होंने एक सख्त लाइब्रेरियन की तरह काम किया। उन्होंने प्रचार फैलाने के लिए जाने जाने वाले पूरे के पूरे वेबसाइटों को हटा दिया और शेष टेक्स्ट से विशिष्ट विषयों (जैसे युद्ध या राजनीतिक हेरफेर) को फ़िल्टर कर दिया। वे चाहते थे कि AI रूसी की भाषा सीखे, न कि राज्य का प्रचार।
परिणाम: एक निष्पक्ष AI
जब उन्होंने TildeOpen का परीक्षण किया:
- यह अधिक स्मार्ट है: भले ही उन्होंने अन्य विशाल मॉडलों की तुलना में कम डेटा (कम कंप्यूटर घंटों का उपयोग करके) पर इसे प्रशिक्षित किया था, फिर भी इसने बाल्टिक, स्लाविक और फिनो-यूगरिक भाषाओं में टेक्स्ट लिखने और समझने में बेहतर प्रदर्शन किया।
- कम गलतियाँ: जब इंसानों ने लेखन की जांच की, तो TildeOpen ने लातवियाई और एस्टोनियाई जैसी भाषाओं के लिए अन्य अग्रणी मॉडलों की तुलना में 10 गुना कम गलतियाँ कीं।
- ओपन सोर्स: उन्होंने अपना काम छिपाया नहीं। उन्होंने इसे Hugging Face (AI के लिए एक सार्वजनिक पुस्तकालय) पर डाल दिया ताकि कोई भी इसे मुफ्त में उपयोग कर सके।
मुख्य निष्कर्ष
इस शोध पत्र को भाषाई लोकतंत्र के घोषणापत्र के रूप में देखें। लेखकों ने साबित किया है कि एक महान AI बनाने के लिए आपको अरबों डॉलर या शहर के आकार के सुपरकंप्यूटर की आवश्यकता नहीं है। आपको बस इस बात के बारे में स्मार्ट होना चाहिए कि आप इसे डेटा कैसे खिलाते हैं। छोटी भाषाओं के साथ बड़ी भाषाओं के समान सम्मान के साथ व्यवहार करके, उन्होंने एक ऐसा मॉडल बनाया है जो अधिक निष्पक्ष, अधिक सटीक और यूरोप के सभी लोगों के लिए बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।