Pretraining and Benchmarking Modern Encoders for Latvian
यह शोध पत्र RoBERTa, DeBERTaV3 और ModernBERT आर्किटेक्चर पर आधारित एक मोनोलिंगुअल एनकोडर सुइट को प्री-ट्रेनिंग और बेंचमार्किंग करके लातवियाई भाषा मॉडलों की कमी को संबोधित करता है, जो यह प्रदर्शित करता है कि परिणामी lv-deberta-base मॉडल मौजूदा बहुभाषी और मोनोलिंगुअल बेसलाइन से बेहतर प्रदर्शन करता है और साथ ही बेहतर दक्षता भी प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र को लातवियाई (Latvian) बोलना सिखाने की कोशिश कर रहे हैं।
लंबे समय तक, इसे करने का सबसे अच्छा तरीका छात्र को 100 अलग-अलग भाषाओं की किताबों से भरी एक विशाल, अराजक लाइब्रेरी में डाल देना था। यही वह काम है जो मौजूदा "बहुभाषी" AI मॉडल (जैसे गूगल या मेटा के बड़े मॉडल) करते हैं। वे एक साथ सब कुछ सीखने की कोशिश करते हैं। हालांकि वे कई भाषाओं में अच्छे हैं, लेकिन वे लातवियाई के साथ एक दूर के रिश्तेदार जैसा व्यवहार करते हैं—बुनियादी बातें सही कर देते हैं लेकिन बारीकियों, स्लैंग और गहरे सांस्कृतिक संदर्भों को छोड़ देते हैं क्योंकि उन्हें अपना ध्यान कई अन्य भाषाओं में बांटना पड़ता है।
समस्या:
लातवियाई एक "लो-रिसोर्स" (कम संसाधन वाली) भाषा है। अंग्रेजी या स्पेनिश की तुलना में इसके पास डिजिटल टेक्स्ट बहुत कम उपलब्ध है। उस बड़ी बहुभाषी लाइब्रेरी में, लातवियाई वाला हिस्सा छोटा और धूल भरा है। छात्र (AI) भ्रमित हो जाता है, गलत चीजें सीख लेता है, या वास्तव में पूरी तरह से कुशल होने के लिए पर्याप्त नहीं सीख पाता है।
समाधान:
लेखक, आर्टुर ज़नोटिन्स (Arturs Znotins) ने निर्णय लिया कि वह केवल लातवियाई के लिए एक विशेष स्कूल बनाएंगे। एक सामान्य लाइब्रेरी के बजाय, उन्होंने एक केंद्रित कक्षा बनाई जो केवल उच्च गुणवत्ता वाली लातवियाई किताबों, समाचारों, ट्वीट्स, कानूनी दस्तावेजों और कहानियों से भरी थी।
उन्होंने क्या किया, इसे सरल रूप में यहाँ दिया गया है:
1. सर्वश्रेष्ठ टेक्स्ट इकट्ठा करना (पाठ्यक्रम)
उन्होंने केवल यादृच्छिक इंटरनेट टेक्स्ट नहीं उठाया। उन्होंने एक सख्त लाइब्रेरियन की तरह काम किया:
- मिश्रण: उन्होंने विशाल वेब क्रॉल (जैसे लातवियाई इंटरनेट का एक बड़ा स्कैन) को सावधानीपूर्वक चुने गए संग्रहों (जैसे आधिकारिक समाचार, कानूनी पाठ और शैक्षणिक शोध पत्र) के साथ जोड़ा।
- सफाई: उन्होंने कचरा बाहर निकाल दिया—डुप्लिकेट, स्पैम और खराब तरीके से लिखे गए टेक्स्ट को। उन्होंने यह सुनिश्चित करने के लिए एक "परप्लेक्सिटी टेस्ट" (यह जांचने का तरीका कि क्या कोई वाक्य मूल वक्ता को स्वाभाविक लगता है) का भी उपयोग किया कि केवल धाराप्रवाह लातवियाई ही आगे बढ़े।
- परिणाम: लातवियाई के लिए समर्पित 6.43 बिलियन शब्दों का एक विशाल, स्वच्छ डेटासेट।
2. छात्रों का निर्माण (मॉडल)
उन्होंने केवल एक छात्र नहीं बनाया; उन्होंने तीन अलग-अलग "शिक्षण शैलियों" (आर्किटेक्चर) का उपयोग करके छात्रों की एक पूरी क्लास बनाई:
- RoBERTa: भरोसेमंद, क्लासिक छात्र जो पढ़ने और गायब शब्दों का अनुमान लगाने से सीखता है।
- DeBERTaV3: उन्नत छात्र जो इस बात पर अतिरिक्त ध्यान देता है कि वाक्य में शब्द एक-दूसरे से कैसे संबंधित हैं, न कि केवल वे क्या हैं।
- ModernBERT: भविष्य का छात्र जो नई, तेज़ तकनीक की मदद से बिना थके एक बार में बहुत लंबे दस्तावेज़ (8,000 शब्दों तक!) पढ़ सकता है।
उन्होंने इन छात्रों को उस विशाल लातवियाई डेटासेट पर प्रशिक्षित किया, उन्हें विशेषज्ञ बनने तक पढ़ने और सीखने दिया।
3. अंतिम परीक्षा (बेंचमार्क)
यह देखने के लिए कि वास्तव में कौन सबसे अच्छा है, उन्होंने केवल उनसे निबंध लिखने के लिए नहीं कहा। उन्होंने उन्हें परीक्षणों का एक विविध सेट दिया:
- सेंटिमेंट एनालिसिस (भावना विश्लेषण): "क्या यह ट्वीट खुश है या दुखी?" (जैसे मूड रिंग को पढ़ना)।
- नेम्ड एंटिटी रिकग्निशन (नाम पहचान): "वह व्यक्ति कौन है, और वह कहाँ है?" (जैसे कहानी में नामों को पहचानना)।
- कॉमनसेन्स रीजनिंग (सामान्य तर्क - COPA): "यदि कार खराब हो गई, तो क्या उन्होंने मैकेनिक को बुलाया या चंद्रमा पर उड़ गए?" (यह परीक्षण करना कि क्या AI वास्तविक दुनिया के बारे में समझता है)।
- वर्ड सेंस डिसएम्बिग्यूएशन (शब्द अर्थ स्पष्टीकरण): "क्या 'बैंक' का अर्थ पैसे रखने की जगह है या नदी का किनारा?" (गहरी समझ का परीक्षण करना)।
परिणाम: कौन जीता?
परिणाम आश्चर्यजनक और प्रभावशाली थे:
- विजेता:
lv-deberta-baseमॉडल लगभग हर चीज़ में जीता। - अंडरडॉग की कहानी: यह विजेता मॉडल वास्तव में कई बड़े बहुभाषी दिग्गजों की तुलना में छोटा है (इसके पास 111 मिलियन "मस्तिष्क कोशिकाएं" हैं बनाम बड़े दिग्गजों के 560 मिलियन)। फिर भी, क्योंकि इसे केवल लातवियाई पर प्रशिक्षित किया गया था, इसने भाषा को बहुत बेहतर ढंग से समझा।
- बड़ा आश्चर्य: "कॉमनसेन्स रीजनिंग" परीक्षण पर, बड़े बहुभाषी मॉडल बहुत खराब थे (एक भ्रमित बच्चे की तरह स्कोर कर रहे थे), जबकि नए लातवियाई मॉडल ने एक तेज दिमाग वाले हाई स्कूल छात्र की तरह स्कोर किया। इसने आखिरकार लातवियाई वाक्यों के पीछे के तर्क को समझ लिया।
- लंबे दस्तावेज़ पढ़ने वाले: "ModernBERT" मॉडल लंबे दस्तावेज़ों को तेज़ी से पढ़ने में बहुत अच्छे थे, जिससे साबित हुआ कि वे कुशल हैं, भले ही वे हर एक परीक्षण में चैंपियन को नहीं हरा सके।
यह क्यों महत्वपूर्ण है
पुराने बहुभाषी मॉडलों को एक ऐसे सार्वभौमिक अनुवादक के रूप में सोचें जो हर चीज़ में ठीक है लेकिन किसी भी चीज़ में महान नहीं है।
यह नया पेपर हमें लातवियाई के लिए नेटिव स्पीकर (मूल वक्ता) देता है।
- दक्षता: ये मॉडल चलाने में छोटे और तेज़ हैं, जिसका अर्थ है कि इनका उपयोग साधारण कंप्यूटरों या फोन पर किया जा सकता है, न कि केवल विशाल सुपरकंप्यूटरों पर।
- गुणवत्ता: वे भाषा की "आत्मा" को बेहतर समझते हैं, जिससे वे चैटबॉट्स, कानूनी दस्तावेज़ विश्लेषण, या डॉक्टरों को लातवियाई चिकित्सा रिकॉर्ड समझने में मदद करने के लिए आदर्श बनते हैं।
- ओपन सोर्स: लेखक ने इन मॉडलों को गुप्त नहीं रखा। उन्होंने इन्हें जनता के लिए जारी किया, जैसे कि सभी को एक नए, बेहतर पुस्तकालय की चाबियाँ देना।
संक्षेप में: लेखक ने महसूस किया कि किसी विशिष्ट भाषा में महारत हासिल करने के लिए, आपको दुनिया के बारे में सब कुछ जानने की आवश्यकता नहीं है; आपको बस उस भाषा को गहराई से जानने की आवश्यकता है। विशेष रूप से लातवियाई पर ध्यान केंद्रित करके, उन्होंने ऐसा AI बनाया जो किसी भी विशाल, सामान्य-उद्देश्य वाले AI की तुलना में भाषा को बेहतर बोलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।