Konkani LLM: Multi-Script Instruction Tuning and Evaluation for a Low-Resource Indian Language
यह शोध पत्र सिंथेटिक कोंकणी-इंस्ट्रक्ट-100k डेटासेट और परिणामी कोंकणी एलएलएम (LLM) को पेश करके कम-संसाधन वाली, बहु-लिपि कोंकणी भाषा में लार्ज लैंग्वेज मॉडल्स की प्रदर्शन कमी को संबोधित करता है, जो इंस्ट्रक्शन ट्यूनिंग और मशीन ट्रांसलेशन कार्यों में प्रोप्रायटरी बेसलाइन्स के मुकाबले प्रतिस्पर्धी या बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, सर्वज्ञानी लाइब्रेरियन (एक लार्ज लैंग्वेज मॉडल) है जो हजारों भाषाएं बोल सकता है। हालाँकि, यदि आप उस लाइब्रेरियन से कोंकणी में कहानी सुनाने के लिए कहते हैं—जो भारत के तटीय क्षेत्रों में बोली जाने वाली एक सुंदर भाषा है—तो वह लड़खड़ा सकता है, रोबोटिक लग सकता है, या इसे हिंदी या मराठी के साथ मिला सकता है।
क्यों? क्योंकि कोंकणी एक दुर्लभ, बहुआयामी रत्न की तरह है जिसे डिजिटल दुनिया में अभी पर्याप्त रूप से तराशा नहीं गया है। यह "लो-रिसोर्स" (कम संसाधन वाली) है, जिसका अर्थ है कि एआई (AI) के अध्ययन के लिए पर्याप्त किताबें या डिजिटल नोट्स उपलब्ध नहीं हैं। इसे और कठिन बनाने के लिए, कोंकणी तीन अलग-अलग लिपियों में लिखी जाती है (जैसे तीन अलग-अलग चश्मे पहनना):
- देवनागरी (हिंदी में उपयोग की जाने वाली मानक लिपि)।
- रोमी (लैटिन अक्षर, जो गोवा के कैथोलिकों द्वारा उपयोग किए जाते हैं)।
- कन्नड़ (कर्नाटक में कोंकणी बोलने वालों द्वारा उपयोग की जाती है)।
अधिकांश एआई मॉडल केवल एक ही जोड़ी चश्मे को जानते हैं, या वे तीनों को एक साथ पहनने की कोशिश में भ्रमित हो जाते हैं।
समस्या: "भाषा संदूषण" (Language Contamination)
इस शोध पत्र के लेखकों ने देखा कि यहाँ तक कि सबसे स्मार्ट एआई (जैसे GPT-4 या Claude) भी कोंकली के साथ संघर्ष करते हैं। ऐसा नहीं है कि वे शब्द नहीं जानते; बल्कि यह है कि उन्हें सही ढंग से बोलने के लिए प्रशिक्षित नहीं किया गया है। वे अक्सर भाषा को "संदूषित" कर देते हैं, अनजाने में हिंदी या मराठी के शब्द शामिल कर देते हैं, या उनके पास उचित "पाठ्यपुस्तक" की कमी के कारण उनकी व्याकरण गलत हो जाता है।
समाधान: एक कस्टम "कोंकणी ट्यूटर" बनाना
शोधकर्ताओं ने एआई के लिए अपना स्वयं का विशेष प्रशिक्षण स्कूल बनाने का निर्णय लिया। उन्होंने इसे कैसे किया, यहाँ चरण-दर-चरण विवरण दिया गया है:
1. "कोंकणी-इंस्ट्रक्ट-100k" पाठ्यपुस्तक बनाना
चूंकि वास्तविक मानव-लिखित उदाहरण पर्याप्त नहीं थे, इसलिए उन्होंने एक शक्तिशाली एआई (Gemini) का उपयोग करके शून्य से एक नई पाठ्यपुस्तक लिखवाई।
- उपमा: कल्पना कीजिए कि आप एक छात्र को भाषा सिखाना चाहते हैं, लेकिन कोई पाठ्यपुस्तक नहीं है। तो, आप एक मास्टर शिक्षक को 1,00,000 अभ्यास प्रश्न और उत्तर लिखने के लिए नियुक्त करते हैं।
- ट्विस्ट: उन्होंने केवल यादृच्छिक (random) वाक्य नहीं मांगे। उन्होंने एक "ट्यूटर-स्टाइल" दृष्टिकोण का उपयोग किया। एआई ने केवल यह नहीं कहा, "यहाँ उत्तर है।" उसे अपना काम दिखाना था, जैसे कि गणित का छात्र दिखाता है: "पहले, मैंने संज्ञा का लिंग पहचाना, फिर मैंने क्रिया के नियम को लागू किया, और अंत में, यहाँ वाक्य है।"
- परिणाम: 1,00,000 से अधिक उदाहरणों का एक विशाल डेटासेट, जो तीनों लिपियों (देवनागरी, रोमी और कन्नड़) में पूरी तरह से संतुलित है।
2. "फाइन-ट्यूनिंग" सर्जरी
उन्होंने मौजूदा, स्मार्ट एआई मॉडल (जैसे Llama 3 और Qwen) को लिया और उन्हें यह नई पाठ्यपुस्तक अध्ययन के लिए दी।
- उपमा: इन एआई मॉडल को सामान्य उद्देश्य वाले डॉक्टरों के रूप में सोचें। वे चिकित्सा के बारे में बहुत कुछ जानते हैं। शोधकर्ताओं ने डॉक्टरों को बदला नहीं; उन्होंने उन्हें "कोंकणी मेडिसिन" में विशेषज्ञ बनने के लिए एक विशेष रेजिडेंसी भेजा।
- विधि: उन्होंने LoRA (लो-रैंक अडैप्टेशन) नामक तकनीक का उपयोग किया।
- रूपक: पूरे डॉक्टर के मस्तिष्क को फिर से बनाने के बजाय (जो महंगा और धीमा है), उन्होंने एक विशेष "स्टेथोस्कोप" एडॉप्टर जोड़ा। यह छोटा सा जुड़ाव एआई को कोंकणी की बारीकियों को विशेष रूप से सुनने और समझने में मदद करता है, बिना उसके बाकी ज्ञान को भूले।
3. "कोंकणी-बेंच" परीक्षा
यह साबित करने के लिए कि उनके नए एआई मॉडल वास्तव में काम कर रहे हैं, उन्होंने कोंकणी-बेंच नामक एक कठोर परीक्षा बनाई।
- परीक्षा: यह एआई का अनुवाद (कोंकणी से अंग्रेजी) और लिप्यंतरण (तीनों लिपियों के बीच स्विच करना) पर परीक्षण करती है।
- निर्णायक: उन्होंने उत्तरों को ग्रेड करने के लिए मानव विशेषज्ञों और एक अन्य एआई का उपयोग किया, जो इस बात पर नज़र रखते थे कि: क्या इसने सही लिपि का उपयोग किया? क्या इसने अनजाने में हिंदी शब्दों का उपयोग किया? क्या व्याकरण सही है?
परिणाम: एक नया चैंपियन
परिणाम प्रभावशाली थे।
- पहले: सर्वश्रेष्ठ सामान्य एआई मॉडल कोंकणी पर खराब स्कोर करते थे, अक्सर बुनियादी व्याकरण संबंधी गलतियाँ करते थे या लिपियों को मिला देते थे।
- बाद में: नए "कोंकणी LLM" मॉडल (विशेष रूप से konkani-Qwen2.5-14B) नए चैंपियन बन गए।
- उन्होंने कई परीक्षणों में विशाल, महंगी "प्रोपराइटरी" (मालिकाना) मॉडलों (जैसे कि बड़ी टेक कंपनियों से मिलने वाले मॉडल) को पछाड़ दिया।
- वे सहजता से लिपियों के बीच स्विच कर सकते थे, जैसे कि एक बहुभाषी व्यक्ति जो बिना अपनी विचार प्रक्रिया खोए अंग्रेजी में पत्र लिख सकता है, फिर हिंदी में स्विच कर सकता है, और फिर फ्रेंच में।
यह क्यों महत्वपूर्ण है
यह शोध पत्र कम संसाधन वाली भाषाओं को बचाने और सशक्त बनाने के लिए एक ब्लूप्रिंट है।
- बड़ी तस्वीर: यह दिखाता है कि किसी दुर्लभ भाषा को सिखाने के लिए आपको अरबों डॉलर या लाखों मानव घंटों की आवश्यकता नहीं है। आपको बस एक स्मार्ट रणनीति की आवश्यकता है: सिंथेटिक डेटा (एआई द्वारा एआई पाठ्यपुस्तक लिखना) + स्मार्ट फाइन-ट्यूनिंग (विशेष एडॉप्टर)।
- भविष्य: अब, कोई भी इन मुफ्त, ओपन-सोर्स मॉडलों का उपयोग करके कोंकणी में चैट करने, अनुवाद करने या लिखने के लिए कर सकता है, जिससे संस्कृति को संरक्षित किया जा सके और इसे अगली पीढ़ी के लिए सुलभ बनाया जा सके, चाहे वे पढ़ने के लिए किसी भी लिपि को पसंद करते हों।
संक्षेप में: शोधकर्ताओं ने एक संघर्षरत एआई को लिया, उसे एक कस्टम-मेड, मल्टी-स्क्रिप्ट ट्यूटर दिया, और उसे एक धाराप्रवाह, सांस्कृतिक रूप से जागरूक कोंकणी वक्ता में बदल दिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।