PSK at WMT 2026 MIST: Task-Specialized QLoRA Adapters for Multilingual Summarization and Question Answering

आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, शोधकर्ता लगातार कंप्यूटर को दुनिया भर की विभिन्न भाषाओं को समझने और उत्पन्न करने के लिए प्रशिक्षित करने का प्रयास कर रहे हैं। इस कार्य में एक केंद्रीय चुनौती ऐसे मॉडल बनाना है जो कई अलग-अलग कार्यों को संभाल सकें, जैसे कि एक लंबे लेख का सारांश बनाना या किसी विशिष्ट प्रश्न का उत्तर देना, बिना हर एक काम के लिए एक अलग, विशाल कंप्यूटर मस्तिष्क की आवश्यकता के। लक्ष्य ऐसे सिस्टम बनाना है जो मानक हार्डवेयर पर चलने के लिए पर्याप्त कुशल हों और साथ ही हिंदी, अंग्रेजी या योरूबा जैसी भाषाओं और सारांश लिखने या पहेली सुलझाने जैसे कार्यों के बीच स्विच करने के लिए पर्याप्त लचीले भी हों। यह संतुलन महत्वपूर्ण है क्योंकि हालांकि शक्तिशाली भाषा मॉडल मौजूद हैं, वे अक्सर रोजमर्रा के उपयोग या विशिष्ट, स्थानीय जरूरतों के लिए बहुत बड़े होते हैं। वह प्रश्न जो हालिया कार्य को प्रेरित कर रहा है वह यह है कि क्या एक ही, छोटे मॉडल को छोटे, विशिष्ट उपकरणों को जोड़ने के माध्यम से कई चीजें अच्छी तरह से करने के लिए सिखाया जा सकता है, बजाय इसके कि हर नई समस्या के लिए एक विशाल नई मशीन बनाई जाए।

स्वतंत्र शोधकर्ताओं की एक टीम ने हाल ही में इस चुनौती को स्वीकार किया है और एक प्रमुख अंतर्राष्ट्रीय प्रतियोगिता में भाग लिया है, जिसे यह परीक्षण करने के लिए डिज़ाइन किया गया है कि मशीनें दर्जनों भाषाओं में निर्देशों का कितनी अच्छी तरह पालन कर सकती हैं। उनका दृष्टिकोण एक विशिष्ट रणनीति पर आधारित था: एक मुख्य भाषा मॉडल को लेना और उसके साथ तीन अलग-अलग, हल्के वजन के एड-ऑन (add-ons) जोड़ना। कल्पना कीजिए कि मुख्य मॉडल एक बहुमुखी, बहुभाषी इंजन है जो सत्तर विभिन्न भाषाओं के व्याकरण और शब्दावली को जानता है। अपने आप में, यह इंजन सामान्य बातचीत के लिए अच्छा है, लेकिन जब इसे वैज्ञानिक सार (abstract) लिखने या लंबे पाठ के भीतर छिपे हुए उत्तर खोजने जैसे विशिष्ट, संरचित कार्य करने के लिए कहा जाता है, तो यह संघर्ष करता है। इसे ठीक करने के लिए, शोधकर्ताओं ने तीन अलग-अलग "एडेप्टर" (adapters) बनाए, जो अनिवार्य रूप से छोटे, विशिष्ट प्रशिक्षण मॉड्यूल हैं। एक एडेप्टर ने दस्तावेजों का सारांश बनाना सीखा, दूसरे ने प्रदान किए गए पाठ के आधार पर प्रश्नों के उत्तर देना सीखा, और तीसरे ने सामान्य ज्ञान से खुले अंत वाले (open-ended) प्रश्नों के उत्तर देना सीखा।

शोधकर्ताओं ने 'टाइनी आया ग्लोबल' (Tiny Aya Global) नामक एक मॉडल से शुरुआत की, जिसमें लगभग 3.35 बिलियन पैरामीटर हैं, जो इसकी जटिलता और क्षमता का एक माप है। यह आकार विशेष रूप से इसलिए चुना गया था क्योंकि यह प्रतियोगिता की सख्त सीमाओं के भीतर फिट बैठता है, जिसके लिए प्रणालियों को 10-बिलियन-पैरामीटर की सीमा के नीचे रहने की आवश्यकता थी। पूरे विशाल मॉडल को शुरू से फिर से प्रशिक्षित करने के बजाय, जो अविश्वसनीय रूप से धीमा और महंगा होता, उन्होंने QLoRA नामक एक तकनीक का उपयोग किया। यह विधि उन्हें मुख्य मॉडल को फ्रीज (freeze) करने और केवल छोटे, विशिष्ट एडेप्टर को प्रशिक्षित करने की अनुमति देती है। उन्होंने इन एडेप्टरों को विभिन्न डेटा सेटों का उपयोग करके तैयार किया। सारांश उपकरण के लिए, उन्होंने सामान्य समाचार लेखों और वैज्ञानिक शोध पत्रों के मिश्रण को खिलाया, जिसमें पूर्ण पाठ को लेखक द्वारा लिखे गए सार (abstract) के साथ जोड़ा गया था। प्रश्न-उत्तर उपकरणों के लिए, उन्होंने कई भाषाओं में प्रश्नों और उत्तरों वाले विभिन्न डेटासेट का उपयोग किया, जिसमें कुछ ऐसे भी शामिल थे जिनमें विभिन्न वाक्यों के बीच जानकारी जोड़ने की आवश्यकता थी।

जब टीम ने अपने सिस्टम का परीक्षण किया, तो उन्होंने पाया कि कार्यों को अलग करने से एक साथ सब कुछ सिखाने की कोशिश करने की तुलना में काफी बेहतर परिणाम मिले। उन्होंने शुरू में एक एकल "मल्टीटास्क" एडेप्टर आज़माया जिसे सभी डेटा के मिश्रण पर प्रशिक्षित किया गया था, लेकिन इस दृष्टिकोण ने कमजोर परिणाम दिए। इसके विपरीत, तीन अलग-अलग एडेप्टरों वाले सिस्टम ने स्पष्ट सुधार दिखाया। सारांश एडेप्टर, जिसे सामान्य और वैज्ञानिक दोनों प्रकार के ग्रंथों पर प्रशिक्षित किया गया था, ने ऐसे सारांश तैयार किए जो मानव-लिखित उदाहरणों के बहुत करीब थे। इसी तरह, संदर्भ-आधारित प्रश्नों के लिए विशेष रूप से प्रशिक्षित प्रश्न-उत्तर एडेप्टर ने पाठ के भीतर सही उत्तर खोजने में बेहतर प्रदर्शन किया। शोधकर्ताओं ने नोट किया कि खुले अंत वाले प्रश्न-उत्तर कार्य अधिक अप्रत्याशित था; जबकि एक संस्करण का एडेप्टर कंप्यूटर-जनित स्कोर पर बेहतर प्रदर्शन करता था, दूसरा संस्करण लंबी, जटिल प्रश्नों को बिना स्थान समाप्त हुए या दोहराव के बिना संभालने में बेहतर था।

अपने सिस्टम को मजबूत बनाने के लिए, शोधकर्ताओं ने इसे उदाहरणों के एक ऐसे सेट पर परखा जिसे मॉडल ने पहले कभी नहीं देखा था। उन्होंने सफलता को कई मानक तरीकों से मापा, जिसमें यह देखना शामिल था कि कंप्यूटर का आउटपुट मानव उत्तर से शब्द-दर-शब्द कितना मेल खाता है और समग्र अर्थ कितना समान है। परिणामों ने दिखाया कि उनके विशिष्ट दृष्टिकोण ने परीक्षण की गई चौबीस भाषाओं में से अधिकांश में प्रदर्शन में सुधार किया। सारांश के लिए, सिस्टम ने सभी भाषाओं में अपने आउटपुट की गुणवत्ता में सुधार किया। संदर्भ-आधारित प्रश्नों के लिए, इसने परीक्षण की गई पच्चीस भाषाओं में से उन्नीस में सुधार किया। खुले अंत वाले प्रश्न सबसे कठिन क्षेत्र बने रहे, जहाँ परिणाम प्रश्न की लंबाई और उत्तर को आंकने के तरीके के आधार पर भिन्न होते थे। इस अनिश्चितता के कारण, टीम ने प्रतियोगिता के लिए अपने सिस्टम के तीन अलग-अलग संस्करण प्रस्तुत करने का निर्णय लिया, जो सभी एक ही मजबूत सारांश और संदर्भ-उत्तर टूल का उपयोग करते हैं, लेकिन प्रत्येक खुले अंत वाले प्रश्नों के लिए एक अलग रणनीति का उपयोग करता है।

यह अध्ययन कुशल, बहुभाषी AI बनाने के लिए एक व्यावहारिक मार्ग को उजागर करता है। एक एकल, साझा आधार को बनाए रखकर और छोटे, कार्य-विशिष्ट उपकरण जोड़कर, शोधकर्ता एक ऐसा सिस्टम बनाने में सक्षम रहे जिसने विशाल कम्प्यूटेशनल संसाधनों की आवश्यकता के बिना 'वन-साइज़-फिट्स-ऑल' दृष्टिकोण से बेहतर प्रदर्शन किया। उन्होंने प्रदर्शित किया कि वैज्ञानिक शोध पत्रों का सारांश बनाने या पाठ के आधार पर प्रश्नों के उत्तर देने जैसे कार्यों के लिए, विशेषज्ञता ही कुंजी है। हालाँकि, उन्होंने यह भी स्वीकार किया कि खुले अंत वाले सृजन (generation) एक जटिल चुनौती बनी हुई है जहाँ स्वचालित स्कोरिंग विधियाँ हमेशा मानवीय निर्णय के अनुरूप नहीं होती हैं। यह कार्य सुझाव देता है कि भले ही हमारे पास अभी तक एक पूर्ण सार्वभौमिक उत्तर जनरेटर न हो, हम अत्यधिक प्रभावी, विशिष्ट उपकरण बना सकते हैं जो अपने विशिष्ट डोमेन में अच्छी तरह से काम करते हैं, जो दुनिया की कई भाषाओं में तकनीक के साथ बातचीत करने का एक अधिक विश्वसनीय और कुशल तरीका प्रदान करते हैं।