BM25-Augmented Many-Shot Translation for Low-Resource North-Eastern Indian Languages
यह शोध पत्र यूनिवर्सिटी ऑफ फ्लोरिडा गेटर्स के WMT26 सबमिशन को प्रस्तुत करता है, जो प्रासंगिक समानांतर उदाहरणों को प्राप्त करने के लिए BM25 का उपयोग करते हुए एक रिट्रीवल-ऑगमेंटेड मेनी-शॉट ट्रांसलेशन पाइपलाइन और इन्फरेंस के लिए जेमिनी 2.5 फ्लैश का उपयोग करता है, जिससे बिना किसी मॉडल फाइन-ट्यूनिंग के ग्यारह उत्तर-पूर्वी भारतीय भाषाओं के लिए अंग्रेजी अनुवाद प्राप्त किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर पृथ्वी की हर भाषा बोल सकते हैं, जो हिमालय के एक दूरदराज के गाँव की कविता का तुरंत न्यूयॉर्क में एक टेक्स्ट मैसेज में अनुवाद कर सकता है। यह मशीन ट्रांसलेशन का सपना है, एक ऐसा क्षेत्र जहाँ कंप्यूटर भाषाओं के बीच शब्दों को बदलना सीखते हैं। वर्षों से, इन कंप्यूटरों को सिखाने का मानक तरीका "फाइन-ट्यूनिंग" था, जो एक बुद्धिमान छात्र को लेने और उसे एक विशिष्ट पाठ्यपुस्तक को तब तक याद करने के लिए मजबूर करने जैसा है जब तक कि वह उसे पूरी तरह से सुना न सके। लेकिन क्या होगा यदि उस छात्र के पास वह पाठ्यपुस्तक ही न हो? क्या होगा यदि भाषा इतनी दुर्लभ हो कि केवल कुछ ही लोगों ने इसे लिखा हो? यह "लो-रिसोर्स" (कम संसाधन वाली) भाषाओं की चुनौती है। इसे हल करने के लिए, शोधकर्ता एक अलग तरकीब आजमा रहे हैं: याद करने के बजाय, वे कंप्यूटर को जवाब देने से ठीक पहले एक "रेफरेंस शीट" (संदर्भ पत्र) देते हैं। वे एक खोज उपकरण का उपयोग करते हैं ताकि उन समान वाक्यों को खोजा जा सके जिन्हें कंप्यूटर ने पहले देखा है और कहते हैं, "देखो, पिछली बार हमने इसे इस तरह कहा था; उसी शैली की नकल करो।" यह शोध पत्र यह पता लगाता है कि क्या यह "रिट्रीवल-ऑगमेंटेड" (सूचना प्राप्ति-संवर्धित) विधि उत्तर-पूर्वी भारत की ग्यारह बहुत दुर्लभ भाषाओं के लिए काम करती है, जो ऐसी भाषाएँ हैं जिनका लगभग कोई डिजिटल इतिहास नहीं है।
फ्लोरिडा विश्वविद्यालय की टीम ने, जो खुद को "गेटर्स" (gators) कहती है, अंग्रेजी और इन ग्यारह उत्तर-पूर्वी भारतीय भाषाओं के बीच अनुवाद करने के लिए एक प्रणाली बनाई। उन्होंने शून्य से एक नया मस्तिष्क प्रशिक्षित करने की कोशिश नहीं की। इसके बजाय, उन्होंने एक चतुर दो-चरणीय प्रक्रिया का उपयोग किया। पहले, उन्होंने BM25 नामक उपकरण का उपयोग करके एक लाइब्रेरियन की तरह कार्य किया। जब एक वाक्य आता है, तो लाइब्रेरियन मौजूदा अनुवादों के एक विशाल पुस्तकालय को तेजी से स्कैन करता है ताकि सबसे समान उदाहरण खोजे जा सकें। दूसरा, उन्होंने इन उदाहरणों को जेमिनी 2.5 फ्लैश (Gemini 2.5 Flash) नामक एक सुपर-स्मार्ट AI मॉडल को सौंपा, और कहा, "यहाँ कुछ उदाहरण दिए गए हैं कि इस प्रकार के वाक्य का अनुवाद कैसे किया जाता है; अब तुम इसे करो।" मुख्य निष्कर्ष यह है कि यह "रिट्रीवल-ऑगमेंटेड" दृष्टिकोण, जहाँ AI चलते-फिरते उदाहरणों को खोजता है, ने ऐसे परिणाम दिए जो प्रतियोगिता में अन्य टीमों द्वारा उपयोग किए गए फाइन-ट्यून्ड मॉडलों के प्रतिस्पर्धी थे, और कई मामलों में उनसे थोड़े बेहतर भी थे।
शोधकर्ताओं ने इसका परीक्षण ग्यारह भाषाओं पर किया, जिसमें असमिया (जिसमें डेटा की अच्छी मात्रा है) से लेकर तागिन (Tagin) और कार्बी (Karbi) तक शामिल हैं, जो इतनी दुर्लभ हैं कि उनका लगभग कोई पूर्व अनुवाद कार्य नहीं है। उन्होंने WMT26 नामक एक प्रतियोगिता के आधिकारिक डेटा और अन्य सार्वजनिक टेक्स्ट संग्रहों को मिलाकर एक "ट्रेनिंग बैंक" बनाया। फिर उन्होंने एक बड़ा प्रयोग चलाया, जिसमें विभिन्न संख्या में "रेफरेंस शीट" उदाहरणों का परीक्षण किया गया। उन्होंने पूछा: "यदि हम AI को 20 उदाहरण दिखाते हैं, तो क्या यह 80 से बेहतर है? क्या होगा यदि हम इसे अभ्यास परीक्षण से 10 उदाहरण दिखाते हैं बनाम 40?" उन्होंने प्रत्येक भाषा और दिशा (अंग्रेजी से स्थानीय भाषा, और इसके विपरीत) के लिए प्रत्येक संयोजन का परीक्षण किया।
परिणाम सफलता और दिलचस्प आश्चर्यों का मिश्रण थे। अधिक डेटा वाली भाषाओं, जैसे असमिया और बोडो के लिए, सिस्टम ने बहुत अच्छा प्रदर्शन किया, और विशिष्ट मेट्रिक्स के लिए प्रतियोगिता में शीर्ष स्थान प्राप्त किया। विशेष रूप से, उनकी विधि ने 19 अनुवाद कार्यों में से 9 में सर्वश्रेष्ठ BLEU स्कोर और 22 कार्यों में से 11 में सर्वश्रेष्ठ ChrF++ स्कोर प्राप्त किया। सबसे छोटी भाषाओं, जैसे तागिन के लिए, सिस्टम अभी भी अनुवाद करने में सक्षम रहा, हालांकि स्कोर कम थे। एक प्रमुख खोज यह थी कि "रेफरेंस शीट" तब सबसे अच्छा काम करती थी जब उदाहरण अनुवाद किए जाने वाले वाक्य के बहुत समान होते थे। हालाँकि, उन्होंने यह भी पाया कि केवल अधिक डेटा जोड़ने से हमेशा मदद नहीं मिली। एक प्रयोग में, उन्होंने एक अलग प्रकार के टेक्स्ट (इमेज कैप्शन) से सिंथेटिक डेटा (कंप्यूटर-जनित अनुवाद) जोड़ने की कोशिश की, लेकिन इसने वास्तव में अनुवाद को बदतर बना दिया। इसने उन्हें सिखाया कि सही तरह के उदाहरणों का होना एक बड़ी गलत ढेर वाली चीज़ों के होने से अधिक महत्वपूर्ण है।
टीम ने अपने पिछले काम के एक बग को भी ठीक किया। एक पिछले प्रोजेक्ट में, उन्होंने गलती से गलत भाषा पक्ष का उपयोग करके अपना सर्च लाइब्रेरी बनाया था, जिससे सिस्टम भ्रमित हो गया था। एक बार जब उन्होंने इसे ठीक कर दिया, तो सिस्टम अचानक स्थानीय भाषाओं से अंग्रेजी में अनुवाद करने में बहुत बेहतर हो गया। उन्होंने यह भी देखा कि कुछ भाषाओं के लिए, अभ्यास सेट से कुछ उच्च-गुणवत्ता वाले उदाहरण दिखाना मुख्य लाइब्रेरी से बड़ी संख्या में यादृच्छिक (random) उदाहरण दिखाने की तुलना में अधिक सहायक था।
अंत में, यह शोध पत्र दिखाता है कि आपको हमेशा कंप्यूटर को शुरू से भाषा सिखाने की आवश्यकता नहीं होती है। कभी-कभी, उसे एक अच्छा खोज उपकरण और देखने के लिए कुछ अच्छे उदाहरण देना ही पर्याप्त होता है। सिस्टम ने केवल अनुमान नहीं लगाया; इसने अपनी सफलता को विशिष्ट स्कोर (जैसे ChrF++ और BLEU) का उपयोग करके मापा और पाया कि अधिकांश अनुवाद कार्यों में, उनकी विधि सबसे अच्छे में से एक थी। हालाँकि सिस्टम पूर्ण नहीं है—कभी-कभी यह राजनीतिक विषयों या बहुत दुर्लभ शब्दों से भ्रमित हो जाता है—यह साबित करता है कि इन कठिन-पहुंच वाली भाषाओं के लिए, एक स्मार्ट लाइब्रेरियन दृष्टिकोण भाषा के अंतर को पाटने का एक शक्तिशाली तरीका है, बशर्ते हम AI को दिखाने के लिए सही उदाहरण ढूंढ सकें। लेखक सुझाव देते हैं कि यह विधि दुनिया की सबसे लुप्तप्राय भाषाओं के अनुवाद के भविष्य के लिए एक मजबूत दावेदार है, बशर्ते हम AI को दिखाने के लिए सही उदाहरण खोज सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।