Source-Free MT Evaluation Is Not MT Evaluation
यह शोध पत्र तर्क देता है कि पर्याप्तता सुनिश्चित करने के लिए मशीन अनुवाद का मूल्यांकन मौलिक रूप से स्रोत-आधारित होना चाहिए, जो एक ऐसे प्रतिमान परिवर्तन का आह्वान करता है जहाँ गुणवत्ता अनुमान (क्वालिटी एस्टीमेशन) को एक प्राथमिक मूल्यांकन पद्धति के रूप में माना जाए और संदर्भों का उपयोग मुख्य मानक के बजाय केवल सहायक साक्ष्य के रूप में किया जाए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटरों की दुनिया में जो भाषाओं का अनुवाद करते हैं, वहां यह जानने की निरंतर आवश्यकता होती है कि मशीन अच्छा काम कर रही है या नहीं। कल्पना कीजिए कि एक अनुवादक दो भाषाएं बोलता है; हमें यह जांचने के लिए एक तरीके की आवश्यकता है कि दूसरी भाषा में उसने जो लिखा है, क्या उसका वास्तव में वही अर्थ है जो पहली भाषा में कहा गया था। दशकों से, इस बात की जांच करने का मानक तरीका यह रहा है कि मशीन के आउटपुट की तुलना मानव द्वारा लिखे गए उस उदाहरण से की जाए कि अनुवाद कैसा होना चाहिए। इस मानव उदाहरण को 'रेफरेंस' (संदर्भ) कहा जाता है। यदि कंप्यूटर के शब्द मानव के शब्दों से बारीकी से मेल खाते हैं, तो सिस्टम को उच्च स्कोर मिलता है। यह तरीका यह जांचने के लिए अच्छा काम करता है कि क्या अनुवाद नई भाषा में स्वाभाविक और व्याकरण की दृष्टि से सही लगता है। हालांकि, इसमें एक कमी है: यदि कंप्यूटर ने उन शब्दों को चुना है जो मानव ने नहीं चुने थे, तो यह आसानी से यह नहीं बता सकता कि अनुवाद मूल अर्थ के प्रति कितना वफादार है। एक अनुवाद अर्थ में उत्तम हो सकता है लेकिन मानव उदाहरण से बहुत अलग दिख सकता है, और पुराने नियमों के तहत, उसे उस अंतर के लिए दंडित किया जाएगा।
भारत के शोधकर्ताओं की एक टीम ने यह जांचने के लिए अनुसंधान किया कि क्या आज के सबसे उन्नत उपकरण वास्तव में मूल अर्थ को देख रहे हैं, या वे केवल मानव उदाहरण से मेल खाने के प्रति जुनूनी हैं। उन्होंने एक विशिष्ट प्रकार के मूल्यांकन उपकरण पर ध्यान केंद्रित किया जो एक साथ तीन चीजों को देखने का दावा करता है: मूल वाक्य, मशीन का अनुवाद, और मानव संदर्भ। शोधकर्ता यह जानना चाहते थे कि क्या ये उपकरण सटीकता का निर्णय लेने के लिए वास्तव में मूल वाक्य को मुख्य मार्गदर्शक के रूप में उपयोग कर रहे हैं, या वे गुप्त रूप से मानव संदर्भ को स्कोर निर्धारित करने देने दे रहे हैं। इसे पता लगाने के लिए, उन्होंने एक चतुर परीक्षण डिजाइन किया जहां उन्होंने एक पूर्ण अनुवाद लिया और या तो मूल वाक्य या मानव संदर्भ को किसी ऐसी चीज़ से बदल दिया जो फिट नहीं बैठती थी। यदि कोई उपकरण वास्तव में मूल अर्थ पर आधारित है, तो मूल वाक्य को बदलने से उसके स्कोर को मानव संदर्भ को बदलने की तुलना में बहुत अधिक नुकसान होना चाहिए। यदि उपकरण संदर्भ के प्रति पक्षपाती है, तो वह संदर्भ बदलने पर घबरा जाएगा, भले ही अनुवाद अभी भी मूल वाक्य के साथ अर्थपूर्ण हो।
इस जांच के परिणामों ने एक आश्चर्यजनक और व्यवस्थित दोष को उजागर किया कि ये उन्नत उपकरण वास्तव में कैसे काम करते हैं। जब शोधकर्ताओं ने COMET नामक एक लोकप्रिय उपकरण का परीक्षण किया, तो उन्होंने पाया कि मानव संदर्भ को बदलने से स्कोर नाटकीय रूप से गिर गया, जबकि मूल वाक्य को बदलने से बहुत कम फर्क पड़ा। वास्तव में, उनके द्वारा परीक्षण किए गए लगभग हर एक उदाहरण के लिए, उपकरण मानव संदर्भ में बदलाव के प्रति मूल पाठ की तुलना में दस गुना अधिक संवेदनशील था। इसका मतलब है कि उपकरण मानव संदर्भ को पूर्ण सत्य मान रहा था, बजाय इसके कि वह मूल वाक्य को अधिकार मानकर चलता। यहाँ तक कि जब मशीन का अनुवाद मूल वाक्य के अनुसार पूरी तरह से सही था, तब भी उपकरण ने इसे बहुत खराब स्कोर दिया क्योंकि यह मानव संदर्भ से मेल नहीं खाता था। शोधकर्ताओं ने अन्य परिष्कृत उपकरणों का भी परीक्षण किया। उनमें से एक, XCOMET-XXL ने, COMET की तुलना में मूल वाक्य पर अधिक ध्यान दिया, लेकिन फिर भी इसने मानव संदर्भ के प्रति बहुत अधिक प्रतिक्रिया दी। एक अन्य उपकरण, MetricX ने, एक मिश्रित तस्वीर दिखाई: यह अंग्रेजी में अनुवाद करते समय संदर्भ के प्रति अत्यधिक पक्षपाती था, लेकिन अन्य भाषाओं में अंग्रेजी से अनुवाद करते समय अधिक निष्पक्ष व्यवहार करता था।
अध्ययन ने यह भी देखा कि बड़े भाषा मॉडल (Large Language Models), जो शक्तिशाली कृत्रिम बुद्धिमत्ता प्रणाली हैं जो लिखने और तर्क करने में सक्षम हैं, न्यायाधीश के रूप में कैसे कार्य करते हैं। जब इन मॉडलों से अनुवादों को ग्रेड देने के लिए कहा जाता है, तो वे अक्सर बेहतर प्रदर्शन करते हैं जब उन्हें मशीन के आउटपुट की तुलना मानव संदर्भ के साथ करने की अनुमति दी जाती है, बजाय इसके कि वे केवल मूल वाक्य को देखें। यह सुझाव देता है कि मॉडल एक ही भाषा के दो ग्रंथों के बीच समानता खोजने में, एक भाषा के टेक्स्ट का दूसरी भाषा के टेक्स्ट से वास्तव में मिलान करने की तुलना में अधिक सहज पाते हैं। शोधकर्ताओं ने पाया कि जब मूल वाक्य और मानव संदर्भ में असहमति थी, तो मॉडल संदर्भ के पक्ष में झुकते थे, मूल अर्थ की अनदेखी करते हुए। यह एक महत्वपूर्ण समस्या है क्योंकि मूल वाक्य ही एकमात्र चीज़ है जो परिभाषित करती है कि अनुवाद का क्या अर्थ होना चाहिए। यदि एक अनुवाद मूल अर्थ को सुरक्षित रखता है लेकिन मानव संदर्भ से भिन्न होता है, तो वह एक अच्छा अनुवाद है। यदि एक अनुवाद मानव संदर्भ से मेल खाता है लेकिन मूल अर्थ को बदल देता है, तो वह एक बुरा अनुवाद है।
लेखकों का तर्क है कि पूरा क्षेत्र इस समस्या को गलत दिशा से देख रहा है। वर्तमान में, शोधकर्ता मानव संदर्भ को 'स्वर्ण मानक' (Gold Standard) मानते हैं और मूल वाक्य को केवल एक बैकअप योजना के रूप में देखते हैं जब संदर्भ अनुपलब्ध होता है। यह शोध इस संबंध को उलटने का सुझाव देता है। अनुवाद की सटीकता के निर्णय के लिए मूल वाक्य को प्राथमिक अधिकार होना चाहिए, और मानव संदर्भ को इस बात के केवल एक संभावित उदाहरण के रूप में माना जाना चाहिए कि उस अर्थ को कैसे व्यक्त किया जा सकता है। शोधकर्ता बताते हैं कि एक एकल मानव संदर्भ कभी भी एक वाक्य को अनुवादित करने के हर तरीके को पकड़ नहीं सकता। यह व्याकरण या शैली के बारे में ऐसे चुनाव कर सकता है जो मूल पाठ के लिए आवश्यक नहीं हैं। संदर्भ पर बहुत अधिक निर्भर होकर, मूल्यांकन उपकरण उन अनुवादों को दंडित कर रहे हैं जो स्रोत के प्रति वफादार हैं लेकिन मानव उदाहरण से भिन्न हैं।
यह शोध यह नहीं कहता कि मानव संदर्भ बेकार हैं। वे अभी भी यह जांचने के लिए बहुत उपयोगी हैं कि क्या अनुवाद स्वाभाविक लगता है और प्रवाह में है। हालांकि, अध्ययन इस निष्कर्ष पर पहुँचता है कि कोई भी प्रणाली जो मूल्यांकन प्रक्रिया से मूल वाक्य को हटा देती है, या मानव संदर्भ को मूल अर्थ को ओवरराइड करने की अनुमति देती है, वह मौलिक रूप से अपूर्ण है। शोधकर्ता एक नए दृष्टिकोण का आह्वान करते हैं जहाँ मूल्यांकन उपकरणों को स्पष्ट रूप से मूल वाक्य और मशीन के आउटपुट के बीच के संबंध को प्राथमिकता देने के लिए डिज़ाइन किया जाना चाहिए। वे सुझाव देते हैं कि भविष्य के उपकरणों का परीक्षण यह सुनिश्चित करने के लिए किया जाना चाहिए कि वे मूल अर्थ बदलने पर कितनी दृढ़ता से प्रतिक्रिया करते हैं, और वे मानव संदर्भ को एक 'मददगार संकेत' के रूप में मानें न कि 'अंतिम शब्द' के रूप में। जब तक यह बदलाव नहीं आता, मशीन अनुवाद प्रणालियों के लिए दिखने वाले स्कोर यह मापने के बजाय हो सकते हैं कि एक कंप्यूटर किसी विशिष्ट मानव लेखक की कितनी अच्छी तरह नकल करता है, बजाय इसके कि वह मूल संदेश को कितनी अच्छी तरह समझता और सुरक्षित रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।