IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages
यह शोध पत्र IndicQE-APE को प्रस्तुत करता है, जो एक समेकित बेंचमार्क है जो गुणवत्ता अनुमान (quality estimation) और स्वचालित पोस्ट-संपादन (automatic post-editing) कार्यों पर LLMs और COMET मेट्रिक्स के प्रदर्शन का मूल्यांकन और तुलना करने के लिए नौ इंडिक भाषा युग्मों में 126,754 इंस्टेंस को बहुआयामी एनोटेशन के साथ एकत्रित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब एक कंप्यूटर एक वाक्य को एक भाषा से दूसरी भाषा में अनुवाद करता है, तो हमें कैसे पता चलता है कि परिणाम कितना अच्छा है? दशकों तक, इसका मानक उत्तर एक ही टेक्स्ट के मानव-लिखित संस्करण के विरुद्ध मशीन के आउटपुट की तुलना करना था। यदि दोनों बारीकी से मेल खाते थे, तो मशीन अच्छा प्रदर्शन कर रही थी। लेकिन यह तरीका उन भाषाओं के साथ काम करने में विफल रहता है जिनके पास डिजिटल संसाधन कम हैं, जैसे कि भारतीय उपमहाद्वीप में बोली जाने वाली कई भाषाएं। इन मामलों में, अक्सर उपयोग करने के लिए कोई सटीक मानव अनुवाद उपलब्ध नहीं होता है। इसके बजाय, शोधकर्ताओं को "क्वालिटी एस्टीमेशन" (गुणवत्ता अनुमान) पर निर्भर रहना पड़ता है, जो केवल मूल टेक्स्ट और मशीन के अनुमान के आधार पर अनुवाद को स्कोर करने का एक तरीका है, जिसमें किसी संदर्भ (रेफरेंस) की आवश्यकता नहीं होती। इससे भी अधिक चुनौतीपूर्ण "ऑटोमैटिक पोस्ट-एडिटिंग" (स्वचालित पश्च-संपादन) है, जहाँ एक कंप्यूटर अपने स्वयं के दोषों को सुधारने की कोशिश करता है ताकि टेक्स्ट को मानवीय मानकों के करीब लाया जा सके। वर्षों से, इन कार्यों के लिए भारतीय भाषाओं का डेटा विभिन्न परियोजनाओं में बिखरा हुआ था, जिससे ऐसे सिस्टम को प्रशिक्षित करना कठिन हो गया था जो सभी स्तरों पर अच्छी तरह काम करें या जिनका निष्पक्ष रूप से तुलना की जा सके।
एक नया अध्ययन इस अराजकता में व्यवस्था लाता है एक विशाल संसाधन जिसे INDICQE-APE कहा जाता है। शोधकर्ताओं ने चार वर्षों की कई प्रमुख अंतरराष्ट्रीय अनुवाद प्रतियोगिताओं से डेटा एकत्र और एकीकृत किया, जिसे उन्होंने अंग्रेजी से मलयालम के लिए एक नए बनाए गए डेटासेट के साथ जोड़ा। इसका परिणाम लगभग 127,000 उदाहरणों का एक संग्रह है जो नौ अलग-अलग भाषा युग्मों (लैंग्वेज पेयर्स) को कवर करता है। जो इस संग्रह को अद्वितीय बनाता है वह यह है कि प्रत्येक उदाहरण में एक साथ कई प्रकार का मानवीय फीडबैक शामिल है: एक स्कोर कि अनुवाद कितना अच्छा है, टेक्स्ट का एक ऐसा संस्करण जिसे मानव ने त्रुटियों को सुधारने के लिए संपादित किया है, और यहाँ तक कि नोट्स भी जो बताते हैं कि क्या गलत हुआ। यह शोधकर्ताओं को यह परीक्षण करने की अनुमति देता है कि कंप्यूटर गुणवत्ता का आकलन कितनी अच्छी तरह कर सकते हैं और वे उन्हीं वाक्यों का उपयोग करके अपने काम को कितनी अच्छी तरह सुधार सकते हैं।
टीम ने इस नए बेंचमार्क का उपयोग विभिन्न आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम, जिनमें लार्ज लैंग्वेज मॉडल्स और विशिष्ट स्कोरिंग टूल्स शामिल हैं, का परीक्षण करने के लिए किया। उन्होंने वर्तमान में इन सिस्टम्स के मूल्यांकन के तरीके में एक आश्चर्यजनक खामी की खोज की। जबकि कई मॉडल एक ही भाषा युग्म के भीतर अनुवादों को रैंक करने में उत्कृष्ट हैं—जैसे कि एक हिंदी अनुवाद को खराब अनुवाद से अलग पहचानना—वे अक्सर विभिन्न भाषाओं के बीच तुलना करने में विफल रहते हैं। एक हिंदी अनुवाद के लिए 80 का स्कोर, एक तमिल अनुवाद के लिए 80 के समान नहीं होता है। वास्तव में, परीक्षण किए गए सबसे शक्तिशाली मॉडल्स में से कुछ के लिए, स्कोर विभिन्न भाषाओं की तुलना करते समय गलत दिशा में चले जाते हैं, जिससे सभी युग्मों के बीच प्रदर्शन को निष्पक्ष रूप से रैंक करने के लिए एक एकल लीडरबोर्ड बनाना असंभव हो जाता है।
शोधकर्ताओं ने यह भी जांच की कि कौन सी चीज़ एक अनुवाद को कंप्यूटर के लिए मूल्यांकन करने में विशेष रूप से कठिन बनाती है। उन्होंने डेटा को कठिनाई के चार प्रकारों में वर्गीकृत किया, जैसे कि वे खंड जहाँ मानव एनोटेटरों के बीच स्कोर को लेकर असहमति थी, या जहाँ अनुवाद के लिए बहुत अधिक संपादन की आवश्यकता थी। उन्होंने पाया कि अधिकांश श्रेणियों ने कंप्यूटर के लिए कार्य को वास्तव में कठिन नहीं बनाया, एक बार जब उन्होंने भाषा और टेक्स्ट की सामान्य गुणवत्ता को ध्यान में रखा। हालाँकि, एक विशिष्ट प्रकार की कठिनाई अलग दिखी: वे खंड जहाँ अनुवाद का समग्र प्रभाव ठीक लग रहा था, लेकिन व्यक्तिगत शब्द स्पष्ट रूप से गलत थे, या इसके विपरीत। जब एक अनुवाद मिश्रित संकेत भेजता था—यानी देखने में अच्छा लगता था लेकिन विवरणों में विफल रहता था—तो परीक्षण किया गया हर एक सिस्टम उसे सही ढंग से रैंक करने में संघर्ष करता था। यह सुझाव देता है कि वर्तमान तकनीक के लिए सबसे बड़ी चुनौती केवल भाषा की जटिलता नहीं है, बल्कि बड़े चित्र (बिग पिक्चर) और सूक्ष्म विवरणों के बीच का विरोधाभास है।
मौजूदा उपकरणों का परीक्षण करने के अलावा, शोधकर्ताओं ने यह देखने के लिए नए, हल्के (लाइटवेट) सिस्टम बनाने की कोशिश की कि क्या वे परिणामों में सुधार कर सकते हैं। उन्होंने पाया कि केवल एक 'फ्रोजन' लार्ज लैंग्वेज मॉडल की आंतरिक गणितीय अवस्थाओं को पढ़ने से गुणवत्ता का लगभग उतना ही सटीक अनुमान लगाया जा सकता है जितना कि मॉडल को एक स्कोर लिखने के लिए कहना। उन्होंने एक मानक अनुवाद मूल्यांकक में एक छोटा 'एड-ऑन' भी प्रशिक्षित किया, जिसने बड़े, पूर्व-निर्मित उपकरणों के समान ही प्रदर्शन किया। ये निष्कर्ष बताते हैं कि बेहतर गुणवत्ता अनुमान की कुंजी बड़े मॉडल बनाने में नहीं, बल्कि डेटा में पहले से मौजूद संकेतों को बेहतर ढंग से समझने में निहित है।
अध्ययन ने ऑटोमैटिक पोस्ट-एडिटिंग के अभ्यास पर भी प्रकाश डाला। जब शोधकर्ताओं ने कंप्यूटर से मशीन-अनुवादित टेक्स्ट को ठीक करने के लिए कहा, तो परिणाम विरोधाभासी थे। चार में से तीन भाषा युग्मों में, मूल, बिना संपादित मशीन अनुवाद वास्तव में मानव मानक के अधिक करीब था, बजाय उस संस्करण के जिसे कंप्यूटर ने ठीक करने की कोशिश की थी। ऐसा इसलिए हुआ क्योंकि कंप्यूटरों ने ऐसे बदलाव किए जो टेक्स्ट को मानव संपादकों की विशिष्ट शैली से दूर ले गए, भले ही नया संस्करण व्याकरणिक रूप से सही था। मानव संपादकों ने अक्सर बहुत न्यूनतम बदलाव किए थे, और कंप्यूटरों ने, अधिक मददगार होने की कोशिश में, अत्यधिक सुधार (ओवर-करेक्शन) कर दिया। यह एक महत्वपूर्ण अंतर को प्रकट करता है: वर्तमान सिस्टम अभी मानव संपादकों को बदलने के लिए तैयार नहीं हैं क्योंकि वे इन भाषाओं में मानव संपादन की सूक्ष्म, रूढ़िवादी प्रकृति को अभी तक नहीं समझते हैं।
अंततः, यह कार्य भारतीय भाषाओं में मशीन अनुवाद के परिदृश्य का एक बहुत स्पष्ट मानचित्र प्रदान करता है। यह दिखाता है कि हालांकि तकनीक ने व्यक्तिगत भाषाओं को समझने में बड़ी प्रगति की है, फिरก็ตาม इसमें विभिन्न भाषाओं के बीच निष्पक्ष रूप से गुणवत्ता का निर्णय लेने की क्षमता की कमी है। नया बेंचमार्क एक कठोर परीक्षण स्थल के रूप में कार्य करता है जो इन कमजोरियों को उजागर करता है, विशेष रूप से अनुवादों में मिश्रित संकेतों से होने वाले भ्रम और मानव संपादन शैलियों से मेल खाने की कठिनाई को। बिखरे हुए वर्षों के डेटा को एक सुसंगत संसाधन में समेकित करके, शोधकर्ताओं ने क्षेत्र को एक ठोस आधार दिया है, यह सुनिश्चित करते हुए कि भविष्य की प्रगति एक ऐसे मानक के विरुद्ध मापी जाए जो व्यापक है और जहाँ तकनीक वर्तमान में खड़ी है, उसके प्रति ईमानदार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।