Contrastive ESA: Human Evaluation of Multiple Translations at Once
यह शोधपत्र कॉन्ट्रास्टिव एरर स्पैन एनोटेशन (cESA) को प्रस्तुत करता है, जो एक मानव मूल्यांकन प्रोटोकॉल है जो एनोटेटर के शोर और समय को कम करने के लिए एक साथ कई अनुवादों का आकलन करता है और व्याख्या योग्य मॉडल रैंकिंग के लिए पूर्ण गुणवत्ता स्कोर प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल टैलेंट शो के जज हैं, लेकिन आप गायकों के बजाय, एक भाषा से दूसरी भाषा में कहानियों के अनुवादों को जज कर रहे हैं। वर्षों तक, इसे करने का मानक तरीका यह था कि जज को एक एकल अनुवाद दिया जाए, उन्हें अलग-थलग रहकर उसे ग्रेड देने के लिए कहा जाए, और फिर अगले पर बढ़ जाएं। यह एक सेब को देखने के बजाय, बिना किसी अन्य सेब से तुलना किए, एक अकेले सेब को रेट करने के समान है। समस्या क्या है? यह थका देने वाला, महंगा और आश्चर्यजनक रूप से अव्यवस्थित है। जब आप किसी एक चीज़ को अकेले देखते हैं, तो आपका मस्तिष्क थक जाता है, आपका मूड बदल जाता है, और आपके ग्रेड ऊपर-नीचे हो सकते हैं। यह "मशीन ट्रांसलेशन इवैल्यूएशन" (Machine Translation Evaluation) की दुनिया है, जो इस बात पर केंद्रित एक क्षेत्र है कि कंप्यूटर मानव भाषाओं का अनुवाद कितनी अच्छी तरह कर सकते हैं। लक्ष्य सरल है: सबसे अच्छा AI अनुवादक खोजें ताकि हम वास्तविक दुनिया के कार्यों के लिए उस पर भरोसा कर सकें। लेकिन ऐसा करने के लिए, मनुष्यों को रेफरी के रूप में कार्य करना होगा, और रेफरी के पुराने नियम खेल को धीमा और स्कोर को अविश्वसनीय बना रहे थे।
यहाँ शोधकर्ताओं की एक टीम आई जिन्होंने खेल के नियमों को बदलने का निर्णय लिया। उन्होंने एक नया प्रोटोकॉल पेश किया जिसे कॉन्ट्रास्टिव एरर स्पैन एनोटेशन (cESA) कहा जाता है। एक समय में एक अनुवाद दिखाने के बजाय, उन्होंने तीन (या अधिक) अनुवादों को एक ही स्क्रीन पर अगल-बगल रखा। यह एक अकेला फल देने के बजाय, आपको सेबों की एक टोकरी देने जैसा है। अचानक, एक दागदार सेब को पहचानना बहुत आसान हो जाता है क्योंकि आप उसके ठीक बगल में चमकदार, उत्तम सेबों को देख सकते हैं। शोधकर्ताओं ने पाया कि इस "ग्रुप व्यूइंग" (समूह दर्शन) पद्धति ने न केवल जजों को तेज़ बनाया; बल्कि उन्हें अधिक सुसंगत और सटीक भी बनाया। उन्होंने पाया कि एक साथ तीन अनुवाद दिखाना "स्वीट स्पॉट" (सबसे उपयुक्त बिंदु) था, जिससे लगभग 31% समय की बचत हुई और वास्तव में स्कोर की गुणवत्ता में सुधार हुआ। उन्होंने यह भी जांचा कि क्या अन्य अनुवादों को देखने से जज पक्षपाती हो सकते हैं, और पाया कि पूर्वाग्रह इतना कम था कि वह मायने नहीं रखता था। संक्षेप में, उन्होंने साबित कर दिया कि जब आप जजों को विकल्पों की तुलना एक साथ करने देते हैं, तो सभी को बेहतर, तेज़ और निष्पक्ष परिणाम मिलते हैं।
पुराना तरीका: अकेला सेब
लंबे समय तक, AI अनुवादकों का परीक्षण करने का मानक तरीका "पॉइंटवाइज इवैल्यूएशन" (pointwise evaluation) था। कल्पना कीजिए कि आप निबंधों का एक ढेर ग्रेड कर रहे हैं। पुराने तरीके में, आप एक निबंध उठाएंगे, उसे पढ़ेंगे, उसे एक स्कोर देंगे, उसे नीचे रखेंगे, और फिर बिना पीछे मुड़े देखे अगला निबंध उठा लेंगे। आप पहले निबंध को 85 अंक दे सकते हैं क्योंकि वह अच्छा लग रहा था, लेकिन फिर आप दूसरे को 90 अंक दे सकते हैं, भले ही वह वास्तव में बदतर हो, सिर्फ इसलिए क्योंकि आप थक गए थे या पहला वाला बहुत बुरा था। इसे "एनोटेटर नॉइज़" (annotator noise) कहा जाता है। यह एक थर्मामीटर के बिना, ठंडे कमरे में, कॉफी के कप को छूकर उसका तापमान मापने की कोशिश करने जैसा है। पेपर नोट करता है कि इस पद्धति में उच्च "एनोटेटर नॉइज़" होती है और यह बहुत महंगी है क्योंकि आपको एक विश्वसनीय औसत प्राप्त करने के लिए कई जजों की आवश्यकता होती है।
नया तरीका: फलों की टोकरी
लेखकों ने, विलेम ज़ौहार और सहयोगियों के नेतृत्व में, एक नई विधि प्रस्तावित की जिसे cESA कहा जाता है। एक अनुवाद को शून्य में देखने के बजाय, एनोटेटर एक ही समय में एक ही स्रोत पाठ के कई अनुवाद देखता है। इसे "फ्रूट बास्केट" दृष्टिकोण के रूपas सोचें। यदि आप एक उत्तम सेब के बगल में थोड़ा सा दागदार सेब देखते हैं, तो आप दाग को अकेले देखने की तुलना में बहुत तेज़ी से पहचान लेते हैं।
इस नई प्रणाली में, जज एक स्रोत पाठ (जैसे कहानी का एक वाक्य) देखता है और उसी के तीन अलग-अलग AI मॉडलों के अनुवाद अगल-बगल देखता है। इसके बाद जज:
- विशिष्ट "एरर स्पैन" (वे सटीक शब्द जो गलत हैं) को चिह्नित करता है।
- यह तय करता है कि त्रुटि "मेजर" (बड़ी गलती) है या "माइनर" (छोटी चूक)।
- एक स्पष्ट पैमाने के आधार पर 0% से 100% तक स्कोर देता है।
पेपर बताता है कि यह "जॉइंट बनाम सेपरेट इवैल्यूएशन" (संयुक्त बनाम अलग मूल्यांकन) की मनोवैज्ञानिक अवधारणा के कारण काम करता है। जब आप चीजों को एक साथ देखते हैं, तो आप दूसरों के साथ तुलना करके एक अनुवाद में गलतियों को पकड़ सकते हैं। यह आपको "संभावित अनुवादों के स्थान" को समझने में भी मदद करता है, जिससे आपका निर्णय अधिक वस्तुनिष्ठ हो जाता है। इसके अलावा, आपको हर एक अनुवाद के लिए बार-बार मूल स्रोत पाठ को फिर से पढ़ने की आवश्यकता नहीं होती है, जिससे बहुत सारा समय बचता है।
प्रयोग: फलों की टोकरी का परीक्षण
यह देखने के लिए कि क्या यह नई विधि वास्तव में काम करती है, शोधकर्ताओं ने अंग्रेजी-से-जापानी अनुवादों का उपयोग करके एक बड़ा प्रयोग चलाया। उन्होंने समाचार, सोशल मीडिया और वीडियो के 97 सेगमेंट के डेटासेट का उपयोग करके 12 अलग-अलग AI मॉडलों (जेमिनी, क्लॉड और डीपसीक जैसे बड़े नामों सहित) का परीक्षण किया।
उन्होंने पुराने तरीके (एक बार में एक अनुवाद दिखाना) की तुलना नए तरीके (एक साथ 1, 2, 3, या 4 अनुवाद दिखाना) से की। यहाँ उनके निष्कर्ष दिए गए हैं:
- गति: नई पद्धति काफी तेज़ थी। जब एक साथ तीन मॉडल दिखाए गए (जो "स्वीट स्पॉट" था), तो एक सेगमेंट को एनोटेट करने का औसत समय 77.8 सेकंड से घटकर 53.7 सेकंड हो गया। यह प्रति आइटम समय में 31% की कमी है।
- गुणवत्ता: स्कोर अधिक स्थिर थे। शोधकर्ताओं ने "इंटर-एनोटेटर एग्रीमेंट" (दो अलग-अलग जज कितना सहमत थे) और "इंट्रा-एनोटेटर एग्रीमेंट" (एक ही जज दूसरी बार में खुद से कितना सहमत था) को मापा। नई पद्धति ने उच्च सहमति दिखाई, जिसका अर्थ है कि जज अधिक सुसंगत थे।
- जादुई संख्या: उन्होंने एक साथ 1, 2, 3 और 4 मॉडल दिखाने का परीक्षण किया। उन्होंने पाया कि एक साथ 3 मॉडल दिखाना सबसे अच्छा संतुलन था। 1 से 2 मॉडल दिखाने से काफी समय बचा, लेकिन चौथा मॉडल जोड़ने से ज्यादा समय नहीं बचा और इससे स्क्रीन थोड़ी भीड़भाड़ वाली भी हो गई। जजों को खुश और कुशल रखने के लिए तीन एक आदर्श संख्या थी।
"क्या होगा अगर" का समाधान: क्या जज पक्षपाती हैं?
शोधकर्ता चिंतित थे कि कहीं अन्य अनुवादों को देखने से जज भ्रमित तो नहीं हो जाएंगे। उन्होंने पूछा: "यदि एक बहुत बुरा अनुवाद एक अच्छे अनुवाद के बगल में बैठा है, तो क्या अच्छा वाला बहुत अच्छा लगेगा? या यदि एक महान अनुवाद एक बुरे के बगल में है, तो क्या बुरा वाला बहुत बुरा लगेगा?"
उन्होंने दो प्रकार के पूर्वाग्रहों की जाँच करने के लिए परीक्षण किए:
- पोजीशन बायस (स्थान पूर्वाग्रह): क्या बाईं ओर का अनुवाद दाईं ओर के अनुवाद की तुलना में बेहतर स्कोर प्राप्त करता है? डेटा ने स्थिति के आधार पर लगभग कोई अंतर नहीं दिखाया।
- सर्राउंडिंग बायस (आस-पास का पूर्वाग्रह): क्या एक "डिकॉय" (एक बहुत बुरा या बहुत अच्छा अनुवाद) देखना अन्य के स्कोर को बदल देता है? उन्होंने एक छोटा प्रभाव पाया: यदि कोई मॉडल एक बहुत मजबूत मॉडल के बगल में था, तो उसका स्कोर औसतन लगभग 0.5 अंक गिर गया। हालांकि, लेखक बताते हैं कि मॉडलों के बीच के वास्तविक अंतर (जो 10 या 20 अंक हो सकते हैं) की तुलना में यह इतना छोटा है कि यह वास्तव में मायने नहीं रखता है। यह वैसा ही है जैसे यदि कोई धावक विजेता से 10 सेकंड पीछे रहता है, तो इससे कोई फर्क नहीं पड़ता कि वह विश्व चैंपियन के बगल में खड़ा होने के कारण 0.5 सेकंड धीमा रहा।
निर्णय
पेपर निष्कर्ष निकालता है कि cESA AI अनुवादकों को परखने का एक बेहतर तरीका है। यह तेज़ है, सस्ता है, और अधिक विश्वसनीय स्कोर प्रदान करता है। लेखक सुझाव देते हैं कि जो कोई भी अनुवादों का मानव मूल्यांकन कर रहा है, उसे एक बार में तीन मॉडल दिखाने की ओर स्विच करना चाहिए। उन्होंने एक सरल उपकरण (जिसे पर्मट/Pearmut कहा जाता है) भी बनाया है जिसे कोई भी इस नए प्रोटोकॉल को चलाने के लिए उपयोग कर सकता है, जिसमें ट्यूटोरियल और दिशानिर्देश भी शामिल हैं।
अंत में, पेपर सुझाव देता है कि जजों को सेबों को एक-एक करके दिखाने के बजाय टोकरी में तुलना करने देने से, हमें इस बात की बहुत स्पष्ट तस्वीर मिलती है कि कौन सा AI वास्तव में सबसे अच्छा है। यह काम को देखने के तरीके में एक सरल बदलाव है, लेकिन यह मशीनों को परखने की पूरी प्रक्रिया को बहुत स्मार्ट और अधिक मानव-अनुकूल बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।