Pearmut: Human Evaluation of Translation Made Trivial
यह शोधपत्र Pearmut को पेश करता है, जो एक हल्का और फीचर-समृद्ध प्लेटफॉर्म है जिसे बहुभाषी एनएलपी (NLP) कार्यों, विशेष रूप से मशीन अनुवाद के लिए मानव मूल्यांकन की सेटअप और निष्पादन को सरल बनाने के लिए डिज़ाइन किया गया है, जो इंजीनियरिंग बाधाओं को हटाकर और मानक प्रोटोकॉल का समर्थन करके विश्वसनीय मानव मूल्यांकन को मॉडल विकास का एक नियमित हिस्सा बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो एक नया और बेहतरीन रेसिपी बनाने की कोशिश कर रहे हैं। आपके पास एक रोबोटिक सहायक है जो आपके व्यंजन को चख सकता है और एक जटिल फॉर्मूले के आधार पर उसे स्कोर दे सकता है। वह रोबोट तेज़ है, सस्ता है और हमेशा तैयार रहता है। लेकिन कभी-कभी, वह रोबोट गलत भी हो जाता है। वह किसी व्यंजन को "परफेक्ट" कह सकता है क्योंकि उसमें सही सामग्रियां हैं, भले ही उसका स्वाद कार्डबोर्ड जैसा हो।
आर्टिफिशियल इंटेलिजेंस (विशेष रूप से अनुवाद) की दुनिया में, शोधकर्ता अपने काम का न्याय करने के लिए इन "रोबोटिक टेस्टर्स" (ऑटोमैटिक मेट्रिक्स) पर बहुत अधिक निर्भर रहते हैं। लेकिन यह जानने का गोल्ड स्टैंडर्ड कि कोई अनुवाद वास्तव में कितना अच्छा है, वह है एक इंसान द्वारा उसे चखना।
समस्या यह है कि एक इंसान से टेस्ट करवाना एक दुस्वप्न की तरह है। यह धीमा है, महंगा है, और इसे व्यवस्थित करने के उपकरण ऐसे हैं जैसे हथौड़े और पेचकस का उपयोग करके एक किचन बनाने की कोशिश करना। अधिकांश शोधकर्ता मानव परीक्षण (ह्यूमन टेस्ट) को छोड़ देते हैं क्योंकि इसे सेटअप करना बहुत कठिन है।
Pearmut से मिलिए।
Pearmut क्या है?
Pearmut को अनुवाद परीक्षण के लिए एक स्मार्ट, ऑल-इन-वन फूड डिलीवरी ऐप के रूप में समझें।
Pearmut से पहले, यदि आप एक मानव परीक्षण आयोजित करना चाहते थे, तो आपको:
- अपना खुद का किचन बनाना पड़ता था (जटिल कोड लिखना)।
- शेफ को काम पर रखना पड़ता था (उन लोगों को ढूंढना जो उन भाषाओं को बोलते हैं)।
- अपने स्वयं के मेनू और स्कोरकार्ड बनाने पड़ते थे (मूल्यांकन फॉर्म डिजाइन करना)।
- स्कोर को मैन्युअल रूप से एकत्र करना और गणित करना पड़ता था।
Pearmut यह सब आपके लिए करता है। यह एक हल्का, आसानी से इंस्टॉल होने वाला टूल है जो मानव मूल्यांकन की जटिल और डरावनी प्रक्रिया को वीडियो पर "प्ले" बटन दबाने जितना सरल बना देता है।
यह कैसे काम करता है? (रूपक/Metaphors)
1. "मैजिक लिंक" आमंत्रण
आमतौर पर, लोगों से कोई काम करवाना बिल्लियों के झुंड को नियंत्रित करने जैसा होता है। आपको उनके पीछे भागना पड़ता है, उन्हें याद दिलाना पड़ता है, और उम्मीद करनी पड़ती है कि वे आएंगे।
Pearmut "मैजिक लिंक्स" का उपयोग करता है। आप एक विशेष लिंक जनरेट करते हैं, उसे अपनी टीम (या श्रमिकों की भीड़) को भेजते हैं, और पफ! वे तुरंत लॉग इन हो जाते हैं और काम करने के लिए तैयार होते हैं। कोई पासवर्ड नहीं, कोई भ्रमित करने वाला साइन-अप फॉर्म नहीं। यह एक वीआईपी पास भेजने जैसा है जो दरवाजा अपने आप खोल देता है।
2. "साइड-बाय-साइड" टेस्टिंग
जब इंसान अनुवादों का न्याय करते हैं, तो उन्हें अक्सर अंतर पहचानने के लिए एक ही समय में मूल टेक्स्ट और अनुवाद के कई संस्करण देखने की आवश्यकता होती है।
पुराने उपकरण आपको स्क्रीन के बीच इधर-उधर स्विच करने पर मजबूर करते थे, जैसे अपनी आँखें बंद करके किताब के पन्ने पलटना। Pearmut आपको एक ही स्क्रीन पर, अगल-बगल, ओरिजिनल, वर्जन A और वर्जन B दिखाता है। यह एक साथ आपके सामने तीन प्लेट भोजन रखने जैसा है ताकि आप तुरंत तुलना कर सकें।
3. "स्मार्ट मैनेजर" (डायनेमिक असाइनमेंट)
कल्पना कीजिए कि आपके पास चखने के लिए 100 व्यंजन हैं, लेकिन केवल 10 चखने वाले (tasters) हैं।
- पुराना तरीका: आप सभी को समान 10 व्यंजन देते हैं, फिर अगले 10, रैंडम तरीके से। आप एक terrible व्यंजन चखने में समय बर्बाद कर सकते हैं जिसे आप पहले से ही जानते हैं कि वह बुरा है।
- Pearmut का तरीका: यह एक स्मार्ट मैनेजर है। यदि सिस्टम देखता है कि "डिश A" को लगातार सबसे अच्छा रेट किया जा रहा है, तो यह खराब व्यंजनों को दिखाना बंद कर देता है और चखने वालों का ध्यान केवल शीर्ष प्रतियोगियों की तुलना करने पर केंद्रित करता है। यह केवल उन चीजों पर राय मांगकर समय और पैसा बचाता है जो वास्तव में मायने रखती हैं।
4. "सेफ्टी नेट" (अटेंशन चेक)
कभी-कभी, लोग बोर हो जाते हैं और जल्दी खत्म करने के लिए बस रैंडम बटन क्लिक करते हैं।
Pearmut में अंतर्निहित ट्रैप्स (जिन्हें अटेंशन चेक कहा जाता है) होते हैं। इसमें एक टेस्ट प्रश्न शामिल हो सकता है जैसे, "यदि आप इसे पढ़ रहे हैं, तो कृपया लाल बटन पर क्लिक करें।" यदि कोई वर्कर इसे मिस कर देता है, तो सिस्टम जान जाता है कि वे ध्यान नहीं दे रहे हैं और उनके काम को फ्लैग कर देता है। यह एक शिक्षक द्वारा दिए जाने वाले पॉप क्विज़ की तरह है ताकि यह सुनिश्चित किया जा सके कि छात्र वास्तव में निर्देशों को पढ़ रहे हैं।
हमें इसकी परवाह क्यों करनी चाहिए?
लेखकों ने अन्य टूल्स के मुकाबले Pearmut का परीक्षण किया और पाया:
- यह तेज़ है: Pearmut के साथ शोधकर्ताओं को टेस्ट सेटअप करने में लगभग 11 मिनट लगे, जबकि अन्य टूल्स के साथ 20 मिनट से अधिक समय लगा (या वे पूरी तरह विफल रहे)।
- यह आसान है: एक AI कोडिंग एजेंट (एक रोबोट प्रोग्रामर) भी Pearmut को स्वचालित रूप से सेटअप कर सका। वह पुराने, भारी-भरकम टूल्स के साथ ऐसा नहीं कर सका।
- यह बेहतर है: Pearmut का उपयोग करने वाले इंसानों ने कम तनाव महसूस किया, वे तेज़ी से काम कर पाए, और उन्होंने अधिक सटीक फीडबैक दिया क्योंकि इसका इंटरफ़ेस विशेष रूप से उनके लिए डिज़ाइन किया गया था, न कि किसी जेनेरिक डेटाबेस के लिए।
निचोड़ (The Bottom Line)
लंबे समय तक, AI में मानव मूल्यांकन एक स्विस आर्मी नाइफ से घर बनाने जैसा था। यह किया जा सकता था, लेकिन यह दर्दनाक और धीमा था।
Pearmut एक पावर ड्रिल है। यह लक्ष्य को नहीं बदलता (एक शानदार घर/अनुवाद बनाना), लेकिन यह घर्षण, इंजीनियरिंग की सिरदर्दी और डर को दूर कर देता है। यह मानव मूल्यांकन को इतना आसान बना देता है कि शोधकर्ता अंततः अनुमान लगाना बंद कर सकते हैं और यह जान सकते हैं कि उनका AI वास्तव में कितना अच्छा है।
संक्षेप में: Pearmut "इंसान से पूछना" उतना ही आसान बना देता है जितना "कंप्यूटर से पूछना"। और यह एक गेम-चेंजर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।