Evaluative Judgement in Teaching AI-based Translation: A Class-room Case Study of AI-Mediated Translation and Post-Editing
यह शोध पत्र 23 अनुवाद छात्रों के एक कक्षा केस स्टडी का विश्लेषण करता है ताकि यह प्रदर्शित किया जा सके कि कैसे एआई (AI) और मशीन अनुवाद प्रणालियों का संरचित तुलनात्मक अध्ययन मूल्यांकन संबंधी निर्णय (evaluative judgement) को बढ़ावा देता है, जिससे यह पता चलता है कि छात्र पोस्ट-एडिटिंग के लिए आउटपुट चुनते समय स्वचालित मेट्रिक्स के बजाय पर्याप्तता, प्रवाह और पोस्ट-एडिटिंग प्रयास जैसे कारकों को प्राथमिकता देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक अनुवाद कक्षा की कल्पना एक कुकिंग कॉम्पिटिशन (खाना पकाने की प्रतियोगिता) के रूप में करें। छात्रों से केवल शून्य से भोजन बनाने के लिए कहने के बजाय, शिक्षक उन्हें एक विशेष चुनौती देते हैं: चार अलग-अलग पहले से बने हुए व्यंजनों का स्वाद लें, सबसे अच्छे को चुनने के लिए चुनें और विस्तार से समझाएं कि आपने इसे क्यों चुना।
यह पेपर एक रिपोर्ट है कि कैसे एक विश्वविद्यालय के अनुवाद पाठ्यक्रम के 23 छात्रों ने उस चुनौती का सामना किया जब वे "पहले से बने व्यंजन" आर्टिफिशियल इंटेलिजेंस (AI) द्वारा बनाए गए थे।
यहाँ बताया गया है कि क्या हुआ, सरल उपमाओं का उपयोग करते हुए:
सेटअप: "स्वाद परीक्षण" असाइनमेंट
छात्रों को एक छोटा, विशिष्ट पाठ (जैसे जानवरों या तकनीक के बारे में एक विकिपीडिया लेख) दिया गया था। उन्हें पाँच काम करने थे:
- शून्य से बनाना: पहले पाठ का स्वयं अनुवाद करना (रेसिपी को समझने के लिए)।
- टेकआउट ऑर्डर करना: चार अलग-अलग AI "शेफ" (दो उन्नत चैटबॉट्स और दो मानक अनुवाद इंजन) से उसी पाठ का अनुवाद करने के लिए कहना।
- रोबोट स्कोर प्राप्त करना: उन चार AI अनुवादों को एक कंप्यूटर प्रोग्राम के माध्यम से चलाना जो उन्हें मूल शब्दों के साथ कितनी निकटता से मेल खाते हैं, इसके आधार पर ग्रेड देता है (जैसे कि अत्यधिक उन्नत स्पेलिंग चेकर)।
- स्वाद लेना और निर्णय लेना: यह देखने के लिए कि क्या वे वास्तव में समझ में आते हैं, स्वाभाविक लगते हैं, और सही तकनीकी शब्दों का उपयोग करते हैं, अनुवादों को ध्यान से पढ़ना।
- विजेता चुनना: अंतिम, प्रकाशित करने योग्य लेख में सुधार करने (पोस्ट-एडिट करने) के लिए उन चार AI संस्करणों में से एक को चुनना। महत्वपूर्ण बात यह है कि उन्हें यह समझाने के लिए एक रिपोर्ट लिखनी थी कि उन्होंने क्यों उस विशिष्ट संस्करण को चुना।
बड़ा आश्चर्य: रोबोट स्कोर अंतिम निर्णायक नहीं है
सबसे दिलचस्प निष्कर्ष यह है कि छात्रों ने रोबोट स्कोर पर आँख मूंदकर भरोसा नहीं किया।
स्वचालित स्कोर को एक "लोकप्रियता प्रतियोगिता" या "पोषण लेबल" की तरह समझें। यह आपको बताता है कि कितने सामग्रियां मेल खाती हैं, लेकिन यह नहीं बताता कि भोजन का स्वाद कैसा है या क्या यह खाने के लिए सुरक्षित है।
- परिणाम: लगभग आधे मामलों में, वह AI जिसे उच्चतम रोबोट स्कोर मिला था, वह नहीं था जिसे छात्रों ने सुधारने के लिए चुना।
- क्यों? छात्रों ने महसूस किया कि एक AI उच्च स्कोर प्राप्त कर सकता है यदि वह शब्दों को इस तरह से व्यवस्थित करता है जो कंप्यूटर के लिए सही दिखता है लेकिन इंसान के लिए अजीब लगता है, या यदि वह किसी महत्वपूर्ण तकनीकी शब्द को छोड़ देता है।
छात्र क्या देख रहे थे?
केवल स्कोर देखने के बजाय, छात्र गुणवत्ता नियंत्रण निरीक्षकों की तरह काम कर रहे थे। उन्होंने निम्नलिखित चीजों को देखा:
- "फ्लेवर" (स्वाभाविकता): क्या यह ऐसा लगता है जैसे किसी वास्तविक व्यक्ति ने इसे लिखा है, या क्या यह एक ऐसे रोबोट जैसा लगता है जो इंसान होने का नाटक कर रहा है?
- "सामग्री" (शब्दावली): क्या इसने जानवरों के वैज्ञानिक नामों या तकनीकी शब्दों को सही ढंग से लिया?
- "कार्यभार" (पोस्ट-एडिटिंग प्रयास): यदि वे इस संस्करण को चुनते हैं, तो इसे ठीक करने में उन्हें कितना काम करना होगा? कभी-कभी एक संस्करण एकदम सही दिखता था लेकिन उसमें छिपे हुए जाल थे जिन्हें ठीक करने में घंटों लग सकते थे।
- "संरचना" (व्याकरण): क्या इसने वाक्यों को एक तार्किक क्रम में रखा, या उन्हें अस्त-व्यस्त कर दिया?
मुख्य सबक: छात्र "गुणवत्ता के निर्णायक" बन गए
पेपर का तर्क है कि इस क्लास का लक्ष्य यह पता लगाना नहीं था कि दुनिया में कौन सा AI "सर्वश्रेष्ठ" है। लक्ष्य छात्रों को स्मार्ट जज (निर्णायक) बनना सिखाना था।
इससे पहले, छात्र सोच सकते थे, "कंप्यूटर कहता है कि यह 95% परफेक्ट है, इसलिए मैं बस इसका उपयोग करूँगा।"
इस असाइनमेंट के बाद, उन्होंने सीखा कि कैसे कहना है, "कंप्यूटर कहता है कि यह 95% परफेक्ट है, लेकिन इसने मेडिकल टर्म गलत कर दी और वाक्य की संरचना अजीब है। मैं उस संस्करण को चुनने जा रहा हूँ जिसने 85% स्कोर किया क्योंकि इसे सुधारना आसान है और यह अधिक स्वाभाविक लगता है।"
निष्कर्ष
अध्ययन दिखाता है कि जब आप छात्रों को विभिन्न AI टूल्स की तुलना करना सिखाते हैं और उन्हें अपने विकल्पों को उचित ठहराने के लिए मजबूर करते हैं, तो वे निष्क्रिय उपयोगकर्ता नहीं रह जाते जो मशीन द्वारा दिए गए कुछ को भी स्वीकार कर लेते हैं। इसके बजाय, वे क्रिटिकल एडिटर्स (आलोचनात्मक संपादक) बन जाते हैं जो यह पहचानने में सक्षम होते हैं कि एक अनुवाद जो कंप्यूटर स्क्रीन पर अच्छा दिखता है और एक जो वास्तव में मानव पाठक के लिए अच्छा है, के बीच क्या अंतर है।
संक्षेप में: पेपर यह सिद्ध करता है कि सही प्रकार के होमवर्क के साथ, छात्र अपने मानवीय मस्तिष्क को ड्राइवर की सीट में रखना सीखते हैं, और AI का उपयोग एक बॉस के बजाय एक सहायक उपकरण के रूप में करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।