When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content
यह शोध पत्र तर्क देता है कि उपयोगकर्ता-जनित सामग्री के अनुवाद का मूल्यांकन करने के लिए दिशानिर्देश-जागरूक ढाँचों की आवश्यकता होती है क्योंकि गैर-मानक भाषा के लिए किसी एक "स्वर्ण मानक" (गोल्ड स्टैंडर्ड) का अभाव विभिन्न संदर्भ अनुवादों की ओर ले जाता है और बड़े भाषा मॉडलों के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपको टेक्स्ट संदेशों, ट्वीट्स और फोरम पोस्टों के एक संग्रह का अनुवाद करने के लिए एक अनुवादक के रूप में काम पर रखा गया है। ये औपचारिक पत्र नहीं हैं; ये गलतियों (typos), स्लैंग (slang), जोर देने के लिए दोहराए गए अक्षरों (जैसे "soooooo") और यहाँ तक कि अपशब्दों से भरे हुए हैं।
अब, कल्पना कीजिए कि आपके पास चार अलग-अलग बॉस हैं जो आपको इस बिखरे हुए टेक्स्ट को संभालने के निर्देश दे रहे हैं। यह बिल्कुल वही है जिसकी जांच शोधकर्ताओं ने इस पेपर में की है। उन्होंने पूछा: "जब मूल टेक्स्ट बिखरा हुआ हो, तो एक 'अच्छा' अनुवाद किसे माना जाए, और हम इसे निष्पक्ष रूप से कैसे माप सकते हैं?"
यहाँ उनके निष्कर्षों का विवरण रोज़मर्रा के उदाहरणों (analogies) के साथ दिया गया है।
1. "गोल्ड स्टैंडर्ड" वास्तव में एक स्पेक्ट्रम (विस्तार) है
अनुवाद की दुनिया में, आमतौर पर एक "गोल्ड स्टैंडर्ड" होता है—एक आदर्श संदर्भ अनुवाद जिसे हर कोई सही मानता है। लेकिन लेखकों ने पाया कि यूजर-जेनरेटेड कंटेंट (UGC) के लिए, कोई एक एकल गोल्ड स्टैंडर्ड नहीं है। इसके बजाय, वहां एक स्पेक्ट्रम है।
उन्होंने चार अलग-अलग डेटासेट्स (अनुवादित टेक्स्ट के संग्रह) को देखा और पाया कि "बॉस" (वे लोग जिन्होंने दिशानिर्देश बनाए) के विचार बहुत अलग थे:
- "स्ट्रिक्ट एडिटर" (RoCS-MT): यह बॉस कहता है, "सब कुछ ठीक करो! स्पेलिंग सुधारो, व्याकरण ठीक करो, स्लैंग हटाओ, और इसे एक उचित समाचार लेख जैसा बनाओ।" वे चाहते हैं कि आउटपुट साफ और मानक हो।
- "प्रिजर्वेशनिस्ट" (PFSMB): यह बॉस कहता है, "वाइब (vibe) बनाए रखें! यदि मूल टेक्स्ट में दोहराए गए अक्षर या स्लैंग हैं, तो अनुवाद में भी वे होने चाहिए। इसे साफ न करें; बस उस भावना का अनुवाद करें।"
- "मिडल ग्राउंड" (FooTweets & MMTC): ये बॉस बीच के रास्ते पर चलते हैं, कुछ चीज़ों को ठीक करते हैं लेकिन टेक्स्ट के व्यक्तित्व को बनाए रखते हैं।
उदाहरण: कल्पना कीजिए कि आप एक दोस्त के हाथ से लिखे नोट का अनुवाद कर रहे हैं।
- स्ट्रिक्ट एडिटर आपके दोस्त के नोट को एक आदर्श, टाइप किए गए फॉन्ट में फिर से लिखेगा, उनकी व्याकरण संबंधी गलतियों को सुधारेगा और उनके रेखाचित्रों (doodles) को हटा देगा।
- प्रिजर्वेशनिस्ट शब्दों का अनुवाद करेगा लेकिन लिखावट की शैली, रेखाचित्रों और बिखरे हुए हाशिए (margins) को बरकरार रखेगा।
लेख यह तर्क देता है कि क्लाइंट क्या चाहता है, इसके आधार पर दोनों दृष्टिकोण "सही" हो सकते हैं।
2. अनुवादकों के लिए "एक्शन मेनू"
इन विभिन्न शैलियों को समझने के लिए, शोधकर्ताओं ने 12 प्रकार की "बिखरी हुई" चीजों (जैसे गलतियाँ, इमोजी, हैशटैग और अपशब्द) और 5 कार्यों का एक मेनू बनाया:
- नॉर्मलाइज़ (NORMALISE): इसे ठीक करें (जैसे "u" को "you" में बदलें)।
- कॉपी (COPY): इसे बिल्कुल वैसा ही रखें (जैसे बिना बदले #WorldCup हैशटैग रखें)।
- ट्रांसफर (TRANSFER): बिखराव को लक्षित भाषा में बदलें (जैसे अंग्रेजी के "LOL" को फ्रेंच के "MDR" में बदलना)।
- ओमिट (OMIT): इसे पूरी तरह से अनदेखा करें (जैसे यूजरनेम को छोड़ दें)।
- सेंसर (CENSOR): la offensive शब्दों को नरम करें (जैसे "fk" को "heck" में बदलें)।
शोधकर्ताओं ने पाया कि अलग-अलग डेटासेट्स इन कार्यों के विभिन्न संयोजनों का उपयोग करते हैं। एक डेटासेट कह सकता है "स्लैंग को ट्रांसफर करें," जबकि दूसरा "स्लैंग को नॉर्मलाइज़ करें" कह सकता है।
3. AI रोबोट और "इंस्ट्रक्शन मैनुअल"
शोधकर्ताओं ने आधुनिक AI मॉडल्स (लार्ज लैंग्वेज मॉडल्स या LLMs) का परीक्षण किया कि वे इन विभिन्न निर्देशों को कैसे संभालते हैं। उन्होंने AI को समान बिखरा हुआ टेक्स्ट दिया लेकिन "इंस्ट्रक्शन मैनुअल" (प्रॉम्प्ट) को बदलकर उसे चार अलग-अलग डेटासेट्स में से एक के अनुरूप बनाया।
उन्होंने क्या पाया:
- AI निर्देशों के प्रति संवेदनशील है: जब AI को "स्लैंग बनाए रखने" (प्रिजर्वेशनिस्ट बॉस से मेल खाने) के लिए कहा गया, तो इसने बहुत अच्छा काम किया। जब इसे "सब कुछ ठीक करने" (स्ट्रिक्ट एडिटर से मेल खाने) के लिए कहा गया, तो इसने वह भी किया।
- मिसमैच (तालमेल की कमी) भ्रम पैदा करता है: यदि आप AI को "स्लैंग बनाए रखने" के लिए कहते हैं लेकिन फिर उसे एक "स्ट्रिक्ट एडिटर" के संदर्भ अनुवाद के विरुद्ध ग्रेड करते हैं, तो AI का स्कोर खराब हो जाता है, भले ही उसने आपके निर्देशों का पूरी तरह से पालन किया हो। यह एक ऐसे छात्र को ग्रेड देने जैसा है जिसने केक बनाने की रेसिपी का पालन किया, लेकिन उसे एक ऐसे जज के खिलाफ आंका गया जो पाई (pie) चाहता था।
- कुछ AI जिद्दी हैं: एक मॉडल (Tower) ने निर्देशों को ज्यादातर अनदेखा कर दिया और जो चाहता था वही किया। दूसरे (LLaMA) ने अगर टेक्स्ट में "अनसेफ" शब्द जैसे अपशब्द शामिल थे, तो अनुवाद करने से ही मना कर दिया, जिससे प्रभावी रूप से उसने काम छोड़ने का निर्णय लिया।
4. "स्कोरकार्ड" की समस्या
हमें कैसे पता चलेगा कि अनुवाद अच्छा है? आमतौर पर, हम स्वचालित स्कोरिंग टूल (मेट्रिक्स) का उपयोग करते हैं जो AI के आउटपुट की तुलना "गोल्ड स्टैंडर्ड" संदर्भ से करते हैं।
समस्या: ये स्कोरिंग टूल पक्षपाती होते हैं।
- यदि संदर्भ अनुवाद "साफ और मानक" है, तो स्कोरिंग टूल साफ अनुवादों को पसंद करता है और बिखरे हुए अनुवादों को नापसंद करता है।
- यदि संदर्भ अनुवाद "बिखरा हुआ और स्लैंग से भरा" है, तो स्कोरिंग टूल भ्रमित हो सकता है और बिखरे हुए अनुवादों को कम स्कोर दे सकता है, भले ही वे मूल के प्रति वफादार हों।
उदाहरण: कल्पना कीजिए कि एक टैलेंट शो में एक जज है। यदि जज एक शास्त्रीय वायलिन वादक की तलाश में है, तो वह एक रॉक गिटार वादक को कम स्कोर देगा, भले ही वह रॉक संगीत में अद्भुत हो। पेपर दिखाता है कि वर्तमान AI स्कोरिंग टूल उस जज की तरह हैं—वे "साफ" टेक्स्ट की ओर पक्षपाती हैं और बिखरे हुए टेक्स्ट का निष्पक्ष मूल्यांकन करने में संघर्ष करते हैं, जब तक कि उन्हें ठीक से यह न बताया जाए कि उन्हें किस शैली की अपेक्षा करनी चाहिए।
5. मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि आप खेल के नियमों को जाने बिना अनुवाद का निष्पक्ष मूल्यांकन नहीं कर सकते।
- डेटासेट बनाने वालों के लिए: आपको अपने दिशानिर्देशों के बारे में बहुत स्पष्ट होना चाहिए। क्या आप चाहते हैं कि टेक्स्ट को साफ किया जाए, या आप व्यक्तित्व को बनाए रखना चाहते हैं?
- AI डेवलपर्स के लिए: आपको AI को ठीक से बताना होगा कि उसे कौन सी शैली का उपयोग करना है।
- मूल्यांकनकर्ताओं के लिए: आप केवल एक जेनेरिक स्कोर का उपयोग नहीं कर सकते। आपको एक "दिशानिर्देश-जागरूक" (guideline-aware) मूल्यांकन प्रणाली की आवश्यकता है जो यह समझ सके कि AI को "स्ट्रिक्ट एडिटर" बनना था या "प्रिजर्वेशनिस्ट"।
संक्षेप में: एक "अच्छा" अनुवाद केवल सटीक होने के बारे में नहीं है; यह उस शैली के प्रति सटीक होने के बारे में है जिसे बनाने के लिए आपसे कहा गया था। यदि आप शैली को परिभाषित नहीं करते हैं, तो आप परिणाम का निष्पक्ष न्याय नहीं कर सकते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।