Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation
यह शोध पत्र यह प्रदर्शित करके बहुभाषी एलएलएम (LLM) मूल्यांकनों की विश्वसनीयता की जांच करता है कि मशीन-अनुवादित बेंचमार्क में अनुवाद संबंधी त्रुटियां सटीकता में गिरावट में महत्वपूर्ण योगदान देती हैं और स्वचालित त्रुटि पहचान विधियां मानव एनोटेशन के साथ गैर-मामूली सहमति दिखाती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जो अलग-अलग भाषा बोलने वाले छात्रों के एक वर्ग का ग्रेड देने की कोशिश कर रहे हैं। आपके पास अंग्रेजी में लिखा गया एक प्रसिद्ध टेस्ट है (जो "गोल्ड स्टैंडर्ड" है)। यह देखने के लिए कि आपके छात्र स्पेनिश, फ्रेंच या जर्मन कितनी अच्छी तरह बोलते हैं, आप उस अंग्रेजी टेस्ट को लेते हैं, उसे एक ट्रांसलेशन मशीन के माध्यम से रन करते हैं, और उसके अनुवादित संस्करण अपने छात्रों को दे देते हैं।
बड़ा सवाल यह है कि यह पेपर पूछता है: क्या होगा यदि ट्रांसलेशन मशीन गलतियाँ करती है?
शोधकर्ताओं की एक टीम ने पाया कि ये ट्रांसलेशन त्रुटियाँ केवल छोटी-मोटी टाइपिंग की गलतियाँ नहीं हैं; वे सड़क के गड्ढों की तरह हैं जो सबसे बुद्धिमान छात्रों को भी दुर्घटनाग्रस्त कर सकते हैं, भले ही वे अंग्रेजी में उत्तर बिल्कुल सही जानते हों।
यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. "रोबोट ग्रेडर" बनाम मानव विशेषज्ञ
शोधकर्ता जानना चाहते थे: क्या हम अन्य AI मॉडलों पर इन ट्रांसलेशन के गड्ढों को पहचानने के लिए भरोसा कर सकते हैं, या हमें एक मानव विशेषज्ञ की आवश्यकता है?
- प्रयोग: उन्होंने अनुवादित टेस्ट प्रश्नों का एक सेट लिया और चार अलग-अलग "रोबोट ग्रेडर्स" (GPT-5.2, Mistral आदि जैसे AI मॉडल) से पूछा कि ट्रांसलेशन कहाँ गलत हुआ। उन्होंने रोबोट के काम की तुलना पेशेवर मानव भाषाविदों द्वारा बनाए गए "गोल्ड स्टैंडर्ड" से की।
- परिणाम: रोबोट ठीक थे, लेकिन पूर्ण नहीं। एक रोबोट, GPT-5.2, गड्ढों को खोजने में सबसे अच्छा था, जो मानव विशेषज्ञों के साथ लगभग आधे समय सहमत था। अन्य रोबोट बहुत कम सटीक थे।
- पेंच: रोबट अक्सर इस बात को लेकर भ्रमित हो जाते थे कि त्रुटि कहाँ से शुरू हुई और कहाँ समाप्त हुई। यह शर्ट पर लगे दाग के चारों ओर घेरा बनाने की कोशिश करने वाले दो लोगों जैसा है; वे इस बात पर सहमत हो सकते हैं कि वहाँ एक दाग है, लेकिन एक व्यक्ति केंद्र के चारों ओर एक छोटा घेरा बनाता है, जबकि दूसरा पूरे बाजू को शामिल करते हुए एक बड़ा घेरा बनाता है।
2. "समस्या का स्रोत" (दोष किसका है?)
कभी-कभी अंग्रेजी टेस्ट प्रश्न ही अजीब या भ्रमित करने वाला होता है। कभी-कभी, ट्रांसलेशन इसे और भी खराब बना देता है। शोधकर्ता जानना चाहते थे: क्या छात्र इसलिए फेल हो रहा है क्योंकि अंग्रेजी प्रश्न खराब था, या इसलिए क्योंकि ट्रांसलेशन ने इसे बिगाड़ दिया?
- उपमा: कल्पना कीजिए कि एक गणित का सवाल कहता है "यदि एक कार 2 घंटों में 50 मील की यात्रा करती है..."
- सोर्स इश्यू (स्रोत की समस्या): अंग्रेजी प्रश्न ही टूटा हुआ है और कहता है "यदि एक कार 2 सेबों में 50 मील की यात्रा करती है..." (मूल प्रश्न ही निरर्थक है)।
- ट्रांसलेशन इश्यू (अनुवाद की समस्या): अंग्रेजी ठीक है, लेकिन ट्रांसलेटर ने "मील" को "किलोमीटर" में और "घंटे" को "मिनट" में बदल दिया, जिससे गणित हल करना असंभव हो गया।
- निष्कर्ष: शोधकर्ताओं ने पाया कि ट्रांसलेशन त्रुटियाँ ही असली समस्या पैदा करने वाली हैं। भले ही अंग्रेजी प्रश्न एकदम सही और हल करने योग्य था, फिर भी ट्रांसलेशन की गलतियों के कारण AI छात्रों के उत्तर गलत होने की दर लगभग 6 से 11 प्रतिशत अंक अधिक थी।
3. "स्कोर ड्रॉप" बनाम "रैंकिंग"
यह सबसे आश्चर्यजनक हिस्सा है। शोधकर्ताओं ने पूछा: यदि हम जादुई रूप से सभी ट्रांसलेशन त्रुटियों को ठीक कर दें, तो क्या AI मॉडलों का लीडरबोर्ड बदल जाएगा?
- उपमा: कल्पना कीजिए कि एक दौड़ में हर धावक शुरुआती रेखा से 10 मीटर पीछे से शुरू करता है क्योंकि एक ट्रांसलेशन एरर हुआ है।
- परिणाम: यदि आप सभी को 10 मीटर आगे ले जाते हैं (ट्रांसलेशन ठीक करते हैं), तो हर कोई तेज़ हो जाता है। जो धावक पहले स्थान पर था, वह अभी भी पहले स्थान पर ही रहेगा। जो धावक 10वें स्थान पर था, वह अभी भी 10वें स्थान पर ही रहेगा। क्रम (order) नहीं बदलता है।
- समस्या: हालाँकि, समय गलत हैं। आप सोचते हैं कि विजेता ने 10 सेकंड की दौड़ लगाई, लेकिन वास्तव में उन्होंने 9 सेकंड की दौड़ लगाई। आप सभी की वास्तविक क्षमता को कम आंक रहे हैं।
- निष्कर्ष: ट्रांसलेशन त्रुटियाँ हर AI मॉडल से जुड़े एक समान वजन (uniform weight) की तरह काम करती हैं। वे सभी के स्कोर को समान रूप से नीचे खींचती हैं। इसलिए, "लीडरबोर्ड" (कौन नंबर 1 है) स्थिर रहता है, लेकिन वास्तविक स्कोर पक्षपाती और बहुत कम हैं। हम दुनिया को बता रहे हैं, "यह AI केवल 80% स्मार्ट है," जबकि यह वास्तव में 85% स्मार्ट हो सकता है, सिर्फ इसलिए क्योंकि टेस्ट का ट्रांसलेशन खराब था।
मुख्य निष्कर्ष (Summary of the Takeaway)
पेपर यह निष्कर्ष निकालता है कि AI को टेस्ट करने के लिए मशीन-अनुवादित बेंचमार्क का उपयोग करना जोखिम भरा है।
- रोबोट अभी भी ट्रांसलेशन त्रुटियों को पहचानने में परफेक्ट नहीं हैं।
- ट्रांसलेशन त्रुटियाँ प्रदर्शन में वास्तविक, मापने योग्य गिरावट का कारण बनती हैं (लगभग 6-11 अंक कम सटीकता)।
- AI मॉडलों की रैंकिंग स्थिर है (विजेता अभी भी विजेता है), लेकिन स्कोर अनुचित रूप से कम हैं।
यह एक कुकिंग प्रतियोगिता को जज करने जैसा है जहाँ सामग्री को दूसरी भाषा से अनुवादित किया गया था। सर्वश्रेष्ठ शेफ अभी भी जीत सकता है, लेकिन जज शायद यह सोचें कि खाना वास्तव में जितना स्वादिष्ट है उससे कम स्वादिष्ट है क्योंकि रेसिपी अनुवाद में थोड़ी गड़बड़ हो गई थी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।