Training Models on Dialects of Translationese Shows How Lexical Diversity and Source-Target Syntactic Similarity Shape Learning
यह शोधपत्र यह प्रदर्शित करता है कि मशीन-अनुवादित डेटा पर छोटे अंग्रेजी भाषा के मॉडलों को प्रशिक्षित करने से पता चलता है कि जहाँ सामान्य पर्प्लेक्सिटी (perplexity) मुख्य रूप से अनुवादित कॉर्पस की शाब्दिक विविधता द्वारा संचालित होती है, वहीं व्याकरणिक प्रदर्शन स्रोत भाषा और अंग्रेजी के बीच टोपोलॉजिकल समानता से दृढ़ता से आकार लेता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को आदर्श अंग्रेजी बोलना सिखाना चाहते हैं। आदर्श रूप से, आप इसमें मूल अंग्रेजी बोलने वालों द्वारा लिखी गई लाखों किताबें, समाचार लेख और बातचीत फीड करेंगे। लेकिन क्या होगा यदि आपके पास पर्याप्त मूल (native) टेक्स्ट न हो? क्या होगा यदि आपको ऐसी किताबें उपयोग करनी पड़ें जो मूल रूप से फ्रेंच, जापानी या स्वाहिली में लिखी गई थीं और फिर उन्हें अंग्रेजी में अनुवादित किया गया है?
यह जेनी कुंज (Jenny Kunz) के शोध पत्र का विषय है। उन्होंने पूछा: यह मायने रखता है कि हम किस भाषा से अनुवाद कर रहे हैं? और उस अनुवाद का "स्वाद" (flavor) रोबोट के सीखने के तरीके को कैसे बदलता है?
यहाँ उनके निष्कर्षों की कहानी है, जिसे कुछ रोजमर्रा के उपमाओं (analogies) के माध्यम से समझाया गया है।
अनुवाद का "लहजा" (The "Accent" of Translation)
सबसे पहले, पेपर एक अवधारणा पेश करता है जिसे ट्रांसलेशनिस (Translationese) कहा जाता है। मूल अंग्रेजी टेक्स्ट को एक गायक की स्पष्ट, सुरीली रिकॉर्डिंग की तरह समझें। ट्रांसलेशनिस एक 'कवर सॉन्ग' की तरह है। गाना वही है, लेकिन गायक का लहजा थोड़ा अलग है, शायद वे सुरों को थोड़ा अलग तरह से गाते हैं, या वे कुछ जटिल सामंजस्य (harmonies) छोड़ देते हैं।
यहाँ तक कि पेशेवर मानव अनुवादक (और निश्चित रूप से AI अनुवादक भी) अपनी मूल भाषा के निशान पीछे छोड़ देते हैं। जर्मन से अनुवादित एक वाक्य मूल वक्ता की तुलना में थोड़ा सख्त या अलग तरह से संरचित लग सकता है।
प्रयोग: 24 अलग-अलग लहजे
कुंज ने 24 अलग-अलग भाषाओं को लिया (स्वीडिश जैसे जर्मनिक रिश्तेदारों से लेकर स्वाहिली और तमिल जैसे दूर के रिश्तेदारों तक) और भारी मात्रा में टेक्स्ट को अंग्रेजी में अनुवादित किया। इसके बाद उन्होंने इन "अनुवादित अंग्रेजी" डेटासेट्स पर छोटे AI मॉडल को प्रशिक्षित किया।
वह दो चीजें देखना चाहती थीं:
- रोबोट अगले शब्द की कितनी अच्छी भविष्यवाणी करता है? (जैसे कि एक ऑटो-कम्प्लीट फीचर)।
- क्या रोबोट वास्तव में व्याकरण समझता है? (जैसे कि यह जानना कि "The cat is sleeping" और "The cat are sleeping" के बीच क्या अंतर है)।
बड़ी खोजें
1. "शब्दावली बुफे" बनाम "व्याकरण जिम" (The "Vocabulary Buffet" vs. The "Grammar Gym")
पेपर में पाया गया कि आप जिस भाषा से अनुवाद करते हैं, वह रोबोट को अलग-अलग चीजों के आधार पर अलग तरह से प्रभावित करती है।
सामान्य प्रवाह के लिए (The Vocabulary Buffet):
जब रोबोट केवल वाक्य में अगले शब्द का अनुमान लगाने की कोशिश कर रहा होता है, तो अनुवादित टेक्स्ट में शब्दों की विविधता सबसे अधिक मायने रखती है।- उपमा: कल्पना कीजिए कि आप खाना बनाना सीख रहे हैं। यदि आपको एक ऐसे भाषा से अनुवादित कुकबुक दी जाती है जिसमें बहुत विविध शब्दावली (जैसे एक विशाल बुफे) है, तो आपका रोबोट सामग्रियों (ingredients) की भविष्यवाणी करना अच्छी तरह सीख जाएगा, भले ही व्याकरण थोड़ा अजीब हो। इससे कोई फर्क नहीं पड़ता कि किताब अंग्रेजी के समान भाषा से आई है; महत्वपूर्ण यह है कि उस किताब में सीखने के लिए बहुत सारे अलग-अलग शब्द थे।
- परिणाम: छोटे डेटा सेट्स में, अनुवादित टेक्स्ट की "समृद्धि" (richness) सफलता का सबसे बड़ा संकेतक थी।
व्याकरण के लिए (The Grammar Gym):
जब रोबोट को जटिल नियम सीखने होते हैं (जैसे कर्ता-क्रिया समझौता या वाक्य में लंबी दूरी के संबंध), तो स्रोत भाषा अंग्रेजी के कितनी समान है, यह नायक बन जाता है।- उपमा: कल्पना कीजिए कि आप किसी को टेनिस सिखा रहे हैं। यदि आप उन्हें एक ऐसे रैकेट से सिखाते हैं जो एक मानक टेनिस रैकेट की तरह दिखता है और महसूस होता है (एक भाषा जो संरचनात्मक रूप से अंग्रेजी के समान है, जैसे स्वीडिश), तो वे सही स्विंग तेजी से सीख जाते हैं। यदि आप उन्हें एक ऐसे रैकेट से सिखाते हैं जो बिल्कुल अलग महसूस होता है (एक दूर की भाषा जैसे फिनिश), तो वे विशिष्ट मैकेनिक्स सीखने में संघर्ष करते हैं, भले ही आप उन्हें अधिक अभ्यास का समय दें।
- परिणाम: एक बार जब रोबोट के पास पर्याप्त डेटा हो गया, तो अंग्रेजी के समान भाषाओं (जैसे स्वीडिश या डच) पर प्रशिक्षित मॉडल व्याकरण में उन भाषाओं की तुलना में बहुत बेहतर थे जो दूर की भाषाएं थीं।
2. "सपाट करने वाला प्रभाव" (The "Flattening" Effect)
चाहे किसी भी भाषा का उपयोग किया गया हो, अनुवादित टेक्स्ट ने रोबोट को हमेशा मूल अंग्रेजी की तुलना में थोड़ा "खराब" बना दिया।
- उपमा: यह एक महंगे स्टीरियो के बजाय एक सस्ते स्पीकर पर गाना सुनने जैसा है। सस्ता स्पीकर (अनुवादित टेक्स्ट) ध्वनि को सपाट कर देता है। यह मूल की सूक्ष्मता, "चमक" और प्राकृतिक प्रवाह को खो देता है। अनुवादित डेटा पर प्रशिक्षित रोबोट हमेशा एक वास्तविक वक्ता की तुलना में थोड़ा कम "नेटिव" होता है।
3. "पारिवारिक मिलन" का प्रभाव (The "Family Reunion" Effect)
सबसे दिलचस्प खोज यह थी कि ये रोबोट एक-दूसरे के साथ कैसे बातचीत करते हैं।
- उपमा: कल्पना कीजिए कि दो लोग जिन्होंने दो अलग-अलग भाषाओं से अनुवाद करके अंग्रेजी सीखी है। यदि वे दोनों स्रोत भाषाएं "चचेरे भाई-बहन" (संरचनात्मक रूप से समान) हैं, तो वे एक-दूसरे के "लहजे" को पूरी तरह से समझते हैं। यदि स्रोत भाषाएं अजनबी हैं, तो रोबोट भ्रमित हो जाते हैं।
- परिणाम: स्वीडिश-अनुवादित टेक्स्ट पर प्रशिक्षित रोबोट नॉर्वेजियन से अनुवादित टेक्स्ट को आसानी से समझ सकता था। लेकिन उसे अरबी जैसी दूर की भाषा से अनुवादित टेक्स्ट के साथ संघर्ष करना पड़ा। यह साबित करता है कि अनुवाद विशिष्ट "बोलियाँ" (dialects) बनाता है, और वे बोलियाँ मूल भाषा द्वारा आकार लेती हैं।
मुख्य निष्कर्ष (The Bottom Line)
यदि आप एक AI बना रहे हैं और आपको अनुवादित डेटा का उपयोग करना है:
- यदि आप केवल चाहते हैं कि AI सामान्य रूप से ठीक लगे: ऐसा स्रोत भाषा चुनें जिसमें समृद्ध, विविध शब्दावली हो।
- यदि आपको आवश्यकता है कि AI व्याकरणिक रूप से सटीक हो: ऐसा स्रोत भाषा चुनें जो संरचनात्मक रूप से अंग्रेजी के समान हो (जैसे अन्य यूरोपीय भाषाएं)।
- वास्तविकता की जाँच: अनुवादित डेटा एक अच्छा बैकअप प्लान है जब मूल टेक्स्ट दुर्लभ हो, लेकिन यह हमेशा AI पर एक हल्का "लहजा" और मूल वक्ता की तुलना में थोड़ा कमजोर व्याकरणिक पकड़ छोड़ देगा।
संक्षेप में: अनुवाद एक पुल है, लेकिन यह मूल भूमि पर चलने के समान नहीं है। यदि पुल मूल भूमि के जितना करीब (typological similarity) होगा, रोबोट सड़क के नियमों को उतना ही बेहतर सीखेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।