An Investigation of Translationese in the Generations of Multilingual Large Language Models
यह शोधपत्र इस बात की जांच करता है कि क्या बहुभाषी लार्ज लैंग्वेज मॉडल्स (MLLMs) मानव-अनुवादित पाठ के समान "ट्रांसलेशनिस" (translationese) उत्पन्न करते हैं, जिसके लिए पाँच भाषाओं में भाषाई विशेषताओं का विश्लेषण किया गया है और MLLM द्वारा जनरेट किए गए टेक्स्ट की तुलना गैर-अनुवादित और मानव-लिखित बेसलाइन से की गई है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब कोई व्यक्ति अपनी मातृभाषा के अलावा किसी अन्य भाषा में बोलता या लिखता है, तो उनके शब्दों में अक्सर एक सूक्ष्म, अदृश्य उंगलियों के निशान (फिंगरप्रिंट) दिखाई देते हैं। वे ऐसे वाक्य संरचनाओं का उपयोग कर सकते हैं जो थोड़ी कठोर महसूस होती हैं, ऐसे शब्दों का चयन कर सकते हैं जो तकनीकी रूप से सही तो हैं लेकिन स्थानीय लोगों द्वारा शायद ही कभी उपयोग किए जाते हैं, या वाक्यांशों को इस तरह व्यवस्थित कर सकते हैं जो उनकी पहली भाषा के प्रभाव को उजागर करते हैं। भाषाविद् इस घटना को "ट्रांसलेशनिस" (translationese) कहते हैं। यह मूल भाषा की एक शेष गूँज है, जो सफल अनुवाद के बाद भी दिखाई देती है। दशकों तक, इस अवधारणा का मानव अनुवाद में अध्ययन किया गया है, जहाँ विद्वान इस बात का विश्लेषण करते हैं कि अनुवाद की प्रक्रिया भाषा की बनावट को कैसे बदल देती है। हालाँकि, आज, आर्टिफिशियल इंटेलिजेंस के क्षेत्र में एक नया प्रश्न उभर कर आया है। लार्ज लैंग्वेज मॉडल्स (LLMs), जो शक्तिशाली कंप्यूटर सिस्टम हैं और दर्जनों भाषाओं में धाराप्रवाह लिख सकते हैं, तेजी से आम होते जा रहे हैं। जबकि ये मशीनें ऐसा टेक्स्ट बना सकती हैं जो सतह पर एकदम सटीक दिखता है, शोधकर्ता यह सोचने लगे हैं कि क्या वे वास्तव में उस भाषा में सोच रहे हैं जिसमें वे लिख रहे हैं, या क्या वे अंतिम परिणाम देने से पहले गुप्त रूप से अपनी एक प्रमुख आंतरिक भाषा, संभवतः अंग्रेजी, से सब कुछ अनुवाद कर रहे हैं। यदि वे ऐसा कर रहे हैं, तो उनके आउटपुट में अनुवाद के वही छिपे हुए निशान होंगे जो मानव अनुवादक पीछे छोड़ देते हैं।
शोधकर्ताओं की एक टीम ने इन आर्टिफिशियल इंटेलिजेंस मॉडल्स द्वारा उत्पन्न टेक्स्ट को एक अनुवाद की तरह मानकर इस संभावना की जांच करने का निर्णय लिया। वे जानना चाहते थे कि क्या मशीनें ऐसा टेक्स्ट बना रही हैं जो सुनने में ऐसा लगता है जैसे अनुवाद किया गया हो, भले ही उन्हें किसी विशिष्ट भाषा में सीधे लिखने के लिए कहा गया हो। इसके लिए, उन्होंने पांच अलग-अलग भाषाओं में टेक्स्ट के नमूने एकत्र किए: अंग्रेजी, जर्मन, स्पेनिश, ग्रीक और पश्तो। उन्होंने लेखन का एक विशाल संग्रह बनाया जिसमें तीन अलग-अलग प्रकार शामिल थे: मूल वक्ताओं द्वारा स्वाभाविक रूप से लिखा गया टेक्स्ट, वास्तविक रूप से मनुष्यों द्वारा अनुवादित टेक्स्ट, और दो सबसे उन्नत AI मॉडल्स द्वारा जनरेट किया गया टेक्स्ट। उन्होंने एक चौथा प्रकार भी शामिल किया, जहाँ AI ने अंग्रेजी में लिखा और एक अलग कंप्यूटर प्रोग्राम ने उसे लक्षित भाषा में अनुवादित किया, ताकि यह देखा जा सके कि यह AI द्वारा सीधे लक्षित भाषा में लिखे जाने की तुलना में कैसा है। इसके बाद, शोधकर्ताओं ने एक परिष्कृत कंप्यूटर प्रोग्राम का उपयोग किया जिसे 'ट्रांसलेशनिस' के विशिष्ट पैटर्न को पहचानने के लिए प्रशिक्षित किया गया था। इस प्रोग्राम को हजारों मानव लेखन और मानव अनुवादों पर प्रशिक्षित किया गया था, जिससे इसने उन सूक्ष्म सांख्यिकीय अंतरों को पहचानना सीखा जो एक मूल वक्ता को एक अनुवादक से अलग करते हैं।
परिणामों ने एक स्पष्ट पैटर्न का खुलासा किया। जब AI मॉडल्स अंग्रेजी में लिखते थे, तो उनका टेक्स्ट शायद ही कभी अनुवादित के रूप में चिह्नित किया जाता था, जो यह सुझाव देता है कि वे अपनी प्रमुख भाषा में स्वाभाविक रूप से कार्य कर रहे थे। हालाँकि, जैसे ही मॉडल्स ने अन्य भाषाओं में स्विच किया, कहानी बदल गई। जर्मन और स्पेनिश में, AI-जनरेटेड टेक्स्ट में 'ट्रांसलेशनिस' के मजबूत संकेत मिले। कंप्यूटर प्रोग्राम ने जर्मन टेक्स्ट के एक महत्वपूर्ण हिस्से और स्पेनिश टेक्स्ट की एक बड़ी मात्रा को अनुवाद के विशिष्ट मार्करों के रूप में पहचाना। यह सुझाव देता है कि भले ही मॉडल्स को इन भाषाओं में सीधे लिखने के लिए प्रेरित किया जाए, वे एक ऐसी आंतरिक प्रक्रिया पर निर्भर हो सकते हैं जो अनुवाद के समान है, शायद पहले अंग्रेजी में सोचना और फिर विचारों को परिवर्तित करना। यह प्रभाव तब और भी अधिक स्पष्ट हो गया जब शोधकर्ताओं ने उन विशिष्ट शब्दों को देखा जिन्हें मॉडल चुनते हैं। उन्होंने पाया कि AI उन सबसे स्पष्ट, भद्दी गलतियों से बचने की कोशिश करता है जो मनुष्य कर सकते हैं, लेकिन फिर भी इसे सामान्य शब्दों के सूक्ष्म वितरण के साथ संघर्ष करना पड़ता है। उदाहरण के लिए, जर्मन में, मॉडल्स ने कुछ सामान्य जोड़ने वाले शब्दों का उपयोग ऐसे पैटर्न में किया जो मूल भाषण के बजाय अनुवादित टेक्स्ट से मेल खाते थे, जबकि स्पेनिश में, उन्होंने मूल वक्ता की तुलना में "the" जैसे लेखों (articles) का बहुत कम उपयोग किया।
दिलचस्प बात यह है कि इस "अनुवाद" प्रभाव की डिग्री स्वयं भाषा पर बहुत अधिक निर्भर थी। मॉडल ग्रीक और पश्तो में, जिनमें प्रशिक्षण के लिए कम डिजिटल संसाधन उपलब्ध हैं, जर्मन और स्पेनिश की तुलना में बेहतर प्रदर्शन करते हैं। इन कम-संसाधन वाली भाषाओं में, AI-जनरेटेड टेक्स्ट के अनुवादित होने के रूप में चिह्नित होने की संभावना कम थी। शोधकर्ता सुझाव देते हैं कि ऐसा इसलिए हो सकता है क्योंकि जर्मन और स्पेनिश के लिए उपलब्ध प्रशिक्षण डेटा में मौजूदा अनुवादित सामग्री की एक विशाल मात्रा है, जिसकी नकल मॉडल बस करते हैं। इसके विपरीत, ग्रीक और पसो के लिए प्रशिक्षण डेटा में कम अनुवादित सामग्री हो सकती है, जो मॉडल्स को उनके पास उपलब्ध मूल संरचनाओं पर अधिक निर्भर रहने के लिए मजबूर करती है। टीम ने मानव पाठकों से भी टेक्स्ट के एक छोटे नमूने का निर्णय लेने के लिए कहा। आश्चर्यजनक रूप से, मनुष्य अक्सर उस 'ट्रांसलेशनिस' को पकड़ने में असमर्थ थे जिसे कंप्यूटर प्रोग्राम इतनी आसानी से ढूंढ लेता था। मनुष्यों ने मुख्य रूप से अजीब शब्द चयन या अजीब संयोजनों को देखा, जबकि कंप्यूटर ने शब्दों के व्यवस्थित होने के गहरे सांख्यिकीय बदलावों का पता लगाया। यह इंगित करता है कि भले ही AI सबसे स्पष्ट गलतियों को छिपा सकता है, लेकिन इसकी लेखन की अंतर्निहित संरचना इसकी गैर-मूल प्रवाह क्षमता को उजागर कर देती है।
अध्ययन यह निष्कर्ष निकालता है कि ये शक्तिशाली भाषा मॉडल अभी तक गैर-अंग्रेजी भाषाओं के लिए वास्तव में एक मूल (native) तरीके से टेक्स्ट उत्पन्न नहीं करते हैं। इसके बजाय, उनके आउटपुट में अक्सर अनुवाद के छिपे हुए हस्ताक्षर होते हैं, जो यह सुझाव देते हैं कि उनकी आंतरिक प्रक्रिया अभी भी अंग्रेजी पर आधारित है। इसका मतलब यह नहीं है कि मॉडल विफल हो रहे हैं; वे अक्सर अत्यधिक प्रभावी और उपयोगी होते हैं। हालाँकि, यह उनके सीखने और काम करने के तरीके में एक मौलिक सीमा को प्रकट करता है। वे कई भाषाओं के सतही स्तर में महारत हासिल करते प्रतीत होते हैं, जबकि अभी भी अपने तर्क के लिए एक केंद्रीय, अंग्रेजी-आधारित ढांचे पर निर्भर रहते हैं। शोधकर्ता नोट करते हैं कि यह खोज यह समझाने में मदद करती है कि ये मॉडल कभी-कभी सांस्कृतिक बारीकियों या अंग्रेजी के अलावा किसी अन्य भाषा के स्वाभाविक प्रवाह के साथ संघर्ष क्यों करते हैं। इन छिपे हुए निशानों की पहचान करके, यह अध्ययन मशीन-जनरेटित टेक्स्ट की वास्तविक गुणवत्ता को मापने का एक नया तरीका प्रदान करता है, जो केवल शुद्धता से आगे बढ़कर उस आवाज की वास्तविक सहजता का आकलन करता है जिसका अनुकरण करने की मशीन प्रयास कर रही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।