Building an English–Arabic Benchmark Corpus for Evaluating AI Translation of Implicit Political Meaning in U.S. Presidential Discourse
यह अध्ययन अमेरिकी राष्ट्रपति के भाषणों से व्युत्पन्न एक अंग्रेजी-अरबी बेंचमार्क कॉर्पस और एक अनुरूप मूल्यांकन ढांचे को प्रस्तुत करता है जिसे एआई अनुवाद प्रणालियों की निहित राजनीतिक अर्थ, विशेष रूप से अप्रत्यक्षता और नाम से बचने की रणनीतियों को संरक्षित करने की क्षमता का व्यवस्थित रूप से आकलन करने के लिए डिज़ाइन किया गया है, जिन्हें अक्सर शाब्दिक सटीकता के पक्ष में अनदेखा कर दिया जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक भाषा से दूसरी भाषा में एक गुप्त संदेश का अनुवाद करने की कोशिश कर रहे हैं। आज के अधिकांश अनुवाद उपकरण एक सुपर-फास्ट फोटोकॉपी मशीन की तरह हैं: वे शब्दों, व्याकरण और वर्तनी की सटीक नकल करने में उत्कृष्ट हैं। यदि आप उनसे "The cat sat on the mat" का अनुवाद करने के लिए कहते हैं, तो वे बिना किसी त्रुटि के दूसरी भाषा में इसका सटीक समकक्ष देंगे। लेकिन क्या होगा जब संदेश केवल शब्दों के बारे में नहीं होता? क्या होगा यदि वक्ता कुछ ऐसा कहने की कोशिश कर रहा हो जो वह वास्तव में कह नहीं रहा है?
भाषा की दुनिया में, इसे "इम्प्लिकेचर" (implicature) कहा जाता है। यह संकेत देने, टालने और अप्रत्यक्ष रूप से कहने की कला है। इसे ऐसे सोचें जैसे कोई राजनेता कहता है, "अतीत में कुछ लोगों ने कुछ गलतियाँ कीं," बजाय इसके कि वह किसी विशिष्ट व्यक्ति का नाम ले और कहे, "बॉब बहुत बुरा था।" अर्थ वहीं मौजूद है, लेकिन वह परछाइयों में छिपा हुआ है, जो सुनने वाले पर निर्भर करता है कि वह कड़ियों को जोड़ सके। यह पेचीदा है क्योंकि विभिन्न संस्कृतियों के पास रहस्य छिपाने के अलग-अलग तरीके होते हैं। अंग्रेजी में, आप "वाशिंगटन" के बारे में बात करके किसी चीज़ की ओर संकेत कर सकते हैं, जबकि अरबी में, आप एक विशिष्ट प्रकार के अस्पष्ट वाक्यांश का उपयोग कर सकते हैं। यदि एक अनुवाद उपकरण केवल शब्दों की नकल करता है लेकिन छिपे हुए संकेत को चूक जाता है, तो वह अनजाने में एक विनम्र सुझाव को एक सीधे अपमान में या इसके विपरीत बदल सकता है। राजनीति में यह एक बहुत बड़ी समस्या है, जहाँ नेता अक्सर इन छिपे हुए संकेतों का उपयोग मुसीबत से बचने या अपने सहयोगियों को गुप्त संकेत भेजने के लिए करते हैं।
यही वह पहेली है जिसे मोहम्मद हनाकतह और जॉर्डन विश्वविद्यालय की उनकी टीम ने हल करने का निर्णय लिया। उन्होंने महसूस किया कि जबकि कंप्यूटर भाषा के "सतही" हिस्से का अनुवाद करने में महान हैं, वे अभी भी इसके "आत्मा" का अनुवाद करना सीख रहे हैं—उस हिस्से का जो लिखा नहीं गया है। इसे ठीक करने के लिए, उन्होंने केवल एक सिद्धांत नहीं लिखा; बल्कि उन्होंने एक विशेष प्रशिक्षण मैदान, या एक "बेंचमार्क" बनाया, ताकि यह परीक्षण किया जा सके कि एआई (AI) और मानव अनुवादक अंग्रेजी और अरबी के बीच इन चालाक राजनीतिक संकेतों को कितनी अच्छी तरह संभाल सकते हैं।
राष्ट्रपति भाषणों का गुप्त कोड
शोधकर्ताओं ने दो अमेरिकी राष्ट्रपतियों, बराक ओबामा और जो बाइडन द्वारा 2008 और 2024 के बीच दिए गए भाषणों के 121 छोटे अंशों का संग्रह एकत्र करके शुरुआत की। उन्होंने यादृच्छिक (random) वाक्य नहीं चुने; उन्होंने विशेष रूप से भाषणों के "छिपे हुए" हिस्सों की तलाश की। ये वे क्षण थे जहाँ राष्ट्रपति प्रत्यक्ष नहीं थे। उदाहरण के लिए, "पिछली सरकार विफल रही" कहने के बजाय, वे कह सकते हैं, "हम दशकों से इंतजार कर रहे हैं जबकि समस्याएं बदतर होती गईं।"
टीम ने फिर इन 121 अंशों के लिए एक विशेष "उत्तर कुंजी" बनाई। उन्होंने उन्हें औपचारिक अरबी में अनुवादित किया, लेकिन एक बहुत सख्त नियम के साथ: रहस्य बनाए रखें। यदि अंग्रेजी बोलने वाला दोष से बचने के लिए अस्पष्ट था, तो अरबी अनुवाद को भी उसी तरह अस्पष्ट होना चाहिए था। वे खाली स्थानों को वास्तविक नामों या स्पष्ट स्पष्टीकरणों से भर नहीं सकते थे। उन्हें "अप्रत्यक्षता" को सुरक्षित रखना था।
उनकी सबसे दिलचस्प खोजों में से एक पैटर्न था जिसे वे "नाम टालना" (name avoidance) कहते हैं। 24 में से 121 खंडों में, राष्ट्रपतियों ने एक चतुर चाल चली: उन्होंने एक भूमिका (जैसे "मेरे पूर्ववर्ती" या "पिछली सरकार") के बारे में बात की, बजाय इसके कि वास्तविक व्यक्ति का नाम लें। यह कहने जैसा है, "वह व्यक्ति जो मेरे पहले इस कुर्सी पर बैठा था," बजाय इसके कि कहें "जॉर्ज।" शोधकर्ताओं ने पाया कि उनके सावधानीपूर्वक तैयार किए गए अरबी अनुवादों में, उन्होंने इस "नाम टालने" को सफलतापूर्वक जीवित रखा। उन्होंने गलती से सच नहीं उगल दिया और व्यक्ति का नाम नहीं बताया। वास्तव में, उन्होंने पूरे डेटासेट में केवल एक बार इस नियम को तोड़ा, और वह इसलिए था क्योंकि मूल अंग्रेजी भाषण में वास्तव में व्यक्ति का नाम सीधे तौर पर लिया गया था। इसने दिखाया कि उनकी अनुवाद पद्धति इतनी स्मार्ट थी कि वह जानती थी कि कब अस्पष्ट रहना है और कब स्पष्ट होना है।
एआई के लिए नया "टेस्ट"
यह शोध पत्र केवल डेटासेट बनाने तक ही सीमित नहीं है; यह अनुवादों को ग्रेड देने का एक पूरा नया तरीका बनाता है। कल्पना कीजिए कि एक शिक्षक टेस्ट ले रहा है। आमतौर पर, शिक्षक देखते हैं कि छात्र ने शब्दों की वर्तनी सही लिखी है या नहीं। यह नया ढांचा एक ऐसे शिक्षक की तरह है जो यह जांचता है कि क्या छात्र ने मजाक या संकेत को समझा है।
उन्होंने पांच स्तरों वाला एक स्कोरिंग सिस्टम बनाया:
- पूर्णतः संरक्षित (Fully Preserved): पाठक को मूल श्रोता की तरह ही सटीक छिपा हुआ अर्थ प्राप्त होता है।
- मुख्यतः संरक्षित (Mostly Preserved): संकेत मौजूद है, लेकिन यह थोड़ा कमजोर है।
- आंशिक रूप से संरक्षित (Partially Preserved): आपको अर्थ का अनुमान लगाने के लिए बहुत मेहनत करनी पड़ती है, या इसे थोड़ा बदल दिया गया है।
- न्यूनतम संरक्षित (Minimally Preserved): संकेत लगभग गायब है; आप मुख्य रूप से केवल शाब्दिक शब्दों को देखते हैं।
- संरक्षित नहीं (Not Preserved): संकेत पूरी तरह से खो गया है, या अर्थ बदल गया है।
उन्होंने यह भी परिभाषित किया कि जब अनुवाद गलत होता है तो क्या होता है। कभी-कभी, एक अनुवादक (या एक रोबोट) एक संकेत को "अति-स्पष्ट" (over-explain) कर सकता है, जिससे एक सूक्ष्म सुझाव एक ज़ोरदार चिल्लाहट में बदल जाता है। इसे "एक्सप्लिसिटेशन" (explicitation) कहा जाता है। अन्य समय में, वे संकेत को बहुत कमजोर या बहुत मजबूत बना सकते हैं। शोधकर्ता इन्हें "शिफ्ट्स" (shifts) कहते हैं।
भविष्य के लिए इसका क्या अर्थ है
इस शोध पत्र के बारे में सबसे महत्वपूर्ण बात वह है जो यह अभी तक नहीं कहता है। लेखकों ने खेल का मैदान और खेल के नियम तो बना दिए हैं, लेकिन उन्होंने अभी तक खेल नहीं खेला है। उन्होंने वर्तमान एआई (जैसे कि बड़े भाषा मॉडल जिनका हम आज उपयोग करते हैं) या मानव अनुवादकों का इस विशिष्ट परीक्षण पर कैसा प्रदर्शन है, इसका परीक्षण नहीं किया है। वे कह रहे हैं, "यहाँ वह उपकरण है जिसकी आपको इसे मापने के लिए आवश्यकता है, और यहाँ बताया गया है कि हम इसे कैसे मापेंगे।"
उनका सुझाव है कि वर्तमान एआई इन छिपे हुए अर्थों के साथ संघर्ष कर सकता है क्योंकि एआई को आमतौर पर प्रवाहपूर्ण और पूर्ण होने के लिए प्रशिक्षित किया जाता है। एआई खाली स्थानों को भरने और चीजों को स्पष्ट करने में बहुत रुचि रखता है। लेकिन राजनीति में, कभी-कभी आप चीजों को स्पष्ट नहीं करना चाहते। आप अस्पष्टता चाहते हैं। शोधकर्ताओं को संदेह है कि यदि वे अपना परीक्षण चलाते हैं, तो वे पा सकते हैं कि एआई अक्सर अप्रत्यक्ष संकेतों को प्रत्यक्ष कथनों में बदलकर अनजाने में "राज उगल देता है", जो राजनीतिक अर्थ को पूरी तरह से बदल देता है।
इन 121 पेचीदा वाक्यों के इस विशिष्ट अंग्रेजी-अरबी संग्रह और उन्हें ग्रेड देने के एक स्पष्ट तरीके को बनाकर, टीम ने वैज्ञानिक समुदाय को एक नया पैमाना दे दिया है। इससे पहले, हम केवल यह माप सकते थे कि अनुवाद कितना सहज लग रहा है। अब, हम अंततः यह माप सकते हैं कि क्या अनुवाद ने रहस्य को सुरक्षित रखा है। यह समझने में एक बड़ा कदम है कि मशीनें राजनीतिक संकेत देने की जटिल, सूक्ष्म और बहुत मानवीय कला को कैसे संभालती हैं। अगला चरण, जिसे लेखक भविष्य में करने की योजना बना रहे हैं, वास्तव में परीक्षण चलाना और यह देखना है कि क्या रोबोट भी उतना ही अच्छा रहस्य रख सकते हैं जितना कि एक मानव राजनयिक।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।