Evaluative Cultural Hallucination in Large Language Model Assessment of Tenor in Scenic Area Public Sign Translations
यह अध्ययन प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स अक्सर "मूल्यांकन संबंधी सांस्कृतिक मतिभ्रम" (इवैलुएटिव कल्चरल हैलुसिनेशन) प्रदर्शित करते हैं, जिसमें वे दर्शनीय स्थलों के सार्वजनिक साइन ट्रांसलेशन की व्यावहारिक और सामाजिक-सांस्कृतिक उपयुक्तता (टेनर) का अत्यधिक आकलन करते हैं, और अक्सर सतही औपचारिकता या पहचानने योग्य संदर्भों को वास्तविक सांस्कृतिक उपयुक्तता समझने की भूल करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
जब आप चीन के किसी ऐतिहासिक मंदिर या पवित्र दफन स्थल से गुजरते हैं, तो आपका मार्गदर्शन करने वाले संकेत केवल दिशा निर्देश मात्र नहीं होते। वे संस्कृतियों के बीच एक सेतु हैं, जो न केवल शब्दों का, बल्कि उस गहरे सम्मान, इतिहास और गंभीरता का भी अनुवाद करते हैं जो उस स्थान के बारे में बात करने के लिए आवश्यक है जहाँ पूर्वज विश्राम करते हैं या देवताओं का सम्मान किया जाता है। यह सार्वजनिक-संकेत अनुवाद (public-sign translation) का क्षेत्र है, एक ऐसा कार्य जो स्पष्टता और सांस्कृतिक संवेदनशीलता के बीच एक नाजुक संतुलन की मांग करता है। दशकों से, विशेषज्ञ इन अनुवादों का मूल्यांकन "टेनर" (tenor) को देखकर करते आए हैं, जो एक ऐसी अवधारणा है जो लेखक और पाठक के बीच के संबंध का वर्णन करती है। यह सवाल करता है कि क्या लहजा सही है: क्या यह एक पवित्र स्थल के लिए बहुत अनौपचारिक है? क्या यह एक प्रकृति पथ के लिए बहुत कठोर है? क्या यह किसी ऐतिहासिक व्यक्तित्व के प्रति उचित स्तर का सम्मान प्रदर्शित करता है? जैसे-जैसे शहर और पर्यटन स्थल बढ़ रहे हैं, इन हजारों संकेतों की जांच करने की आवश्यकता मानव विशेषज्ञों की समीक्षा करने की क्षमता से आगे निकल गई है, जिससे कई लोग यह सोचने पर मजबूर हैं कि क्या आर्टिफिशियल इंटेलिजेंस (AI) इसमें मदद के लिए कदम रख सकता है।
लार्ज लैंग्वेज मॉडल्स (Large language models), जो आधुनिक चैटबॉट्स के पीछे के शक्तिशाली कंप्यूटर सिस्टम हैं, उन्होंने दिखाया है कि वे प्रभावशाली प्रवाह के साथ पढ़ और लिख सकते हैं। वे व्याकरण संबंधी गलतियों को पकड़ सकते हैं और बेहतर वाक्यांश सुझा सकते हैं। लेकिन यूनिवर्सिटी ऑफ मलाया के शोधकर्ताओं का एक नया अध्ययन एक कठिन प्रश्न पूछता है: क्या ये मशीनें संस्कृति के अदृश्य भार को समझ सकती हैं? विशेष रूप से, वे जानना चाहते थे कि क्या एक आर्टिफिशियल इंटेलिजेंस गलती से ऐसे अनुवाद की प्रशंसा करेगा जो सुनने में विनम्र और औपचारिक लगता है लेकिन वास्तव में एक पवित्र या ऐतिहासिक स्थल के लिए आवश्यक गहरे सांस्कृतिक अर्थ को समझने में विफल रहता है। शोधकर्ताओं ने चीन के ज़ुज़ौ (Xuzhou) के आठ प्रमुख पर्यटक आकर्षणों से 116 द्विभाषी संकेतों को एकत्र किया, जो प्रकृति गाइडों से लेकर प्राचीन मकबरों और बौद्ध मंदिरों के विवरण तक विस्तृत थे। उन्होंने मानव विशेषज्ञों और एक परिष्कृत AI मॉडल दोनों से अंग्रेजी अनुवादों को इस आधार पर ग्रेड देने के लिए कहा कि उन्होंने सही लहजे और सम्मान को कितनी अच्छी तरह पकड़ा है।
परिणामों ने मानवीय अंतर्ज्ञान और मशीन के निर्णय के बीच एक महत्वपूर्ण अंतर प्रकट किया। जहाँ मानव विशेषज्ञों ने आवश्यक सांस्कृतिक सम्मान को पकड़ने में विफल रहने के कारण कई अनुवादों को कम अंक दिए, वहीं AI मॉडल ने लगातार उन्हें उच्च अंक दिए। परीक्षण किए गए लगभग आधे मामलों में, AI ने एक अनुवाद को उच्च गुणवत्ता वाला बताया, भले ही विशेषज्ञों ने उसे सांस्कृतिक रूप से अपर्याप्त कहा था। समस्या धार्मिक और अनुष्ठान संबंधी संकेतों के मामले में सबसे गंभीर थी। इन संकेतों के लिए, AI उन मामलों में 65 प्रतिशत बार अनुवाद की गुणवत्ता के बारे में गलत था। शोधकर्ताओं ने पाया कि AI केवल यादृच्छिक त्रुटियां नहीं कर रहा था; बल्कि यह गलतफहमी के एक विशिष्ट, पूर्वानुमेय पैटर्न का पालन कर रहा था। इसने पाठ के सतही स्वरूप को उसके गहरे सांस्कृतिक मूल्य के रूप में समझ लिया।
जब शोधकर्ताओं ने बारीकी से देखा कि AI ने ये उच्च अंक क्यों दिए, तो उन्होंने पाया कि यह चार विशिष्ट शॉर्टकटों पर निर्भर था। पहला, मॉडल अक्सर केवल इसलिए किसी अनुवाद की प्रशंसा करता था क्योंकि वह औपचारिक या संस्थागत लगता था, जैसे कि कुछ ऐसा जिसे आप किसी संग्रहालय में देख सकते हैं। उसने मान लिया कि यदि शब्द आधिकारिक लग रहे थे, तो लहजा सही था, भले ही विशिष्ट सांस्कृतिक सम्मान गायब हो। दूसरा, AI पहचाने जाने योग्य नामों से भ्रमित हो गया। यदि अनुवाद ने किसी ऐतिहासिक व्यक्ति या धार्मिक वस्तु के नाम को बरकरार रखा, तो मॉडल ने मान लिया कि काम पूरा हो गया है, और इस बात को नजरअंदाज कर दिया कि आसपास के शब्द उस व्यक्तित्व के साथ उचित श्रद्धा का व्यवहार कर रहे हैं या नहीं। तीसरा, मॉडल कभी-कभी सामान्य विनम्रता को विशिष्ट सांस्कृतिक गंभीरता के साथ भ्रमित कर देता था। वह उन शब्दों को देखता था जो व्यापक अर्थ में सम्मानजनक लगते थे और तय कर लेता था कि अनुवाद उत्तम है, जिससे वह यह देखने में विफल रहता था कि विशिष्ट अनुष्ठानिक सूक्ष्मताएं खो गई हैं। अंत में, AI लुप्त जानकारी के प्रति बहुत उदार था। वह एक ऐसे अनुवाद को उच्च अंक देता था जो संक्षिप्त और पढ़ने में आसान था, भले ही उसने मूल अर्थ के लिए आवश्यक अनुष्ठानों या इतिहास के महत्वपूर्ण विवरणों को हटा दिया हो।
अध्ययन सुझाव देता है कि यह केवल मशीन के थोड़ा गलत होने का मामला नहीं है, बल्कि यह एक ऐसा रूप है जिसे लेखक "मूल्यांकन संबंधी सांस्कृतिक मतिभ्रम" (evaluative cultural hallucination) कहते हैं। इसका मतलब यह नहीं है कि मशीन तथ्य गढ़ रही है; बल्कि, यह मतिभ्रम कर रही है कि एक अनुवाद सांस्कृतिक रूप से उपयुक्त है जब वह वास्तव में नहीं है। यह सतही विशेषताओं—औपचारिक शब्दों, पहचाने जाने योग्य नामों या एक विनम्र लहजे—को देखती है और खुद को विश्वास दिला लेती है कि गहरे सांस्कृतिक मानदंड पूरे हो गए हैं। यह विशेष रूप से धार्मिक या अनुष्ठानिक सेटिंग्स में संकेतों के लिए खतरनाक है, जहाँ लहजे को गलत करना अपमानजनक या यहाँ तक कि आपत्तिजनक माना जा सकता है। शोधकर्ताओं ने पाया कि AI प्रकृति या सामान्य जानकारी के बारे में संकेतों के बारे में निर्णय लेने में बहुत बेहतर था, जहाँ लहजा कम जटिल होता है। लेकिन जब पाठ में पवित्र स्थानों, दफन स्थलों या प्राचीन अनुष्ठानों का उल्लेख था, तो मशीन का आत्मविश्वास एक बड़ी कमी बन गया।
यह शोध यह नहीं कहता कि आर्टिफिशियल इंटेलिजेंस अनुवाद में मदद नहीं कर सकता। इसके बजाय, यह चेतावनी देता है कि हम केवल मशीन के स्कोर पर भरोसा नहीं कर सकते, विशेष रूप से तब जब संस्कृति दांव पर हो। AI यह जांचने में उत्कृष्ट है कि क्या कोई वाक्य व्याकरणिक रूप से सही है या किसी नाम की वर्तनी सही है, लेकिन यह सम्मान और पदानुक्रम के उन अदृश्य नियमों को समझने में संघर्ष करता है जो पवित्र के बारे में बात करने के तरीके को नियंत्रित करते हैं। अध्ययन निष्कर्ष निकालता है कि पर्यटन क्षेत्रों के संकेतों के लिए, विशेष रूप से जो इतिहास और धर्म से जुड़े हैं, मानव विशेषज्ञों का प्रक्रिया में बने रहना अनिवार्य है। मशीन एक पहली नज़र देख सकती है, लेकिन उसके तर्क की जांच एक ऐसे व्यक्ति द्वारा की जानी चाहिए जो यह समझता है कि एक औपचारिक लहजा, सम्मानजनक लहजे के समान नहीं है, और एक पहचाना जाने योग्य नाम सांस्कृतिक रूप से सटीक अनुवाद की गारंटी नहीं देता है। जब तक मशीनें वास्तव में संस्कृति के भार को नहीं समझ लेतीं, तब तक इन संकेतों को सुनिश्चित करने का सबसे विश्वसनीय तरीका कि वे उन स्थानों का सम्मान करते हैं जिनका वे वर्णन करते हैं, एक मानव हाथ को नियंत्रण में रखना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।