Lessons Without Borders? Evaluating Cultural Alignment of LLMs Using Multilingual Story Moral Generation
यह शोध पत्र बड़े भाषा मॉडलों (large language models) में सांस्कृतिक संरेखण का आकलन करने के लिए एक नवीन मूल्यांकन कार्य के रूप में बहुभाषी कहानी नैतिक पीढ़ी (multilingual story moral generation) प्रस्तुत करता है, जो यह प्रकट करता है कि जबकि GPT-4o और Gemini जैसे अत्याधुनिक मॉडल औसतन मानवीय नैतिक व्याख्याओं के साथ अच्छी तरह से संरेखित होते हैं, वे मानवीय कथा समझ में निहित समृद्ध क्रॉस-भाषाई विविधता को पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया भर के दोस्तों के साथ एक अलाव (campfire) के चारों ओर बैठे हैं। आप एक मेहनती चींटी और एक आलसी टिड्डे की कहानी सुनाते हैं।
- आपका एक दोस्त, जो एक बहुत ही प्रतिस्पर्धी और व्यक्तिगत संस्कृति से आता है, कह सकता है, "इसका नैतिक संदेश यह है: कड़ी मेहनत रंग लाती है, और आपको दूसरों पर निर्भर नहीं रहना चाहिए।"
- आपका एक दूसरा दोस्त, जो एक समुदाय-केंद्रित संस्कृति से आता है, कह सकता है, "इसका नैतिक संदेश यह है कि जिनके पास संसाधन हैं, उन्हें साझा करना चाहिए, क्योंकि हम सभी को मिलकर जीवित रहने के लिए इसकी आवश्यकता है।"
दोनों दोस्तों ने बिल्कुल एक ही कहानी सुनी, लेकिन वे अलग-अलग सबक लेकर निकले। यह मानव कहानी कहने की जादुई शक्ति है: सबक बदल जाता है, इस बात पर निर्भर करता है कि सुनने वाला कौन है।
यह शोध पत्र एक सरल लेकिन गहरा प्रश्न पूछता है: क्या AI हमें किसी कहानी का "सही" सबक बता सकता है, या यह पूछने वाले के आधार पर हमें केवल एक ही सामान्य उत्तर देता है?
यहाँ शोधकर्ताओं द्वारा किए गए कार्य और उनके निष्कर्षों का विवरण दिया गया है, जिसे कुछ रोजमर्रा के उदाहरणों (analogies) के माध्यम से समझाया गया है।
1. प्रयोग: एक वैश्विक बुक क्लब
शोधकर्ताओं ने एक विशाल, वैश्विक "बुक क्लब" बनाया।
- कहानियाँ: उन्होंने 14 अलग-अलग देशों के 14 विभिन्न उपन्यासों को लिया (जैसे मिस्र की एक कहानी, कोरिया की एक, ब्राजील की एक)।
- इंसान: उन्होंने उन विशिष्ट देशों के वास्तविक लोगों से कहानियाँ पढ़ने और अपनी भाषा में कहानी का "नैतिक संदेश" लिखने के लिए कहा।
- AI: उन्होंने शक्तिशाली AI मॉडलों (जैसे GPT-4o और Gemini) को भी बिल्कुल यही काम करने के लिए कहा।
वे यह देखना चाहते थे कि क्या AI मानव विचारों की विविधता की नकल कर सकता है। क्या AI कोरियाई कहानी के लिए "कोरियाई-शैली" का सबक और ब्राज़ीलियाई कहानी के लिए "ब्राज़ीलियाई-शैली" का सबक देगा? या क्या यह हर चीज़ के लिए एक ही "AI-शैली" का उत्तर देगा?
2. निष्कर्ष: "स्मूदी" बनाम "मसाला रैक"
अच्छी खबर: AI स्मार्ट है
AI कहानियों को समझने में बहुत अच्छा रहा। जब इंसानों ने AI के जवाबों को पढ़ा, तो उन्हें लगा, "अरे, यह तो काफी अच्छा सबक है!" वास्तव में, AI के जवाब अक्सर मानव उत्तरों की तुलना में मानव परीक्षकों के बीच अधिक लोकप्रिय थे। AI किसी कहानी के अर्थ के "केंद्र" को खोजने में बहुत कुशल है।
बुरी खबर: AI एक "फ्लैटरर" (सपाट करने वाला) है
यहीं पर मामला दिलचस्प हो जाता है। जहाँ इंसानों ने विविध प्रकार के उत्तर दिए (एक मसाला रैक की तरह जिसमें कई अलग-अलग स्वाद होते हैं), वहीं AI ने ऐसे उत्तर दिए जो आश्चर्यजनक रूप से एक जैसे थे (एक स्मूदी की तरह)।
- मानव मसाला रैक: यदि आप 14 अलग-अलग संस्कृतियों से एक नैतिक संदेश मांगते, तो आपको 14 थोड़े अलग स्वाद मिलते। कुछ तीखे, कुछ मीठे, कुछ खट्टे। यह स्वाभाविक है; संस्कृति हमारे दुनिया को देखने के नज़रिए को आकार देती है।
- AI स्मूदी: AI ने उन सभी अलग-अलग संस्कृतियों को लिया और उन्हें एक विशाल, सुरक्षित, औसत स्मूदी में मिला दिया। इसने सभी 14 भाषाओं में बहुत समान उत्तर दिए। इसने प्रत्येक संस्कृति के अनूठे "स्वाद" को छोड़ दिया।
रूपक (Metaphor): कल्पना कीजिए कि AI एक मास्टर शेफ है जिसने दुनिया के हर व्यंजन का स्वाद चखा है। एक थाई मेहमान के लिए थाई करी या इतालवी मेहमान के लिए इतालवी पास्ता बनाने के बजाय, वह शेफ सभी के लिए एक विशाल "वर्ल्ड फ्यूजन स्टू" (विश्व संलयन स्टू) बनाने का निर्णय लेता है। यह स्वादिष्ट और सुरक्षित है, लेकिन इसका कोई विशिष्ट स्वाद नहीं है।
3. ऐसा क्यों होता है?
शोधकर्ताओं ने पाया कि AI सार्वभौमिक, सुरक्षित मूल्यों (जैसे "दयालु बनो," "ईमानदार रहो," या "न्याय की तलाश करो") पर ध्यान केंद्रित करने की प्रवृत्ति रखता है। यह उन जटिल या सांस्कृतिक रूप से विशिष्ट मूल्यों से बचता है जिनके लिए वास्तविक इंसान बहस करते हैं।
- इंसान जटिल होते हैं। हमारे पास पूर्वाग्रह, सांस्कृतिक इतिहास और व्यक्तिगत अनुभव होते हैं जो हमारी व्याख्याओं को अद्वितीय बनाते हैं।
- AI एक विशाल मात्रा में डेटा पर प्रशिक्षित है, और ऐसा लगता है कि उसने सीखा है कि "सबसे सुरक्षित" दांव वह है जो सबसे सामान्य (common denominator) हो। यह एक सुसंगत उत्तर देने के लिए संस्कृति के खुरदरे किनारों को चिकना कर देता है।
4. मुख्य निष्कर्ष
यह शोध पत्र यह नहीं कह रहा है कि AI "बुरा" है। यह कह रहा है कि AI वर्तमान में एक "जनरलिस्ट" (सामान्य विशेषज्ञ) होने में बहुत अच्छा है, लेकिन "लोकल" (स्थानीय विशेषज्ञ) होने में बहुत अच्छा नहीं है।
- AI क्या अच्छी तरह करता है: यह एक कहानी का सारांश दे सकता है और उस मुख्य बिंदु को खोज सकता है जिस पर लगभग सभी सहमत होते हैं।
- AI किसके साथ संघर्ष करता है: इसे यह समझने में कठिनाई होती है कि कहानी का "उद्देश्य" इस बात पर बदल सकता है कि उसे कौन सुना रहा है या कौन सुन रहा है।
अंतिम रूपक:
संस्कृति को एक बोली (dialect) के रूप में सोचें। इंसान बोलियों में बात करते हैं; वे स्थानीय मुहावरों और विशिष्ट संदर्भों का उपयोग करते हैं जो केवल उनके समुदाय को समझ आते हैं। AI "ग्लोबल इंग्लिश" में बोलता है। यह पूरी तरह से स्पष्ट और व्याकरणिक रूप से सही है, लेकिन इसमें उस स्थानीय रंग, अंदरूनी चुटकुलों और विशिष्ट सांस्कृतिक आत्मा की कमी है जो किसी कहानी को किसी विशेष व्यक्ति के लिए वास्तविक बनाती है।
संक्षेप में: AI आपको बता सकता है कि कहानी किस बारे में है, लेकिन इसने अभी तक यह नहीं सीखा है कि अलग-अलग लोग इसके बारे में कैसा महसूस करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।