Characterizing Cultural Localization in AI-Generated Stories

समस्या विवरण
जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) का वैश्विक स्तर पर उपयोग बढ़ रहा है, सांस्कृतिक रूप से स्थानीयकृत सामग्री (culturally localized content) उत्पन्न करने की उनकी क्षमता में भी बढ़ती रुचि देखी जा रही है। हालाँकि, यह स्पष्ट नहीं है कि मॉडल समग्र स्थानीयकरण (holistic localization) के माध्यम से स्थानीयकरण प्राप्त करते हैं—जहाँ सांस्कृतिक संदर्भ कथा कथानकों, मूल्यों, विषयों और संरचनाओं को आकार देता है—या टेम्पलेट आधारित स्थानीयकरण (templated localization) के माध्यम से। टेम्पलेट आधारित स्थानीयकरण तब होता है जब एक मॉडल सांस्कृतिक रूप से तटस्थ, सजातीय (homogeneous) कथा टेम्पलेट में अलग-थलग सांस्कृतिक चिह्नों (जैसे नाम, स्थान, कलाकृतियाँ) को सम्मिलित करता है। यह शोध पत्र तर्क देता है कि यदि मॉडल टेम्पलेट आधारित स्थानीयकरण पर निर्भर हैं, तो वे ऐसी कहानियाँ बनाने का जोखिम उठाते हैं जो सजातीय आख्यानों और मूल्यों को दर्शाती हैं, जिससे सांस्कृतिक नुकसान हो सकता है जैसे कि विलोपन (erasure), पश्चिमी मूल्यों का थोपा जाना, और रचनात्मक विविधता में कमी। इसके अतिरिक्त, मौजूदा मूल्यांकन अक्सर सतही शाब्दिक भिन्नता और गहरे कथात्मक अंतरों के बीच अंतर करने में विफल रहते हैं, जिससे मॉडल की सांस्कृतिक सक्षमता का अतिरंजित अनुमान लग सकता है।

कार्यप्रणाली (Methodology)
लेखक एआई-जनित कहानियों में टेम्पलेट आधारित स्थानीयकरण की डिग्री का पता लगाने और उसे मापने के लिए एक दो-चरणीय विधि प्रस्तावित करते हैं:

1. सांस्कृतिक चिह्नों की पहचान करना: विधि पहले उन न्यूनतम शाब्दिक टोकन (शब्दों) के सेट की पहचान करती है जो विभिन्न राष्ट्रों की कहानियों के बीच अंतर करते हैं। नॉर्मलाइज्ड पॉइंटवाइज म्यूचुअल इंफॉर्मेशन (NPMI) का उपयोग करके, लेखक विशिष्ट राष्ट्रों के साथ जुड़ाव के आधार पर शब्दों को स्कोर करते हैं। इसके बाद वे इन सांस्कृतिक रूप से जुड़े शब्दों के शीर्ष $k\%$ को पुनरावृत्ति (iteratively) के साथ मास्क (mask) करते हैं। $k$ का थ्रेशोल्ड उस बिंदु को खोजने से निर्धारित होता है जहाँ एक क्लासिफायर कहानी की राष्ट्रीयता को रैंडम अनुमान से बेहतर नहीं पहचान पाता है। इन सांस्कृतिक चिह्नों को हटा देने के बाद बचे हुए टेक्स्ट को "टेम्पलेट इमेज" कहा जाता है।
2. कथात्मक सजातीयता (Narrative Homogeneity) को मापना: दूसरा चरण विभिन्न राष्ट्रों के बीच "टेम्पलेट इमेजेस" की समानता को मल्टी-वर्ड सीक्वेंस मेट्रिक्स का उपयोग करके मापता है: लॉन्गएस्ट कॉमन सबसीक्वेंस (LCS) और 4-ग्राम का जैकार्ड समानता (Jaccard similarity)। यदि सांस्कृतिक चिह्नों को हटाने के बाद शेष आख्यान विभिन्न संस्कृतियों के बीच अत्यधिक समान हैं, तो यह एक साझा, सांस्कृतिक रूप से तटस्थ कथा टेम्पलेट की उपस्थिति का संकेत देता है। इसकी तुलना मूल कहानियों और उन कहानियों से की जाती है जहाँ रैंडम शब्दों को मास्क किया गया था।
3. रूढ़िवादिता (Stereotypicality) का लक्षण वर्णन: अंत में, लेखक चिह्नित सांस्कृतिक चिह्नों की रूढ़िवादिता और अपमानजनकता को 'सीगुल' (SeeGULL) डेटासेट का उपयोग करके लक्षणबद्ध करते हैं। वे मार्करों के भीतर रूढ़ियों की सटीकता (precision) की गणना करते हैं और इन मार्करों के औसत अपमानजनक स्कोर को मापते हैं।

प्रायोगिक सेटअप (Experimental Setup)
अध्ययन ने पाँच LLMs (GPT-3.5 Turbo, GPT-4o Mini, Llama 3.1 8B, Llama 3.3 70B, और Gemma 3 12B) द्वारा जनरेट की गई कहानियों का मूल्यांकन 193 राष्ट्रों और 125 कहानी विषयों पर किया, जो सांस्कृतिक मूल्य ढांचों (जैसे वर्ल्ड वैल्यूज सर्वे, होफस्टेड के सांस्कृतिक आयाम) से प्राप्त किए गए थे। प्रॉम्प्ट्स ने मॉडल्स को अंग्रेजी में, विशिष्ट विषयों पर, किसी विशिष्ट राष्ट्र के बच्चे के लिए कहानियाँ लिखने का निर्देश दिया।

प्रमुख परिणाम

• स्थानीयकरण के लिए सीमित शब्दावली: अध्ययन में पाया गया कि सांस्कृतिक भिन्नता शब्दावली के एक बहुत ही छोटे हिस्से में केंद्रित है। विभिन्न राष्ट्रों की कहानियों को क्लासिफायर के लिए अविभेद्य बनाने के लिए सांस्कृतिक रूप से जुड़े शब्दों के केवल 9% से 17% को मास्क करना पर्याप्त था।
• साझा टेम्पलेट्स की उपस्थिति: इन सांस्कृतिक चिह्नों को हटाने के बाद, शेष आख्यानों ("टेम्पलेट इमेजेस") ने मूल कहानियों की तुलना में विभिन्न राष्ट्रों के बीच काफी अधिक मल्टी-वर्ड समानता प्रदर्शित की। कई मामलों में, मास्क की गई कहानियों की अंतर-समूह समानता (inter-group similarity), इंट्रा-समूह समानता (intra-group similarity) के 70% से अधिक हिस्से के बराबर थी, जो एक अंतर्निहित, साझा, सांस्कृतिक रूप से तटस्थ कथा संरचना का सुझाव देती है।
• रूढ़िवादिता और अपमानजनकता: हालांकि कई सांस्कृतिक चिह्न तटस्थ थे, अध्ययन ने पाया कि 19 देशों के चिह्न औसतन अपमानजनक थे। ये देश मुख्य रूप से ग्लोबल साउथ (विशेष रूप से अफ्रीका और पश्चिम एशिया) में स्थित हैं और अक्सर कम-संसाधन वाली प्रमुख भाषाओं से संबंधित हैं। अपमानजनक चिह्न अक्सर नकारात्मक रूढ़ियों (जैसे "अविश्वसनीय", "हिंसक", "पिछड़ा") के साथ मेल खाते थे।

महत्व और दावे
यह शोध पत्र दावा करता है कि वर्तमान एआई-जनित कहानियाँ मुख्य रूप से टेम्पलेट आधारित स्थानीयकरण प्रदर्शित करती हैं न कि समग्र स्थानीयकरण। लेखक तर्क देते हैं कि इन मॉडल्स में सांस्कृतिक प्रतिनिधित्व को कुछ पहचानने योग्य प्रतीकों तक सीमित कर दिया गया है जिन्हें एक सजातीय कथा विश्वदृष्टि में सम्मिलित किया जाता है।

इस कार्य का महत्व इसके बाह्य सांस्कृतिक सक्षमता (extrinsic cultural competence) के विश्लेषणात्मक दृष्टिकोण में निहित है। लेखक का कहना है कि केवल सांस्कृतिक रूप से महत्वपूर्ण संस्थाओं (जैसे नाम या स्थान) की उपस्थिति पर ध्यान केंद्रित करने वाले मूल्यांकन मॉडल की स्थानीयकृत आख्यान उत्पन्न करने की क्षमता का अतिरंजित अनुमान लगा सकते हैं। कथा संरचना, मूल्यों, रुख (stance) और बोली (dialect) सहित व्यापक सांस्कृतिक सक्षमता के आकलन की आवश्यकता को उजागर करके, यह शोध निम्नलिखित की आवश्यकता पर बल देता है:

1. केवल सतही मार्करों के बजाय कथा संरचनाओं, मूल्यों, रुख और बोली सहित व्यापक सांस्कृतिक सक्ष्यता का मूल्यांकन।
2. यह पहचानना कि स्पष्ट टेम्पलेट-आधारित जनरेशन पाइपलाइन के बिना भी, LLMs अप्रत्यक्ष रूप से वैश्विक रूप से प्रभावी कथा स्कीमा (narrative schemas) की ओर लौट सकते हैं।
3. एआई प्रणालियों की रीजनिंग और टूल-यूज़ प्रक्रियाओं में कथात्मक सजातीयता का पता लगाने और मापने के तरीकों का विकास।

लेखक निष्कर्ष निकालते हैं कि विविध कथा परंपराओं के विलोपन और अपमानजनक रूढ़ियों के प्रसार जैसे संभावित सांस्कृतिक नुकसानों, विशेष रूप से ग्लोबल साउथ के समुदायों के लिए, का पूर्वानुमान लगाने और उनसे बचने के लिए इन तंत्रों को समझना अत्यंत आवश्यक है।