TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories
यह शोध पत्र TALES को प्रस्तुत करता है, जो सांस्कृतिक गलत प्रस्तुतियों के एक वर्गीकरण और 6 LLMs के एक बड़े पैमाने के मूल्यांकन वाला एक व्यापक ढांचा है, जो यह प्रकट करता है कि भारतीय संस्कृतियों के बारे में AI-जनित 88% कहानियों में त्रुटियां हैं, जो विशेष रूप से मध्यम और निम्न-संसाधन वाली भाषाओं तथा अर्ध-शहरी आख्यानों को प्रभावित करती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान रोबोट मित्र है जिसे कहानियाँ सुनाना पसंद है। आप उससे भारत के एक छोटे से गाँव में होने वाली एक शादी या एक हलचल भरे शहर की बचपन की यादों के बारे में कहानी लिखने के लिए कहते हैं। आप उम्मीद करते हैं कि वह रोबोट स्थानीय स्वाद को पकड़ेगा—जैसे विशिष्ट स्नैक्स, सही पारिवारिक संबोधन, और अनूठी परंपराएँ।
लेकिन इस शोध पत्र, TALES, के अनुसार, वह रोबोट मित्र अक्सर विवरणों को गलत कर देता है। वास्तव में, यह वैसा ही है जैसे किसी पर्यटक से आपके गृहनगर का वर्णन करने के लिए कहना जिसने केवल एक ट्रैवल ब्रोशर पढ़ा है; वे बड़े लैंडमार्क तो सही बता सकते हैं, लेकिन वे स्थानीय बोलचाल, भोजन और दैनिक दिनचर्या को मिला देंगे।
यहाँ शोधकर्ताओं द्वारा की गई खोजों का एक सरल विवरण दिया गया है, जिसमें रोजमर्रा के उपमाओं का उपयोग किया गया है:
1. समस्या: रोबोट का "ट्रैवल ब्रोशर" वाला दिमाग
शोधकर्ता जानना चाहते थे: जब AI भारतीय संस्कृति के बारे में कहानियाँ सुनाता है, तो क्या वह सही होता है?
उन्होंने पाया कि 88% कहानियाँ, जो लोकप्रिय AI मॉडलों द्वारा बनाई गई थीं, उनमें गलतियाँ थीं। ये केवल छोटी-मोटी वर्तनी की गलतियाँ नहीं थीं; ये सांस्कृतिक त्रुटियाँ थीं।
इसे एक ऐसे शेफ की तरह समझें जो एक क्षेत्रीय व्यंजन बनाने की कोशिश कर रहा है।
- गलती: शेफ एक नमकीन व्यंजन (जैसे करी) में एक मीठा घटक (जैसे चीनी) डाल देता है क्योंकि उसे लगता है कि "भारतीय भोजन" एक ही चीज़ है।
- वास्तविकता: शोधकर्ताओं ने पाया कि AI अक्सर विशिष्ट क्षेत्रीय खाद्य पदार्थों को भ्रमित कर देता है, गलत पारिवारिक संबोधनों का उपयोग करता है (जैसे पुरुष रिश्तेदार को "आंटी" कहना), या ऐसी घटनाओं का वर्णन करता है जो वास्तविक जीवन में होती ही नहीं (जैसे कि स्कूल बस में टिकट कंडक्टर का होना)।
2. उपकरण: "सांस्कृतिक चीट शीट" (TALES-Tax)
इन गलतियों को गिनने से पहले, शोधकर्ताओं को उन्हें वर्गीकृत करने के लिए एक तरीका चाहिए था। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने भारत के वास्तविक लोगों (9 फोकस समूहों और 15 व्यक्तिगत सर्वेक्षणों) से AI कहानियों को पढ़ने और यह बताने के लिए कहा कि क्या "अजीब" लग रहा था।
उनके फीडबैक के आधार पर, उन्होंने एक सांस्कृतिक चीट शीट (जिसे TALES-Tax कहा जाता है) बनाई, जिसमें त्रुटियों की सात श्रेणियाँ थीं:
- सांस्कृतिक अशुद्धि (Cultural Inaccuracy): तथ्यों को गलत बताना (जैसे, यह कहना कि एक विशिष्ट स्नैक नाश्ते के लिए खाया जाता है जबकि वह वास्तव में एक स्नैक है)।
- असंभावित परिदृश्य (Unlikely Scenarios): ऐसी घटनाएँ बनाना जो नकली लगती हैं (जैसे, सुबह की स्कूल असेंबली के दौरान एक सड़क कलाकार द्वारा एक जटिल शास्त्रीय वाद्य यंत्र बजाना)।
- रूढ़िवादिता (Clichés): रूढ़ियों पर निर्भर रहना (जैसे, यह मान लेना कि एक विशेष क्षेत्र के सभी लोग एक विशिष्ट प्रकार की कॉफी पीते हैं या स्कूल में पारंपरिक उत्सव के कपड़े पहनते हैं)।
- अति-सरलीकरण (Oversimplification): अनूठे विवरणों को मिटा देना (जैसे, सभी भारतीय कला को "रंगोली" कहना बजाय उसके विशिष्ट स्थानीय नाम के)।
- तथ्यात्मक त्रुटियाँ (Factual Errors): भूगोल या इतिहास को गलत बताना (जैसे, यह कहना कि एक शहर के बगल में रेगिस्तान है जो वास्तव में हरा-भरा है)।
- भाषाई त्रुटियाँ (Linguistic Errors): नामों की गलत वर्तनी या पारिवारिक शब्दों का गलत उपयोग करना।
- तार्किक त्रुटियाँ (Logical Errors): चीजों के काम करने के नियमों को तोड़ना (जैसे, एक पात्र का पीने के पानी के कुएं में नहाना)।
3. बड़ा परीक्षण: 108 विशेषज्ञों के साथ "टेस्ट टेस्ट"
शोधकर्ताओं ने केवल एक कहानी नहीं देखी। उन्होंने 71 अलग-अलग क्षेत्रों से 108 विशेषज्ञों को काम पर रखा। ये मूल भाषा बोलने वाले लोग थे जो अपनी स्थानीय संस्कृतियों को अंदर और बाहर से जानते थे।
उन्होंने विशेषज्ञों को 6 अलग-अलग AI मॉडलों (GPT-4 और Gemini जैसे बड़े नामों सहित) द्वारा लिखी गई 540 कहानियाँ और 14 अलग-अलग भाषाओं में पढ़ने के लिए कहा।
परिणाम:
- "समृद्ध" बनाम "गरीब" का अंतर: AI बड़े, प्रसिद्ध शहरों (Tier-1) के बारे में और अंग्रेजी में कहानियाँ बताने में बहुत बेहतर था। जब कहानी एक छोटे शहर में सेट थी या कम सामान्य भारतीय भाषा में लिखी गई थी, तो गलतियाँ चार गुना बढ़ गईं।
- "जेनेरिक" का जाल: कुछ AI मॉडल गलतियों से बचने के लिए बहुत ही उबाऊ, जेनेरिक कहानियाँ लिखने की कोशिश करते थे जिनमें कोई सांस्कृतिक विवरण नहीं होता था। अन्य रचनात्मक होने की कोशिश करते थे लेकिन विवरणों को गलत कर देते थे। दोनों में से कोई भी तरीका अच्छा नहीं था।
- जुड़ाव (Relatability): इन गलतियों के कारण, कहानियाँ उन लोगों के लिए "असंबंधित" महसूस होती थीं जिनका वे प्रतिनिधित्व कर रही थीं। यह अपने गृहनगर के बारे में एक फिल्म देखने जैसा है जहाँ अभिनेता नकली लहजे में बोलते हैं और गलत भोजन खाते हैं; आप उससे जुड़ नहीं पाते।
4. सबसे बड़ा आश्चर्य: "ज्ञान बनाम प्रदर्शन" का विरोधाभास
यहाँ सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने सोचा: "क्या AI केवल अज्ञानी है? क्या इसे तथ्य नहीं पता हैं?"
इसे परखने के लिए, उन्होंने गलतियों को एक क्विज़ (जिसे TALES-QA कहा गया) में बदल दिया। उन्होंने AI से सीधे प्रश्न पूछे जैसे, "इस शादी में पारंपरिक रूप से कौन सा भोजन परोसा जाता है?" या "यह मूर्ति कहाँ स्थित है?"
चौंकाने वाला परिणाम:
- जब एक क्विज़ के रूप में पूछा गया, तो AI ने अंग्रेजी में 76% बार और भारतीय भाषाओं में 60% बार उत्तर सही दिए।
- निष्कर्ष: AI तथ्यों को जानता है। उसके दिमाग में जानकारी है। लेकिन जब वह एक कहानी लिखने की कोशिश करता है, तो वह उस ज्ञान का सही ढंग से उपयोग करने में विफल रहता है।
उपमा:
एक ऐसे छात्र की कल्पना करें जो इतिहास पर एक बहुविकल्पीय परीक्षा (multiple-choice test) में उत्कृष्ट प्रदर्शन कर सकता है (90% सही), लेकिन जब उससे इतिहास पर निबंध लिखने के लिए कहा जाता है, तो वह काल्पनिक और गलत तथ्य बना देता है। छात्र "अज्ञानी" नहीं है; वह बस एक रचनात्मक, खुले वातावरण में अपने ज्ञान को लागू नहीं कर पा रहा है।
सारांश
शोध पत्र निष्कर्ष निकालता है कि वर्तमान AI मॉडल अति-आत्मविश्वासी पर्यटकों की तरह हैं। उन्होंने गाइडबुक पढ़ ली है (उनके पास डेटा है), लेकिन जब वे किसी स्थानीय संस्कृति के बारे में कहानी सुनाने की कोशिश करते हैं, तो वे रूढ़ियों पर निर्भर रहते हैं, विवरणों को मिला देते हैं, और उस स्थान के वास्तविक "स्वाद" को पकड़ने में विफल रहते हैं। यह विशेष रूप से छोटे शहरों और कम सामान्य भाषाओं के लिए सच है।
शोधकर्ता आशा करते हैं कि उनकी "सांस्कृतिक चीट शीट" और "क्विज़" डेवलपर्स को इसे ठीक करने में मदद करेगी, ताकि भविष्य का AI ऐसी कहानियाँ सुना सके जो वास्तविक लगें और उन लोगों के प्रति सम्मानजनक हों जिनका वे प्रतिनिधित्व करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।