Beyond Understanding: Evaluating the Pragmatic Gap in LLMs' Cultural Processing of Figurative Language
यह शोध पत्र यह प्रदर्शित करके बड़े भाषा मॉडलों (लार्ज लैंग्वेज मॉडल्स) के सांस्कृतिक प्रसंस्करण में व्यावहारिक अंतराल का मूल्यांकन करता है कि यद्यपि वे लाक्षणिक भाषा की व्याख्या कर सकते हैं, फिर भी वे अंग्रेजी की तुलना में मिस्र की अरबी मुहावरों और लोकोक्तियों जैसे सांस्कृतिक रूप से आधारित अभिव्यक्तियों के साथ काफी अधिक संघर्ष करते हैं, जो भविष्य के अनुसंधान को समर्थन देने के लिए 'किनायात' (Kinayat) डेटासेट के विमोचन को प्रेरित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत प्रतिभाशाली नया छात्र है जिसका नाम LLM (लार्ज लैंग्वेज मॉडल) है। इस छात्र ने इंटरनेट पर मौजूद लगभग हर किताब, वेबसाइट और लेख को पढ़ लिया है। वे तथ्यों को सुना सकते हैं, कविताएं लिख सकते हैं और गणित की समस्याओं को किसी भी अन्य व्यक्ति से बेहतर हल कर सकते हैं।
लेकिन एक पेच है: LLM उस पर्यटक की तरह है जिसने एक 'फ्रेजबुक' (वाक्यांशों की पुस्तिका) तो रट ली है, लेकिन वास्तव में उस देश में जीवन नहीं जिया है। वे शब्दों को जानते हैं, लेकिन वे उस 'वाइब' (अहसास), अंदरूनी चुटकुलों या उन अलिखित नियमों को नहीं समझते कि लोग वास्तव में एक-दूसरे से कैसे बात करते हैं।
यह शोधपत्र एक "सांस्कृतिक पॉप क्विज़" की तरह है जिसे यह देखने के लिए डिज़ाइन किया गया है कि क्या हमारा यह सुपर-स्मार्ट छात्र वास्तव में स्थानीय संस्कृति को समझ सकता है, या वह केवल दिखावा कर रहा है।
परीक्षण: मुहावरे और लोकोक्तियाँ
शोधकर्ताओं ने LLM को कैलकुलस हल करने के लिए नहीं कहा। इसके बजाय, उन्होंने इसका परीक्षण मुहावरों और लोकोक्तियों पर किया।
एक मुहावरे को एक 'सीक्रेट हैंडशेक' (गुप्त अभिवादन) की तरह समझें।
- शाब्दिक अर्थ: "पानी बेचने वाले के गाँव में पानी मत बेचो।"
- वास्तविक अर्थ: "उन लोगों को अपना सामान बेचने की कोशिश न करें जिनके पास पहले से ही बहुत कुछ है" (या, "विशेषज्ञों को मात देने की कोशिश न करें")।
यदि आप केवल शब्दों का अनुवाद करते हैं, तो इसका कोई अर्थ नहीं निकलता। आपको इसके पीछे की कहानी को समझने की आवश्यकता है। शोधपत्र ने LLMs का परीक्षण किया:
- अंग्रेजी लोकोक्तियाँ: "टेक्स्टबुक" उदाहरण।
- अरबी लोकोक्तियाँ: "मानक" सांस्कृतिक उदाहरण।
- मिस्र की अरबी इडियम्स (Idioms): "स्ट्रीट स्मार्ट," स्लैंग-प्रधान, स्थानीय चुटकुले।
परिणाम: "पर्यटक" बनाम "स्थानीय"
परिणामों ने एक स्पष्ट पदानुक्रम (hierarchy) का खुलासा किया, जो कठिनाई के बढ़ते स्तरों वाले एक वीडियो गेम की तरह है:
स्तर 1: अंग्रेजी लोकोक्तियाँ (ईज़ी मोड)
LLMs यहाँ काफी अच्छे थे। वे अंग्रेजी कहावतों का अर्थ समझा सकते थे क्योंकि उन्होंने इतनी सारी अंग्रेजी किताबें पढ़ी थीं। उन्होंने लगभग 90% सही उत्तर दिए।स्तर 2: अरबी लोकोक्तियाँ (मीडियम मोड)
जब उन्होंने औपचारिक अरबी लोकोक्तियों पर स्विच किया, तो उनके स्कोर में लगभग 4% की गिरावट आई। मॉडल अभी भी ठीक थे, लेकिन वे सांस्कृतिक बारीकियों पर लड़खड़ाने लगे थे।स्तर 3: मिस्र के इडियम्स (हार्ड मोड)
यहीं पर चीजें गड़बड़ा गईं। जब मॉडल्स ने मिस्र के स्लैंग और इडियम्स (जो दैनिक जीवन, काम और पारिवारिक गतिशीलता के प्रति बहुत विशिष्ट हैं) को समझने की कोशिश की, तो उनके स्कोर में और 10% की गिरावट आई। वे मूल रूप से केवल अनुमान लगा रहे थे।
सबसे बड़ा आश्चर्य: "प्रैग्मैटिक गैप" (व्यावहारिक अंतर)
यहाँ कहानी का सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने मॉडल्स को दो प्रकार के परीक्षण दिए:
- परीक्षण A (क्विज़): "यह एक मुहावरा है। इसका क्या अर्थ है?"
- परिणाम: मॉडल्स इसमें काफी सक्षम थे। वे एक सूची से सही परिभाषा चुन सकते थे।
- परीक्षण B (पार्टी): "यह एक स्थिति है। इसे स्वाभाविक रूप से वर्णित करने के लिए एक मुहावरे का उपयोग करें।"
- परिणाम: पूर्ण विफलता।
उपमा:
कल्पना कीजिए कि आप एक पार्टी में हैं। आप "awkward" (अजीब/असहज) शब्द का अर्थ जानते हैं।
- परीक्षण A: यदि कोई आपसे पूछे, "'awkward' का क्या अर्थ है?" तो आप कह सकते हैं, "इसका अर्थ है असहज होना।" (आप पास हो गए)।
- परीक्षण B: यदि कोई कांच के गिलास गिरा देता है, और आप तुरंत चिल्लाते हैं, "यह 'awkward' का एक क्लासिक उदाहरण है!" जबकि हर कोई आपको घूर रहा है, तो आपने पार्टी में फेल कर दिया है। आप शब्द तो जानते हैं, लेकिन आप यह नहीं जानते कि इसका उपयोग कब या कैसे करना है।
शोधपत्र ने पाया कि LLMs परीक्षण B में बहुत खराब हैं। यहाँ तक कि सबसे स्मार्ट मॉडल्स की सटीकता भी 14% गिर गई जब उन्हें वाक्य में सही ढंग से मुहावरे का उपयोग करने के लिए कहा गया, तुलनात्मक रूप से केवल उसे समझाने के मुकाबले। वे एक बातचीत करने वाले इंसान की तरह नहीं, बल्कि डिक्शनरी पढ़ते हुए एक रोबोट की तरह लगते हैं।
"सांस्कृतिक अंध बिंदु" (Cultural Blind Spot)
अध्ययन ने कनोटेशन (शब्दों के भावनात्मक अहसास) पर भी गौर किया।
- क्या कोई वाक्यांश मजाकिया है? क्या यह अपमानजनक है? क्या यह व्यंग्यात्मक है?
- भले ही मनुष्यों ने अर्थ पर 100% सहमति जताई हो, मॉडल केवल 85% बार ही उनसे सहमत हो पाए।
यह ऐसा है जैसे मॉडल भाषा के "भावनात्मक रंगों" के प्रति कलरब्लाइंड (रंगों को न देख पाने वाले) हैं। वे ब्लैक एंड व्हाइट टेक्स्ट देखते हैं, लेकिन उसके पीछे के भावनाओं के इंद्रधनुष को मिस कर देते हैं।
नया टूल: "किनायत" (Kinayat)
इसे ठीक करने में मदद करने के लिए, लेखकों ने Kinayat नामक एक नया डेटासेट बनाया।
इसे AI के लिए एक नए "सांस्कृतिक उत्तरजीविता गाइड" (Cultural Survival Guide) के रूप में सोचें। यह 325 मिस्र के इडियम्स का एक संग्रह है, जिसे सावधानीपूर्वक उनके अर्थ और वास्तविक जीवन में उनके उपयोग के उदाहरणों के साथ लेबल किया गया है। यह एक पर्यटक को ऐसे मानचित्र देने जैसा है जो न केवल सड़कें दिखाता है, बल्कि यह भी बताता है कि अच्छी कॉफी शॉप कहाँ है और किन सड़कों से बचना चाहिए।
निष्कर्ष
यह शोधपत्र हमें सिखाता है कि भाषा जानना, संस्कृति को समझने के समान नहीं है।
वर्तमान AI मॉडल उन विश्वकोशों की तरह हैं जो तथ्यों को पूरी तरह से दोहरा सकते हैं। लेकिन जब मानवीय बातचीत के जटिल, भावनात्मक, सांस्कृतिक और "अंदरूनी चुटकुलों" वाले हिस्सों की बात आती है, तो वे अभी भी केवल पर्यटक हैं। वे मेनू पढ़ सकते हैं, लेकिन उन्होंने अभी तक स्थानीय लोगों की तरह खाना ऑर्डर करना नहीं सीखा है।
मुख्य बात: यदि आप चाहते हैं कि कोई AI वास्तव में आपकी संस्कृति को समझे, तो आप केवल उसे अधिक टेक्स्ट नहीं खिला सकते। आपको उसे वह संदर्भ (context), भावनाएँ और अलिखित नियम सिखाने होंगे कि लोग वास्तव में कैसे बात करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।