SEA-NLI: Natural Language Inference as a Lens into Southeast Asian Cultural Understanding
यह शोध पत्र SEA-NLI को प्रस्तुत करता है, जो आठ दक्षिण-पूर्व एशियाई देशों को कवर करने वाला एक मूल, सांस्कृतिक रूप से आधारित नेचुरल लैंग्वेज इन्फ्रेंस (NLI) बेंचमार्क है, जो यह प्रकट करता है कि अत्याधुनिक एलएलएम (LLMs) सांस्कृतिक रूप से विशिष्ट तर्क करने में संघर्ष करते हैं और इन कमियों को दूर करने में SEA-अनुकूलित मॉडलों और संस्कृति-जागरूक प्रॉम्प्टिंग की प्रभावशीलता को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास बहुत बुद्धिमान, अति-उन्नत रोबोटों (लार्ज लैंग्वेज मॉडल्स) का एक समूह है जिन्होंने अंग्रेजी बोलने वाली दुनिया की लगभग हर किताब पढ़ ली है। वे उन शानदार छात्रों की तरह हैं जो अमेरिकी या ब्रिटिश संस्कृति की हर परीक्षा में अव्वल आते हैं। लेकिन क्या होता है यदि आप उनसे दक्षिण-पूर्व एशिया की किसी विशिष्ट स्थानीय परंपरा के बारे में पूछते हैं, जैसे कि एक निश्चित प्रकार के डूरियन (durian) को "गोल्डन पिलो" (Golden Pillow) क्यों कहा जाता है या एक स्ट्रीट वेंडर आइस्ड टी कैसे परोसता है?
यह शोध पत्र, SEA-NLI, एक नए, पेचीदा टेस्ट की तरह है जिसे विशेष रूप से यह देखने के लिए बनाया गया है कि क्या ये रोबोट वास्तव में दक्षिण-पूर्व एशियाई संस्कृति को समझते हैं, या वे केवल उन पैटर्न के आधार पर अनुमान लगा रहे हैं जो उन्होंने पश्चिमी किताबों से सीखे हैं।
यहाँ शोधकर्ताओं द्वारा किए गए कार्यों और उनकी खोजों का विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "पश्चिमी चश्मे" का प्रभाव (The "Western Glasses" Effect)
वर्तमान AI मॉडलों को ऐसे चश्मे पहने हुए सोचें जो उन्हें केवल पश्चिमी संस्कृति स्पष्ट रूप से दिखाते हैं। वे यह समझने में माहिर हैं कि "बिल्ली एक जानवर है," लेकिन वे इस बात में भ्रमित हो सकते हैं कि "एक गोल्डन पिलो एक फल है।"
- पुराने टेस्ट: पिछले टेस्ट ऐसे थे जैसे किसी ब्रिटिश क्विज़ का थाई या वियतनामी में अनुवाद करना। यह लंदन के मेनू को थाई में अनुवाद करने और फिर AI से पूछने जैसा है कि बैंकॉक में "फिश एंड चिप्स" का स्वाद कैसा होता है। इस अनुवाद में अक्सर स्थानीय स्वाद, स्लैंग और गहरा सांस्कृतिक अर्थ खो जाता है।
- नया टेस्ट (SEA-NLI): शोधकर्ताओं ने शून्य से एक बिल्कुल नया क्विज़ बनाया, जिसे आठ दक्षिण-पूर्व एशियाई देशों (जैसे थाईलैंड, वियतनाम, इंडोनेशिया आदि) के मूल निवासियों द्वारा लिखा गया था। उन्होंने केवल अंग्रेजी का अनुवाद नहीं किया; उन्होंने स्थानीय स्थलों, भोजन, कानूनों और विज्ञान के बारे में प्रश्न लिखे जिन्हें केवल वही समझ सकता है जो वहां रहता है।
2. उन्होंने क्विज़ कैसे बनाया
उन्होंने केवल मनुष्यों को प्रश्न लिखने के लिए नहीं कहा; उन्होंने प्रश्नों का मसौदा तैयार करने के लिए एक स्मार्ट AI का उपयोग किया, लेकिन फिर उन्होंने एक "मानवीय गुणवत्ता नियंत्रण" टीम को काम पर लगाया।
- प्रक्रिया: कल्पना कीजिए कि एक शेफ (AI) एक रेसिपी के आधार पर व्यंजन बना रहा है। फिर, स्थानीय खाद्य आलोचकों (मूल निवासी) की एक टीम उसे चखती है। यदि व्यंजन का स्वाद "अलग" लगता है या वह स्थानीय संस्कृति से मेल नहीं खाता है, तो शेफ को रेसिपी को फिर से लिखना पड़ता है।
- "कठिन" स्तर (The "Hard" Level): उन्होंने क्विज़ के दो संस्करण बनाए।
- "सामान्य" संस्करण: ऐसे प्रश्न जहाँ उत्तर शब्दों के आधार पर कुछ हद तक स्पष्ट होता है।
- "कठिन" संस्करण: ऐसे प्रश्न जहाँ विशिष्ट कीवर्ड छिपे हुए होते हैं। उदाहरण के लिए, यह कहने के बजाय कि "मैंने लक्सा (Laksa) खाया," प्रसंग उस तीखे, खट्टे सूप का विस्तार से वर्णन कर सकता है बिना उसका नाम लिए। AI को सही उत्तर देने के लिए उस सsoup को जानना होगा, न कि केवल शब्द "लक्सा" को उत्तर के साथ मिलाना होगा।
3. परिणाम: रोबोट लड़खड़ा गए
शोधकर्ताओं ने इस नए क्विज़ पर 17 अलग-अलग AI मॉडलों (ओपन-सोर्स और GPT-5 और जेमिनी जैसे बड़े कमर्शियल मॉडल दोनों) का परीक्षण किया।
- स्कोर में गिरावट: ठीक वैसे ही जैसे एक छात्र जो केवल गणित के लिए पढ़ता है लेकिन इतिहास की परीक्षा देता है, AI का स्कोर "सामान्य" सेट से "कठिन" सेट पर जाने पर काफी गिर गया।
- कमजोर कड़ियाँ: मॉडल उन श्रेणियों में बहुत खराब थे जिनमें गहरे स्थानीय ज्ञान की आवश्यकता होती है, जैसे कि भाषाएं (बोलियां) और क्षेत्र विशेष की विज्ञान और तकनीक। वे "लैंडमार्क्स" या "भोजन" को थोड़ा बेहतर तरीके से संभाल सकते थे, लेकिन फिर भी संघर्ष करते रहे।
- "अनुवाद" का जाल: जब AI को अंग्रेजी में प्रश्न दिया गया, तो उसने अक्सर इसे सही बताया। लेकिन जब वही प्रश्न स्थानीय भाषा (जैसे थाई या वियतनामी) में दिया गया, तो वह अक्सर विफल रहा। यह साबित करता है कि AI वास्तव में स्थानीय संस्कृति को "बोल" नहीं रहा है; वह बस अच्छी अंग्रेजी बोलता है।
4. वे क्यों विफल हुए? (निदान)
शोधकर्ताओं ने देखा कि रोबोट गलत उत्तर क्यों दे रहे थे।
- ज्ञान की कमी, तर्क की कमी नहीं: रोबोट इसलिए विफल नहीं हो रहे थे क्योंकि उनका तर्क (logic) खराब था। वे इसलिए विफल हुए क्योंकि उनके पास तथ्य ही नहीं थे। उन्हें नहीं पता था कि "गोल्डन पिलो" एक डूरियन है, न कि एक बिस्तर का तकिया।
- "हिंट" टेस्ट: जब शोधकर्ताओं ने प्रॉम्प्ट में AI को एक "हिंट" (संकेत) दिया (जैसे कि यह कहना, "याद रखें, आप थाईलैंड के एक स्थानीय विशेषज्ञ हैं"), तो स्कोर बढ़ गया। यह एक छात्र को चीट शीट देने जैसा है; वे अचानक उन तथ्यों को याद कर लेते हैं जिन्हें वे भूल गए थे।
- ज़्यादा सोचने से भी मदद नहीं मिली: उन्होंने AI को "स्टेप-बाय-स्टेप सोचने" (जिसे चेन-ऑफ-थॉट तकनीक कहा जाता है) के लिए प्रेरित किया, लेकिन इससे ज्यादा मदद नहीं मिली। यह एक छात्र को यह बताने जैसा है कि "ज़ोर से सोचो" जिसे उत्तर नहीं पता—वह अभी भी उत्तर नहीं जान पाएगा क्योंकि वह जानकारी उसके दिमाग में नहीं है।
5. मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि दक्षिण-पूर्व एशिया के लिए AI को वास्तव में उपयोगी बनाने के लिए, हम केवल इसे अधिक अंग्रेजी नहीं सिखा सकते या इसे बेहतर "सोचना" नहीं सिखा सकते। हमें इसे स्थानीय संस्कृति सिखानी होगी।
- उपमा: आप केवल मछली को बेहतर पंख देकर उड़ना नहीं सिखा सकते (बेहतर तर्क); आपको उसे एक अलग महासागर में तैरना सिखाना होगा (सांस्कृतिक अनुकूलन)।
- समाधान: सबसे अच्छे परिणाम उन मॉडलों से मिले जो विशेष रूप से क्षेत्र के अनुकूल थे (जैसे कि सिंगापुर में पल रहा एक रोबोट बनाम लंदन में पला-बढ़ा एक रोबोट) और उन प्रॉम्प्ट्स से मिले जो AI को उसकी स्थानीय पहचान की याद दिलाते थे।
संक्षेप में: वर्तमान AI मॉडल उन पर्यटकों की तरह हैं जो नक्शा तो पढ़ सकते हैं लेकिन स्थानीय रीति-रिवाजों को नहीं जानते। यह नया टेस्ट, SEA-NLI, दिखाता है कि जब तक हम उन्हें स्थानीय संस्कृति नहीं सिखाते, वे दक्षिण-पूर्व एशिया के लोगों के साथ बातचीत करते समय शर्मनाक गलतियां करते रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।