LLMs Infer Cultural Context but Fail to Apply It When Responding
यह शोध पत्र CAPRI डेटासेट प्रस्तुत करता है ताकि यह प्रदर्शित किया जा सके कि हालांकि बड़े भाषा मॉडल सांस्कृतिक संदर्भ का अनुमान लगा सकते हैं और प्रासंगिक परंपराओं को याद रख सकते हैं, वे स्पष्ट रूप से निर्देशित किए बिना सांस्कृतिक रूप से अनुकूलित प्रतिक्रियाएं उत्पन्न करने में अक्सर विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन है जिसने दुनिया की लगभग हर किताब पढ़ ली है। वह लाइब्रेरियन विभिन्न देशों के बारे में बहुत कुछ जानता है: उसे पता है कि फ्रांस के लोग तापमान के लिए सेल्सियस का उपयोग करते हैं, जबकि अमेरिका के लोग फारेनहाइट का उपयोग करते हैं, और जापान के फोन नंबर ब्राजील से अलग दिखते हैं।
हालाँकि, यह शोध इस बात पर एक मज़ेदार और निराशाजनक खामी उजागर करता है कि यह लाइब्रेरियन कैसे काम करता है। उन्हें तथ्य तो पता हैं, लेकिन आपसे बात करते समय वे उन्हें इस्तेमाल करना भूल जाते हैं।
इस शोध का विवरण सरल उपमाओं (analogies) के साथ यहाँ दिया गया है:
1. परीक्षण: "सांस्कृतिक जासूस" खेल
शोधकर्ताओं ने CAPRI (सांस्कृतिक और व्यावहारिक प्रतिक्रिया अनुमान) नामक एक खेल बनाया। कल्पना कीजिए कि एक चैटबॉट एक उपयोगकर्ता से बात कर रहा है। उपयोगकर्ता अपनी पहचान के बारे में सूक्ष्म संकेत देता है, जैसे किसी विशिष्ट फ्रांसीसी वेबसाइट (Fnac.com) का उल्लेख करना या एक फ्रांसीसी फोन नंबर प्रारूप का उपयोग करना।
चैटबॉट के दो काम हैं:
- सुराग पहचानना: यह समझना कि, "ओह, यह उपयोगकर्ता शायद फ्रांसीसी है।"
- उत्तर को अनुकूलित करना: जब उपयोगकर्ता पूछता है, "तापमान क्या है?" (एक थर्मामीटर की तस्वीर दिखाते हुए), तो बॉट को "40°C" (फ्रांसीसी शैली में) कहना चाहिए न कि "104°F" (अमेरिकी शैली में)।
2. समस्या: "सब कुछ जानने वाला" जो सुनता नहीं है
शोधकर्ताओं ने उपलब्ध सबसे स्मार्ट AI मॉडल्स का परीक्षण किया। यहाँ उन्होंने क्या पाया:
- जासूसी वाला हिस्सा (काम 1): AI इसमें अद्भुत है। यदि आप इसे एक या दो सुराग देते हैं, तो यह लगभग 100% समय सही ढंग से अनुमान लगा लेता है कि उपयोगकर्ता किस देश से है। इसे तथ्य पता हैं।
- अनुकूलन वाला हिस्सा (काम 2): यहीं पर यह विफल हो जाता है। भले ही AI जानता है कि उपयोगकर्ता फ्रांसीसी है, फिर भी यह अक्सर उस ज्ञान को अनदेखा कर देता है और अमेरिकी इकाइयों (फारेनहाइट) में उत्तर देता है।
उपमा: यह उस वेटर की तरह है जो जानता है कि आप शाकाहारी हैं (क्योंकि आपने बताया था कि आप मांस नहीं खाते), लेकिन जब आप बर्गर ऑर्डर करते हैं, तो वह फिर भी आपको स्टेक परोस देता है क्योंकि वह "ऑटोपायलट" पर है और उसने आपकी पहचान और आपके ऑर्डर के बीच संबंध नहीं जोड़ा।
3. समाधान: "ज़ोर से सोचना"
शोधकर्ताओं ने इसे ठीक करने के लिए एक तरकीब आजमाई। उन्होंने AI को "ज़ोर से सोचने" के लिए कहा। उन्होंने कहा, "पहले यह पता लगाओ कि उपयोगकर्ता कहाँ से है। फिर, उस आधार पर तय करो कि कौन सी इकाई (unit) का उपयोग करना है।"
जब उन्होंने ऐसा किया, तो AI बहुत बेहतर हो गया। यह वेटर को यह बताने जैसा था: "रुको और सोचो: रुको, यह व्यक्ति शाकाहारी है। मुझे स्टेक की जगह सलाद देना होगा।" एक बार जब AI को चरण-दर-चरण सोचने और तर्क करने के लिए मजबूर किया गया, तो इसने अंततः सांस्कृतिक रूप से उपयुक्त उत्तर देना शुरू कर दिया।
4. "डिफ़ॉल्ट सेटिंग" का पूर्वाग्रह
शोध में यह भी देखा गया कि क्या होता है जब AI के पास कोई सुराग नहीं होता (कोई फोन नंबर, कोई वेबसाइट उल्लेख नहीं)।
- देश का अनुमान: यदि AI को बिना किसी संकेत के देश का अनुमान लगाना पड़ता है, तो यह आमतौर पर संयुक्त राज्य अमेरिका का अनुमान लगाता है।
- इकाई का अनुमान: लेकिन यहाँ एक मोड़ है: भले ही वह अमेरिका का अनुमान लगाता है, फिर भी वह अक्सर मीट्रिक प्रणाली (सेल्सियस, किलोमीटर) का उपयोग करता है, जिसका अमेरिका उपयोग नहीं करता है।
यह ऐसा है मानो AI का एक "डिफ़ॉल्ट व्यक्तित्व" है जो एक अमेरिकी नागरिक और एक यूरोपीय की तरह बोलने वाले व्यक्ति का मिश्रण है। यह वास्तव में तटस्थ नहीं है; इसमें इसके निर्माण और इसके डेटा के आधार पर कुछ छिपे हुए पूर्वाग्रह हैं।
5. व्यक्तिपरक चीजें (समय और "कुछ")
शोधकर्ताओं ने "अस्पष्ट" अवधारणाओं का भी परीक्षण किया, जिनमें सख्त नियम नहीं होते, जैसे कि दिन का कौन सा समय है (क्या शाम के 6 बजे "शाम" है या "दोपहर"?) या टोकरी में कितने अंडे हैं ("कुछ" बनाम "थोड़े से")।
- अच्छी खबर: जैसे-जैसे AI को अधिक सुराग मिलते हैं, यह विभिन्न संस्कृतियों के अनुरूप अपने उत्तर बदलने लगता है।
- बुरी खबर: बिना सुरागों के, AI के "डिफ़ॉल्ट" उत्तर अक्सर उस कंपनी की संस्कृति की ओर झुके होते हैं जिसने मॉडल बनाया है (उदाहरण के लिए, एक चीनी मॉडल चीनी व्याख्याओं की ओर झुकता है, एक अमेरिकी मॉडल अमेरिकी व्याख्याओं की ओर झुकता है)।
मुख्य निष्कर्ष
शोध का निष्कर्ष यह है कि वर्तमान AI मॉडल उन विश्वकोशों की तरह हैं जिन्होंने अभी तक अच्छे बातचीत करने वाले बनना नहीं सीखा है। वे अपने मस्तिष्क के एक हिस्से में सांस्कृतिक तथ्य संग्रहीत करते हैं और दूसरे हिस्से में उन्हें उपयोग करने की क्षमता, लेकिन वे दोनों को स्वचालित रूप से जोड़ नहीं पाते हैं।
उन्हें वास्तव में सहायक बनाने के लिए, हम केवल इस पर निर्भर नहीं रह सकते कि वे संस्कृति को "जानते" हैं; हमें उन्हें स्पष्ट रूप से सिखाना होगा कि रुकें, सोचें कि वे किससे बात कर रहे हैं, और फिर अपना उत्तर बदलें। जब तक ऐसा नहीं होता, वे यह तो जान सकते हैं कि आप फ्रांसीसी हैं, लेकिन वे फिर भी आपको तापमान फारेनहाइट में ही बताएंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।