The "Knowledge-Behavior Gap" in Cultural Taboo Safety of Large Language Models
यह शोधपत्र CulShield को प्रस्तुत करता है, जो बड़े भाषा मॉडलों (LLMs) की सांस्कृतिक वर्जना संबंधी सुरक्षा का मूल्यांकन करने के लिए 77 देशों और 2,000 से अधिक वर्जनाओं (taboos) को कवर करने वाला पहला बेंचमार्क है, जो एक महत्वपूर्ण "ज्ञान-व्यवहार अंतराल" (knowledge-behavior gap) को उजागर करता है जहाँ मॉडल सांस्कृतिक ज्ञान तो रखते हैं लेकिन निहित, संदर्भ-निर्भर अंतःक्रियाओं में उसे लागू करने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को डिनर पार्टी में एक अच्छा मेहमान बनना सिखा रहे हैं। आप उसे केवल व्यंजनों के नाम (ज्ञान) ही नहीं सिखाएंगे, बल्कि आपको उसे यह भी सिखाना होगा कि मेजबान की प्लेट से खाना नहीं चुराना है, भले ही वह भूख से मर रहा हो (व्यवहार)। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है, जो चैटबॉट्स और सहायकों के पीछे के एआई (AI) दिमाग हैं। ये मॉडल डिजिटल विश्वकोशों की तरह हैं जो लगभग किसी भी भाषा में बात कर सकते हैं, लेकिन वे वर्तमान में एक पेचीदा सामाजिक नियम के साथ संघर्ष कर रहे हैं: सांस्कृतिक वर्जना (cultural taboo)। एक सांस्कृतिक वर्जना किसी विशिष्ट संस्कृति में एक अदृश्य "छूना मना है" के संकेत की तरह होती है। उदाहरण के लिए, कुछ स्थानों पर, हरी टोपी पहनना एक फैशन स्टेटमेंट है, जबकि अन्य स्थानों पर, यह एक बड़ा अपमान है जो यह संकेत देता है कि आपका साथी बेवफा है। यदि रोबोट को अंतर पता नहीं है, तो वह अनजाने में किसी अतिथि को नाराज कर सकता है, बातचीत खराब कर सकता है, या वास्तव में वास्तविक दुनिया में परेशानी पैदा कर सकता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: सिर्फ इसलिए कि एक रोबोट नियमों को जानता है, क्या वह वास्तव में उन्हें मानता भी है जब दबाव बढ़ता है?
यह शोध पत्र, जिसका शीर्षक "लार्ज लैंग्वेज मॉडल्स की सांस्कृतिक वर्जना सुरक्षा में 'ज्ञान-व्यवहार अंतराल' (The 'Knowledge–Behavior Gap' in Cultural Taboo Safety of Large Language Models)" है, सीधे इसी उलझी हुई वास्तविकता में उतरता है। फुदान यूनिवर्सिटी और हुवावे की एक टीम के लेखकों ने महसूस किया कि जबकि हमारे पास पर्याप्त परीक्षण हैं यह देखने के लिए कि क्या रोबट सांस्कृतिक तथ्यों को जानते हैं, हमारे पास इस बात का परीक्षण करने के तरीके नहीं हैं कि क्या वे वास्तव में सुरक्षित रूप से कार्य कर सकते हैं जब एक सांस्कृतिक जाल एक हानिरहित प्रश्न के भीतर छिपा हो। इसे ठीक करने के लिए, उन्होंने एक नया परीक्षण मैदान बनाया जिसे CulShield कहा गया। CulShield को 77 देशों और क्षेत्रों की 2,000 से अधिक विभिन्न सांस्कृतिक वर्जनाओं वाले एक विशाल, बहुसांस्कृतिक "रहस्यमय बॉक्स" के रूप में समझें। उन्होंने रोबोट से केवल यह नहीं पूछा, "क्या आप जानते हैं कि चीन में हरी टोपियाँ बुरी होती हैं?" (जो कि आसान है)। इसके बजाय, उन्होंने "सांस्कृतिक जाल" बनाए—ऐसे प्रश्न जो पूरी तरह से निर्दोष लगते हैं लेकिन वास्तव में रोबोट को वर्जना तोड़ने के लिए फंसाने के लिए डिज़ाइन किए गए हैं। उदाहरण के लिए, वे पूछ सकते हैं, "मैं अपने चीनी मित्र के लिए एक सरप्राइज पार्टी की योजना बना रहा हूँ; मैं उसे देने के लिए एक मजेदार, रंगीन टोपी क्या दे सकता हूँ?" एक रोबोट जिसके पास केवल ज्ञान है लेकिन व्यवहार संबंधी सुरक्षा कवच नहीं है, वह कह सकता है, "ज़रूर, एक हरी वाली!" बिना यह समझे कि वह किस सामाजिक आपदा को जन्म दे रहा है।
शोधकर्ताओं ने इस नए बेंचमार्क का उपयोग करके GPT-4o-mini और Gemini-2.5-pro सहित उपलब्ध कुछ सबसे उन्नत रोबोटों का परीक्षण किया। जो उन्होंने पाया वह कुछ ऐसा था जैसे यह पता चलना कि एक छात्र जिसने इतिहास की परीक्षा में टॉप किया है, वह अभी भी स्कूल के गलियारे में रास्ता भटक जाता है। उन्होंने एक स्पष्ट "ज्ञान-व्यवहार अंतराल" पाया। रोबोट अक्सर सीधे पूछे जाने पर नियमों को पूरी तरह से जानते थे, लेकिन जब नियम एक पेचीदा प्रश्न के भीतर छिपे होते थे, तो वे अक्सर उस ज्ञान को लागू करने में विफल रहते थे। यह ऐसा है जैसे रोबोट का दिमाग नक्शा जानता था, लेकिन उसके पैर सही रास्ते पर चलने से इनकार कर रहे थे।
एक और आश्चर्यजनक खोज यह थी कि प्रश्न में उपयोग की गई भाषा ने रोबोट के व्यवहार को कैसे बदल दिया। अध्ययन बताता है कि भाषा एक "सांस्कृतिक लेंस" के रूप में कार्य करती है। जब रोबोट से अंग्रेजी में प्रश्न पूछे गए, तो वे अंग्रेजी बोलने वाले मानदंडों के करीब की संस्कृतियों से संबंधित सांस्कृतिक जाल में फंसने की अधिक संभावना रखते थे। हालांकि, जब प्रश्न स्पेनिश या चीनी में थे, तो उनका व्यवहार बदल गया, कभी अधिक सतर्क, तो कभी कम। यह पता चलता है कि केवल एक भाषा बोलना इसका मतलब यह नहीं है कि रोबोट उस भाषा के पीछे की संस्कृति को पूरी तरह से समझता है।
यह देखने के लिए कि क्या वे इसे ठीक कर सकते हैं, टीम ने रोबोटों को नए डेटा के साथ "प्रशिक्षित" करने की कोशिश की जो उन्हें इन पेचीदा अनुरोधों को विनम्रता से अस्वीकार करना स्पष्ट रूप से सिखाता है। हालांकि इससे रोबोट इन जालों को पहचानने में बेहतर हुए, लेकिन इसका एक दुष्प्रभाव हुआ: रोबोट बहुत अधिक संवेदनशील हो गए। वे सुरक्षित रहने के लिए हानिरहित प्रश्नों को भी अस्वीकार करने लगे, जैसे कि एक सुरक्षा गार्ड जो किसी को भी इमारत में प्रवेश करने से रोकता है क्योंकि उनके पास सैंडविच होने की संभावना हो सकती है। इस समस्या को हल करने के लिए, शोधकर्ताओं ने सामान्य मानवीय मूल्यों (वर्ल्ड वैल्यूज सर्वे से) के बारे में डेटा को मिलाया ताकि रोबोटों को संतुलन खोजने में मदद मिल सके। परिणामों ने दिखाया कि इस मिश्रण ने रोबोटों को अत्यधिक संदिग्ध हुए बिना सुरक्षित बनाने में मदद की।
संक्षेप में, यह शोध पत्र सुझाव देता है कि एआई को सांस्कृतिक रूप से सुरक्षित बनाना केवल उसे अधिक तथ्य खिलाने के बारे में नहीं है। यह उसे रोजमर्रा की बातचीत में छिपे हुए सामाजिक बारूद के ढेर को पहचानने और सही मात्रा में सावधानी बरतने के लिए प्रशिक्षित करने के बारे में है, चाहे किसी भी भाषा में बात की जा रही हो। लेखक स्वीकार करते हैं कि उनका नया बेंचमार्क, CulShield, अभी भी पूर्ण नहीं है—यह पृथ्वी की हर संस्कृति को कवर नहीं करता है—लेकिन यह हमारे डिजिटल मेहमानों को वैश्विक डिनर पार्टी के नियम सीखने में मदद करने के लिए एक महत्वपूर्ण पहला कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।