Carefully Considering Culture: Analyzing LLM Alignment in Single- and Multi-Cultural Settings using Cultural Consensus Theory
यह शोध पत्र वर्ल्ड वैल्यूज सर्वे पर सांस्कृतिक सहमति सिद्धांत (कल्चरल कंसेंसस थ्योरी) को लागू करता है ताकि यह प्रकट किया जा सके कि लार्ज लैंग्वेज मॉडल्स अक्सर या तो सुसंगत समूह सहमति को पकड़ने में विफल रहकर या उसे अत्यधिक नियमित (ओवर-रेगुलराइज) करके सांस्कृतिक संरचनाओं का गलत चित्रण करते हैं, जिससे वास्तविक मानवीय विविधता और एल्गोरिद्मिक समरूपीकरण के बीच अंतर करने के लिए एक नया नैदानिक ढांचा प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, शोर-शराबे वाले पुस्तकालय की तरह है जहाँ एक नए प्रकार का लाइब्रेरियन (पुस्तकालयाध्यक्ष) अभी-अभी आया है: एक सुपर-स्मार्ट रोबोट जो अब तक लिखी गई हर किताब को पढ़ सकता है और आपके द्वारा पूछे गए किसी भी प्रश्न का उत्तर दे सकता है। यह रोबोट एक 'लार्ज लैंग्वेज मॉडल' (LLM) है। लेकिन पेच यह है कि यह पुस्तकालय केवल एक कमरा नहीं है; यह एक विशाल इमारत है जिसमें हजारों अलग-अलग मोहल्ले हैं, जिनमें से प्रत्येक के अपने अनूठे रीति-रिवाज, चुटकुले और दुनिया को देखने के अपने तरीके हैं। हम इन मोहल्लों को "संस्कृतियाँ" कहते हैं।
लंबे समय से, वैज्ञानिक इन रोबोटिक लाइब्रेरियन को हर मोहल्ले में विनम्र और सटीक होने के लिए सिखाने की कोशिश कर रहे हैं। उन्होंने इसे ज्यादातर यह पूछकर किया है कि, "देश X के लोग क्या सोचते हैं?" और फिर जवाबों का औसत निकाल दिया। यह ऐसा ही है जैसे सौ लोगों से उनकी पसंदीदा आइसक्रीम फ्लेवर के बारे में पूछना, वोटों की गिनती करना, और रोबोट को बताना, "इस समूह को वैनिला पसंद है।" लेकिन क्या होगा यदि समूह वास्तव में सहमत न हो? क्या होगा यदि आधे लोग वैनिला पसंद करते हैं और आधे उसे नापसंद करते हैं, लेकिन औसत कहता है "वैनिला" ही? यहीं से असली समस्या शुरू होती है। इसे ठीक करने के लिए, शोधकर्ता मानव विज्ञान (एन्थ्रोपोलॉजी) की एक पद्धति से एक उपकरण उधार ले रहे हैं जिसे "सांस्कृतिक सहमति सिद्धांत" (कल्चरल कंसेंसस थ्योरी) कहा जाता है। इसे एक विशेष आवर्धक लेंस (मैग्निफाइंग ग्लास) के रूप में समझें जो केवल वोटों को नहीं गिनता; यह यह भी जाँचता है कि समूह के लोग वास्तव में एक-दूसरे से कितने सहमत हैं, और वे कितने असहमत हैं। यह हमें यह देखने में मदद करता है कि क्या कोई समूह वास्तव में अपनी सोच में एकजुट है या वह केवल अलग-अलग विचारों का एक अव्यवस्थित संग्रह है।
अब, कल्पना कीजिए कि आपके पास एक रोबोट लाइब्रेरियन है जिसे इन मोहल्लों को समझने के लिए बनाया गया है। नोट्रे डेम विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस रोबोट का परीक्षण करने के लिए एक विशाल, वास्तविक दुनिया के सर्वेक्षण का उपयोग करने का निर्णय लिया, जिसे 'वर्ल्ड वैल्यूज सर्वे' कहा जाता है, जो 10 अलग-अलग देशों के लोगों से खुशी, भ्रष्टाचार और विज्ञान जैसे 12 विभिन्न विषयों पर सवाल पूछता है। उन्होंने रोबोट से केवल एक प्रश्न नहीं पूछा; उन्होंने इसे प्रत्येक देश के व्यक्ति होने का नाटक करने के लिए कहा। फिर, उन्होंने अपने विशेष "सहमति आवर्धक लेंस" (सांस्कृतिक सहमति सिद्धांत) का उपयोग करके, वास्तविक मनुष्यों के जवाबों के विरुद्ध रोबोट के जवाबों की तुलना की।
उन्होंने जो पाया वह थोड़ा आश्चर्यजनक और थोड़ा मजेदार था। रोबोट केवल "गलत" या "सही" नहीं था; यह विषय के आधार पर तीन बहुत ही अजीब तरीकों से व्यवहार कर रहा था।
सबसे पहले, कुछ क्षेत्रों में, जैसे कि भ्रष्टाचार या धर्म के बारे में लोग कैसा महसूस करते हैं, रोबोट मानवीय राय की सामान्य दिशा का अनुमान लगाने में बहुत अच्छा था। लेकिन पेच यह है कि रोबोट खुद को लेकर बहुत अधिक आश्वस्त था। इसने ऐसा व्यवहार किया जैसे उस देश के सभी लोग बिल्कुल एक जैसा सोचते हैं, जिसमें शून्य असहमति है। शोधकर्ता इसे "सहमति मुद्रास्फीति" (कंसेंसस इन्फ्लेशन) कहते हैं। यह ऐसा है जैसे रोबोट पिज्जा टॉपिंग के बारे में बहस कर रहे लोगों के कमरे को देखकर कहे, "ओह, स्पष्ट रूप से सभी पेपरोनी पर सहमत हैं!" जबकि वास्तव में, कमरे के आधे लोग अनानास (पाइनएप्पल) के लिए चिल्ला रहे हैं। रोबोट ने वास्तविक मानवीय अंतरों को एक पूर्ण, नकली सहमति में बदल दिया।
दूसौ, अन्य क्षेत्रों में, जैसे कि खुशी और कल्याण में, रोबोट किसी भी प्रकार की सहमति खोजने में पूरी तरह विफल रहा। यह ऐसा था जैसे रोबोट बेतरतीब जवाब चिल्ला रहा हो जो कमरे में मौजूद किसी भी व्यक्ति से मेल नहीं खाते थे। मनुष्यों के पास उनकी मान्यताओं का एक स्पष्ट पैटर्न था, लेकिन रोबोट उस पैटर्न को नहीं ढूंढ सका, जिससे एक "सहमति अंतराल" (कंसेंसस गैप) पैदा हो गया। यह ऐसा था जैसे रोबोट उस गाने पर नाचने की कोशिश कर रहा हो जिसे वह सुन ही नहीं पा रहा है।
तीसरा, और सबसे दिलचस्प, "विषमता अंतराल" (हेटरोजेनिटी गैप) था। विज्ञान और तकनीक जैसे विषयों में, रोब manera खुद से बहुत मजबूती से सहमत था। इसके पास एक बहुत ही सुदृढ़, एकीकृत राय थी। लेकिन वह राय मनुष्यों से बिल्कुल मेल नहीं खाती थी! मनुष्य पूरी तरह से अलग-अलग विचारों के थे, जिनमें से कुछ विज्ञान से प्यार करते थे और कुछ इससे डरते थे, लेकिन रोबोट आत्मविश्वास से कह रहा था, "हम सब एक ही बात सोचते हैं!" और फिर वह उस बात के बारे में गलत था।
शोधकर्ताओं ने यह भी देखा कि रोबोट एक मुख्य संस्कृति वाले देश या कई मिश्रित संस्कृतियों वाले देश के रूप में नाटक करने के आधार पर अलग-अलग व्यवहार करता था। मिश्रित-संस्कृति वाले देशों में, रोबोट कभी-कभी मानवीय असहमति की अव्यवस्था की नकल करने में थोड़ा बेहतर हो जाता था, लेकिन फिर भी वह विवरणों को सही करने में संघर्ष करता था।
तो, इसका क्या अर्थ है? यह सुझाव देता है कि हालांकि ये सुपर-स्मार्ट रोबोट मनुष्यों की तरह बात करने में बेहतर हो रहे हैं, लेकिन वे अभी भी मानवीय संस्कृति की अव्यवस्था को समझने में बहुत खराब हैं। वे या तो एक नकली, पूर्ण सहमति का आविष्कार करते हैं जहाँ कोई नहीं है, या वे खो जाते हैं जब लोग वास्तव में असहमत होते हैं। रोबोट एक निश्चित राय रखने में सक्षम है, लेकिन वह उस राय के पीछे के कारणों को नहीं समझ पाता। यह शोध पत्र यह नहीं कहता कि रोबोट हमेशा के लिए खराब है, लेकिन यह हमें चेतावनी देता है कि यदि हम केवल "औसत" उत्तर देखते हैं, तो हम सबसे महत्वपूर्ण हिस्से को भी चूक सकते हैं: यह तथ्य कि वास्तविक लोग विविध, जटिल हैं और अक्सर सहमत नहीं होते हैं। रोबोट को अराजकता (केओस) की सराहना करना सीखना होगा, न कि केवल व्यवस्था की।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।