Cultural Awareness is Represented but Not Decoded: Tracing Mythological Knowledge across 18 Open-Source LLMs
यह शोध पत्र 18 ओपन-सोर्स LLMs की जांच करता है और पाता है कि जबकि वे विविध संस्कृतियों के पौराणिक ज्ञान को आंतरिक रूप से प्रस्तुत करते हैं, गैर-प्रमुख परंपराओं को निरंतर पुनर्प्राप्त करने में उनकी विफलता एक डिकोडर रीडआउट बायस (decoder readout bias) से उत्पन्न होती है जो इन प्रस्तुतियों को प्रमुख-परंपरा वाले टोकन पर समाहित कर देती है, एक ऐसी सीमा जो प्रॉम्प्ट की भाषा से भी प्रभावित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट कल्चरल ग्लिच: क्यों एआई ज़्यूस को जानता है पर उक्को को भूल जाता है
कल्पना कीजिए कि आप एक विशाल, हाई-टेक लाइब्रेरी में जा रहे हैं जिसमें इंटरनेट पर लिखी गई लगभग हर किताब मौजूद है। इस लाइब्रेरी को एक सुपर-स्मार्ट रोबोट लाइब्रेरियन चलाता है जिसने हर एक पन्ना पढ़ा है। आप लाइब्रेरियन से पूछते हैं, "ग्रीक कहानियों में देवताओं का राजा कौन है?" लाइब्रेरियन तुरंत चिल्लाता है, "ज़्यूस!" आप पूछते हैं, "रोमन कहानियों में देवताओं का राजा कौन है?" "जुपिटर!" आप पूछते हैं, "नॉर्डिक कहानियों में देवताओं का राजा कौन है?" "थोर!" रोबोट एकदम सटीक है। लेकिन फिर, आप पूछते हैं, "फिनिश पौराणिक कथाओं में सर्वोच्च आकाश देवता कौन है?" रोबोट हिचकिचाता है, हकलाता है, और अंततः आपको एक गलत उत्तर देता है, या शायद यह भी कहता है, "मुझे नहीं पता।"
यह केवल एक रैंडम गलती नहीं है; यह एक पैटर्न है। रोबोट "लोकप्रिय" कहानियों (ग्रीक, रोमन, नॉर्डिक) को जानता हुआ प्रतीत होता है लेकिन "कम प्रसिद्ध" कहानियों (फिनिश, स्लाविक, मिस्र, चीनी) के साथ संघर्ष करता है। ऐसा इसलिए होता है क्योंकि जिस लाइब्रेरी से रोबोट ने सीखा था, वह ज्यादातर अंग्रेजी किताबों और पश्चिमी कहानियों से भरी थी। लेकिन यहाँ एक बड़ा रहस्य है: क्या रोबोट वास्तव में इन कम ज्ञात देवताओं को भूल गया है, या वह उन्हें जानता है लेकिन सही नाम बताने से इनकार कर रहा है?
इसे हल करने के लिए, वैज्ञानिक रोबोट के "दिमाग" (जो वास्तव में एक जटिल कंप्यूटर प्रोग्राम है जिसे लार्ज लैंग्वेज मॉडल कहा जाता है) के अंदर झांकने के लिए विशेष उपकरणों का उपयोग करते हैं। वे देखना चाहते हैं कि क्या जानकारी स्मृति (इन्कोडर) में खो गई है या स्मृति ठीक है, लेकिन उत्तर देने वाला हिस्सा (डिकोडर) खराब है। इसे एक छात्र द्वारा परीक्षा देने की तरह समझें। यदि छात्र गलत उत्तर लिखता है, तो क्या उसे तथ्य पता नहीं था, या उसे तथ्य पूरी तरह से पता था लेकिन वह घबरा गया और गलत चीज़ लिख दी? यह शोध पत्र एक जासूसी कहानी है जो यह पता लगाने के लिए रोबोट के दिमाग के अंदर जाती है कि सांस्कृतिक पूर्वाग्रह (कल्चरल बायस) वास्तव में कहाँ होता है।
जांच: रोबोट के दिमाग के अंदर
शोधकर्ताओं, इयारोस्लाव और एकाटेरिना चेलोम्बितको के साथ मिका हैमलेनेन ने 18 अलग-अलग ओपन-सोर्स एआई मॉडल्स का परीक्षण करने का निर्णय लिया। उन्होंने केवल रैंडम सवाल नहीं पूछे; उन्होंने पुरानी लोककथाओं की किताबों पर आधारित एक बहुत ही चतुर, संरचित खेल का उपयोग किया। उन्होंने प्रसिद्ध मिथकों के एक कैटलॉग से 27 विशिष्ट भूमिकाएं चुनीं (जैसे "सर्वोच्च आकाश देवता," "सूर्य देवता," या "ट्रिकस्टर") और रोबोट को 10 अलग-अलग संस्कृतियों के लिए उस भूमिका के पात्र का नाम बताने को कहा: ग्रीक, रोमन, नॉर्डिक, फिनिश, यूक्रेनी, भारतीय, मिस्र, चीनी, जापानी और मेसोपोटामिया।
रोबोट के अंदर क्या हो रहा था, यह देखने के लिए उन्होंने चार अलग-अलग "एक्स-रे" उपकरणों का उपयोग किया:
- लीनियर प्रोबिंग (Linear Probing): यह देखने के लिए एक परीक्षण कि क्या रोबोट की आंतरिक स्मृति में सही सांस्कृतिक लेबल मौजूद है।
- लॉगिट लेंस (Logit Lens): रोबोट के विचारों को परत दर परत देखने का एक तरीका ताकि यह देखा जा सके कि वह उत्तर पर कब निर्णय लेता है।
- एक्टिवेशन पैचिंग (Activation Patching): एक "क्या होगा अगर" प्रयोग जहाँ वे रोबोट के आंतरिक विचारों को एक संस्कृति से दूसरी संस्कृति में बदलते हैं ताकि यह देखा जा सके कि क्या उत्तर बदल जाता है।
- आउटपुट एक्सट्रैक्शन (Output Extraction): बस रोबोट से प्रश्न पूछना और देखना कि वह वास्तव में क्या कहता है।
बड़ी खोज: दिमाग ठीक है, मुँह खराब है
परिणाम आश्चर्यजनक और बहुत स्पष्ट थे। जब शोधकर्ताओं ने रोबोट की स्मृति (रेसिडुअल स्ट्रीम) के अंदर देखा, तो उन्होंने पाया कि रोबोट वास्तव में संस्कृति को पूरी तरह से जानता था।
कल्पना कीजिए कि रोबोट का दिमाग एक विशाल फाइलिंग कैबिनेट है। जब आप एक फिनिश देवता के बारे में पूछते हैं, तो रोबोट की आंतरिक फाइलें स्पष्ट रूप से "फिनिश माइथोलॉजी" लेबल वाली एक फोल्डर दिखाती हैं जिसके अंदर सही नाम है। "लीनियर प्रोब" टूल इस फोल्डर को उच्च सटीकता (अक्सर 60% और 88% के बीच) के साथ पढ़ सकता था। रोबोट ग्रीक देवता और फिनिश देवता के बीच का अंतर जानता था।
हालाँकि, जब रोबोट को बोलने के लिए कहा गया, तो उसने गड़बड़ी कर दी।
यह मुख्य निष्कर्ष है: विफलता "रीडआउट" (readout) में होती है, "रिप्रेजेंटेशन" (representation) में नहीं। रोबोट उत्तर जानता है, लेकिन जब वह बोलने की कोशिश करता है, तो वह विशिष्ट, अद्वितीय नाम (जैसे फिनिश आकाश देवता के लिए "उक्को") को सबसे लोकप्रिय, डिफ़ॉल्ट नाम (जैसे "ज़्यूस" या "थोर") में बदल देता है।
शोधकर्ता इसे "डिकोडिंग सप्रेस्ड" (Decoding Suppressed) कहते हैं। उनके 18 मॉडल्स के अध्ययन में, यह सबसे बड़ी समस्या थी। प्रत्येक मॉडल के लिए, अधिकांश समय (51% और 76% के बीच), रोबोट की आंतरिक स्मृति सही थी, लेकिन अंतिम उत्तर गलत था। यह उस छात्र की तरह है जो जानता है कि उत्तर "फिनिश" है, लेकिन लिखते समय, उसका हाथ स्वचालित रूप से "ग्रीक" लिख देता है क्योंकि वह हर दिन शिक्षक की मेज पर वही देखता है।
उन्होंने क्या खारिज किया
पेपर ने कुछ अन्य विचारों का भी परीक्षण किया ताकि वे सुनिश्चित हो सकें कि वे सही हैं:
- यह कि रोब बाद में केवल "अनुवाद-मात्र" (translation-only) नहीं है: कुछ लोगों ने सोचा कि रोबोट अपने दिमाग के अंदर सब कुछ अंग्रेजी में अनुवाद करता है और फिर वापस अनुवाद करता है। यदि ऐसा होता, तो रोबोट अपने दिमाग के अंदर सांस्कृतिक अंतर को भी नहीं जान पाता। लेकिन अध्ययन ने दिखाया कि दिमाग के अंदर अंतर स्पष्ट रूप से पता है।
- यह केवल मॉडल के आकार के बारे में नहीं है: शोधकर्ताओं ने जांचा कि क्या बड़े मॉडल्स (अधिक "दिमागी शक्ति" वाले) इस समस्या को ठीक करते हैं। उन्होंने पाया कि हालांकि बड़े मॉडल थोड़े बेहतर हुए, लेकिन "उत्तर जानने" और "उत्तर देने" के बीच का अंतर कभी खत्म नहीं हुआ। सबसे बड़े मॉडल्स में भी यह पूर्वाग्रह बना रहा।
- यह केवल भाषा की समस्या नहीं है: उन्होंने परीक्षण किया कि क्या रोबोट इसलिए विफल हुआ क्योंकि वह मूल भाषा (जैसे फिनिश या यूक्रेनी) को नहीं पढ़ सकता था। उन्होंने पाया कि भले ही रोबोट भाषा पढ़ सकता था, फिर भी वह "अंग्रेजी/पश्चिमी" डिफ़ॉल्ट उत्तर देने को प्राथमिकता देता था। पूर्वाग्रह रोबोट के निर्णय लेने वाले हिस्से में है, न कि केवल उसकी पढ़ने की क्षमता में।
भाषा का मोड़
अध्ययन का सबसे दिलचस्प हिस्सा एक ही प्रश्न को दो तरीकों से पूछना था: अंग्रेजी में और संस्कृति की मूल भाषा में (जैसे अंग्रेजी में फिनिश देवताओं के बारे में पूछना बनाम फिनिश में पूछना)।
उन्होंने पाया कि रोब का दिमाग एक स्विच की तरह काम करता है। जब आप अंग्रेजी में पूछते हैं, तो यह उत्तर तय करने के लिए मार्गों का एक सेट उपयोग करता है। जब आप फिनिश में पूछते हैं, तो यह थोड़ा अलग सेट का उपयोग करता है। कभी-कभी, मूल भाषा में पूछने से रोबोट को सही उत्तर देने में मदद मिली, लेकिन अक्सर, रोबोट अभी भी प्रसिद्ध पश्चिमी नामों पर ही लौट आता था।
शोधकर्ताओं ने पाया कि यदि आप रोबोट से एक ही प्रश्न अंग्रेजी और मूल भाषा दोनों में पूछते हैं, और फिर दोनों में से सबसे अच्छा उत्तर लेते हैं, तो आप बिना रोबोट को कुछ नया सिखाए लगभग 36% अधिक त्रुटियों को ठीक कर सकते हैं। यह दो दोस्तों द्वारा उत्तर की जाँच करने जैसा है; यदि एक "ज़्यूस" कहता है और दूसरा "उक्को" कहता है, तो आप सही वाला चुन सकते हैं।
निष्कर्ष: दिमाग को नहीं, मुँह को ठीक करें
पेपर यह निष्कर्ष निकालता है कि समस्या यह नहीं है कि एआई को फिनिश, स्लाविक या मिस्र की पौराणिक कथाओं के बारे में पता नहीं है। एआई उन्हें जानता है। समस्या यह है कि एआई का जो हिस्सा टेक्स्ट जेनरेट करता है, वह सांस्कृतिक डिफ़ॉल्ट्स द्वारा "गेटेड" (गैटेड) है। इसकी एक आदत है कि यह अपने प्रशिक्षण डेटा में देखे गए सबसे सामान्य, प्रमुख विवरणों में अद्वितीय, विशिष्ट सांस्कृतिक विवरणों को समेट (flatten) देता है।
इसका मतलब यह है कि एआई में सांस्कृतिक पूर्वाग्रह को ठीक करने के लिए, हमें केवल रोबोट को फिनिश मिथकों के बारे में अधिक किताबें खिलाने की कोशिश नहीं करनी चाहिए (जो कि स्मृति में मदद करेगा, लेकिन वह स्मृति पहले से ही वहां है)। इसके बजाय, हमें रोबोट के उस हिस्से को ठीक करने की आवश्यकता है जो बोलता है। हमें रोबोट को यह सिखाने की आवश्यकता है कि "उक्को" कहना ठीक है, भले ही उसे लगे कि "ज़्यूस" कहना अधिक सुरक्षित या सामान्य उत्तर है।
अध्ययन सुझाव देता है कि समाधान "रीडआउट" हस्तक्षेपों (readout interventions) में निहित है—यह बदलने में कि रोबोट अपने अंतिम शब्दों का चयन कैसे करता है—न कि केवल उसके पूरे दिमाग को फिर से प्रशिक्षित करने में। यह एक याद दिलाता है कि सिर्फ इसलिए कि एक मशीन के पास सारी जानकारी है, इसका मतलब यह नहीं है कि वह आपको सच बताएगी; कभी-कभी, वह बस वही बताती है जो उसे लगता है कि आप सुनना चाहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।