Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs
यह शोध पत्र जापानी प्रैग्मैटिक (व्यावहारिक) घटनाओं के लिए एक मिनिमल-पेयर बेंचमार्क, J-PragEval-v0 को प्रस्तुत करता है, और एक 1.5B द्विभाषी मॉडल पर लीनियर प्रोबिंग और एक्टिवेशन स्टीयरिंग का उपयोग करके यह प्रदर्शित करता है कि जबकि सम्मानसूचक शब्द (honorifics) रेसिडुअल स्ट्रीम्स में लीनियर रूप से डिकोडेबल हैं, अन्य प्रैग्मैटिक कंट्रास्ट जैसे कि अंतर्निहित कर्ता (implicit subjects) और इन-ग्रुप संदर्भ (in-group reference) प्रॉम्प्ट में संग्रहीत होने के बजाय जनरेशन के दौरान हल किए जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
भाषा केवल शब्दों और व्याकरण के नियमों का संग्रह नहीं है; यह सामाजिक संकेतों, अनकहे समझौतों और सांस्कृतिक संदर्भों की एक जीवंत प्रणाली है। जब कोई व्यक्ति जापानी बोलता है, तो वह लगातार रिश्तों के एक जटिल मानचित्र को नेविगेट कर रहा होता है, यह तय करता है कि कौन उनके विश्वास के घेरे के भीतर है और कौन बाहर, और ऐसे शब्दों का चयन करता है जो उस व्यक्ति के प्रति उनकी सटीक भावनाओं को दर्शाते हैं जिससे वे बात कर रहे हैं। यह प्रैगमैटिक्स (pragmatics) का क्षेत्र है, जो इस बात का अध्ययन है कि संदर्भ अर्थ को कैसे आकार देता है। दशकों से, आर्टिफिशियल इंटेलिजेंस शब्दों का अनुवाद करने और प्रश्नों के उत्तर देने में उत्कृष्ट रहा है, लेकिन जब इसे इन सूक्ष्म सामाजिक परतों को समझने के लिए कहा जाता है, तो यह अक्सर लड़खड़ा जाता है। एक कंप्यूटर किसी विनम्र वाक्यांश की शब्दकोश परिभाषा तो जान सकता है, लेकिन वह अक्सर यह नहीं जान पाता कि इसका उपयोग कब करना है, या इससे भी बुरा, वह इसका उपयोग इस तरह करता है जो एक मानव श्रोता को अभद्र या अजीब लग सकता है। यह अंतर जापानी भाषा के लिए विशेष रूप से गहरा है, जहाँ बोलने वालों के बीच का संबंध वाक्य की संरचना को ही निर्धारित करता है। जैसे-जैसे शोधकर्ता छोटे, अधिक कुशल कंप्यूटर मॉडल बना रहे हैं जिन्हें रोजमर्रा के उपकरणों पर चलाने के लिए डिज़ाइन किया गया है, एक महत्वपूर्ण प्रश्न उभर कर आया है: क्या ये संक्षिप्त मॉडल वास्तव में उन भाषाओं के सांस्कृतिक नियमों को समझते हैं जिन्हें वे बोलते हैं, या वे केवल सतही पैटर्न की नकल कर रहे हैं?
एक स्वतंत्र शोधकर्ता फ्लोरियन ब्रौन द्वारा किया गया एक हालिया अध्ययन एक छोटे, द्विभाषी कंप्यूटर मॉडल के भीतर झाँककर इस प्रश्न का समाधान करता है जो अंग्रेजी और जापानी दोनों बोलता है। यह शोध आर्टिफिशियल इंटेलिजेंस के एक विशिष्ट प्रकार पर केंद्रित है जिसे 'स्मॉल लैंग्वेज मॉडल' (small language model) कहा जाता है, जिसे उपयोगी कार्यों के लिए पर्याप्त शक्तिशाली लेकिन बिना विशाल, ऊर्जा-खपत करने वाले सर्वरों के चलने के लिए पर्याप्त हल्का बनाया गया है। हालांकि ये मॉडल जापान में आम होते जा रहे हैं, लेकिन इनका परीक्षण अक्सर केवल इस आधार पर किया जाता है कि वे पाठ का अनुवाद कितनी अच्छी तरह करते हैं या पठन बोध के प्रश्नों के उत्तर देते हैं। हालाँकि, ये मानक परीक्षण मानव संचार के सबसे कठिन हिस्से को छोड़ देते हैं: कमरे की स्थिति (room) को पढ़ने की क्षमता। इसे ठीक करने के लिए, शोधकर्ता ने 'जे-प्रैगम-इवल' (J-PragEval) नामक एक नया परीक्षण मैदान बनाया। मॉडल को एक वाक्य का अनुवाद करने के लिए कहने के बजाय, यह परीक्षण मॉडल के सामने दो लगभग समान परिदृश्य प्रस्तुत करता है जो केवल एक सामाजिक विवरण में भिन्न होते हैं, जैसे कि वक्ता किसी बॉस से बात कर रहा है या किसी मित्र से। मॉडल को फिर उस सामाजिक विवरण के आधार पर वाक्य को पूरा करने का सही तरीका चुनना होता है। यह परीक्षण जापानी सामाजिक जीवन के चार विशिष्ट क्षेत्रों को कवर करता है: सम्मान दिखाने के लिए सम्मानसूचक शब्दों (honorifics) का उपयोग, वाक्य से विषय (subject) के हट जाने पर यह अनुमान लगाने की क्षमता कि किसके बारे में बात की जा रही है, वह क्रियाओं का चयन जो यह दर्शाती है कि कोई व्यक्ति 'इनसाइडर' (भीतरी) है या 'आउटसाइडर' (बाहरी), और सीधे "नहीं" कहे बिना किसी अनुरोध को विनम्रता से अस्वीकार करने की कला।
शोधकर्ता ने फिर कंप्यूटर मॉडल के भीतर, जिसमें प्रसंस्करण (processing) की 28 परतें हैं, झाँका ताकि यह देखा जा सके कि यह उन परीक्षणों को पास करने के लिए आवश्यक ज्ञान कहाँ संग्रहीत करता है। एक ऐसी विधि का उपयोग करते हुए जो मॉडल के आंतरिक विचारों के लिए सूक्ष्मदर्शी की तरह कार्य करती है, अध्ययन ने विभिन्न चरणों में मॉडल की गतिविधि का अवलोकन किया। परिणाम इन सामाजिक नियमों को संभालने के तरीके में एक आश्चर्यजनक विभाजन प्रकट करते हैं। सम्मानसूचक शब्दों के उपयोग के लिए, मॉडल एक सुव्यवस्थित पुस्तकालय की तरह व्यवहार करता है। किस स्तर की विनम्रता का उपयोग करना है, इसकी जानकारी मॉडल की एक विशिष्ट परत में स्पष्ट रूप से संग्रहीत है, और एक साधारण जांच इसे लगभग 96 प्रतिशत सटीकता के साथ खोज सकती है। मॉडल नियम जानता है, और वह उस नियम को उपयोग के लिए तैयार रखता है। हालाँकि, अन्य सामाजिक नियमों के लिए तस्वीर बदल जाती है। जब मॉडल को उस वाक्य में यह तय करना था जिसमें विषय गायब था, या इनसाइडर बनाम आउटसाइडर के लिए सही क्रिया चुननी थी, तो शोधकर्ता इन नियमों की कोई स्पष्ट, स्थिर स्मृति मॉडल के भीतर नहीं पा सके जब मॉडल ने प्रॉम्प्ट को पढ़ना समाप्त किया। आंतरिक संकेत मानक जांच द्वारा पता लगाने के लिए बहुत धुंधले थे। फिर भी, जब मॉडल ने वास्तव में एक उत्तर उत्पन्न किया, तो उसने 77 से 79 प्रतिशत बार सही विकल्प चुना। यह सुझाव देता है कि मॉडल इन कार्यों के लिए केवल एक संग्रहीत नियम को पुनः प्राप्त नहीं करता है; इसके बजाय, यह वाक्य को शब्द दर शब्द बनाते समय सामाजिक संदर्भ की गणना करता है और चलते-चलते ही उत्तर निकाल लेता है।
अध्ययन ने इन मॉडलों के परीक्षण करने के तरीके में एक जाल का भी खुलासा किया। चार परीक्षणों में से एक, जो अप्रत्यक्ष इनकार (indirect refusals) पर केंद्रित था, शुरू में ऐसा दिखा जैसे मॉडल ने इस कौशल में महारत हासिल कर ली है, जिसका डिटेक्शन स्कोर 95 प्रतिशत था। हालाँकि, जब शोधकर्ता ने मॉडल के वास्तविक व्यवहार को करीब से देखा, तो पता चला कि मॉडल अक्सर इस परीक्षण में विफल हो रहा था। उच्च स्कोर स्वयं परीक्षण डिजाइन में एक दोष के कारण उत्पन्न हुआ एक गलत अलार्म था: सही उत्तर लंबे वाक्य थे, और मॉडल केवल वाक्य की लंबाई के आधार पर अनुमान लगा रहा था बजाय इसके कि वह सामाजिक बारीकी को समझता। एक बार जब परीक्षण को लंबाई के आधार पर समायोजित किया गया, तो अप्रत्यक्ष इनकार को संभालने में मॉडल की वास्तविक अक्षमता उजागर हो गई। यह निष्कर्ष एक चेतावनी के रूप में कार्य करता है कि कंप्यूटर परीक्षणों के उच्च स्कोर कभी-कभी गहरी गलतफहमियों को छिपा सकते हैं यदि परीक्षणों को वास्तविक समझ और सतही युक्तियों को अलग करने के लिए सावधानीपूर्वक डिज़ाइन नहीं किया गया है।
इन निष्कर्षों को संबोधित करने के लिए, शोधकर्ता ने इन मॉडलों को बिना स्क्रैच से पुनरप्रशिक्षित (retrain) किए मार्गदर्शन करने का एक नया तरीका प्रस्तावित किया। यह विचार, जिसे 'प्रैगमैटिक रिप्रेजेंटेशन स्टीयरिंग' (Pragmatic Representation Steering) कहा जाता है, में टेक्स्ट जनरेट करते समय मॉडल की आंतरिक गतिविधि को धीरे से सही दिशा में धकेलना शामिल है। इसे मॉडल के मस्तिष्क के पूर्ण ओवरहाल के बजाय उसके आंतरिक दिशा-सूचक यंत्र (compass) के सूक्ष्म समायोजन के रूप में सोचें। अध्ययन ने दिखाया कि इन धक्कों को देने के लिए आवश्यक गणितीय दिशा मॉडल की संरचना के भीतर मौजूद है, कम से कम उन नियमों के लिए जो स्पष्ट रूप से संग्रहीत हैं। यह सुझाव देता है कि पूर्ण पुनरप्रशिक्षण की भारी लागत के बिना छोटे भाषा मॉडलों को अधिक सांस्कृतिक रूप से जागरूक और सामाजिक रूप से उपयुक्त बनाया जा सकता है। हालांकि बड़े मॉडलों पर इस स्टीयरिंग पद्धति का पूर्ण परीक्षण भविष्य के कार्य के रूप में नियोजित है, वर्तमान अध्ययन यह सिद्ध करता है कि सांस्कृतिक समझ की आंतरिक मशीनरी मौजूद है, भले ही यह विभिन्न सामाजिक नियमों के लिए अलग-अलग तरीकों से छिपी हुई हो। शोध निष्कर्ष निकालता है कि छोटे भाषा मॉडलों को वास्तव में जापानी उपयोगकर्ताओं की सेवा करने के लिए, हमें सरल अनुवाद स्कोर से परे देखना होगा और यह समझना होगा कि ये मॉडल मानवीय जुड़ाव के अदृश्य, अनकहे नियमों को कैसे संसाधित करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।