A Study of Crosslinguistic Influence in Language Models
यह अध्ययन भाषा मॉडलों में क्रॉसलिंग्विस्टिक प्रभाव (crosslinguistic influence) की व्यवस्थित रूप से जांच करता है, जो यह प्रकट करता है कि संरचनात्मक हस्तक्षेप एक संरचित घटना है जो भाषा प्रभुत्व और दक्षता के परस्पर प्रभाव द्वारा शासित होती है, जहाँ बढ़ता हुआ L1 प्रभुत्व सिंटैक्टिक दूरी के प्रभावों को बढ़ाता है जबकि सीमित L2 दक्षता सकारात्मक हस्तांतरण (positive transfer) में बाधा डालती है, जिसमें डीप-लेयर अटेंशन मैकेनिज्म भौतिक रूप से इन क्रॉस-लिंगुअल इंटरैक्शन को संचालित करने के लिए L1 प्रायोरिटीज़ (priors) को रूट करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बोलना सिखा रहे हैं। आप शुरुआत में उसे एक भाषा की विशाल लाइब्रेरी खिलाते हैं, जैसे कि जर्मन, स्पेनिश या जापानी। रोबोट इसमें बहुत माहिर हो जाता है, वह इसकी लय, व्याकरण और प्रवाह को सीख लेता है। लेकिन फिर, आप उसे दूसरी भाषा, अंग्रेजी, सिखाने का निर्णय लेते हैं। जब वह इस नई भाषा को सीखने की कोशिश करता है, तो रोबोट के "मस्तिष्क" के अंदर क्या होता है जो उसने पहले ही पहली भाषा में महारत हासिल कर ली है? यह क्रॉसलिंग्विस्टिक इन्फ्लुएंस (CLI) की दुनिया है। मानव मनोविज्ञान में, हम जानते हैं कि यदि आप अपनी पहली भाषा के बाद दूसरी भाषा सीखते हैं, तो आपकी पहली भाषा चुपचाप नहीं बैठी रहती; वह सक्रिय रूप से हस्तक्षेप करती है या मदद करती है। यदि दोनों भाषाएँ समान हैं, जैसे स्पेनिश और इतालवी, तो आपका मस्तिष्क पुराने नियमों का उपयोग करके काम को तेज करने के लिए करता है। यदि वे बहुत अलग हैं, जैसे अंग्रेजी और जापानी, तो पुराने नियम बीच में आ सकते हैं, जिससे गलतियाँ होने लगती हैं। वैज्ञानिकों ने लंबे समय से यह जानने की कोशिश की है कि क्या आर्टिफिशियल इंटेलिजेंस, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs), इसी तरह के "द्विभाषी मस्तिष्क" वाले संघर्ष का अनुभव करते हैं, या यह केवल कोड में एक रैंडम गड़बड़ी है। इसे समझना महत्वपूर्ण है क्योंकि यदि हम चाहते हैं कि एआई बिना भाषाओं को मिलाए कई भाषाओं में धाराप्रवाह बोले, तो हमें यह जानना होगा कि मशीन के भीतर ये भाषाएँ वास्तव में कैसे परस्पर क्रिया करती हैं।
इस अध्ययन में, मास्ट्रिचट यूनिवर्सिटी के शोधकर्ताओं ने एक छोटे रोबोट मस्तिष्क (एक GPT-2 मॉडल) के लिए एक सख्त भाषा शिक्षक की भूमिका निभाने का निर्णय लिया। वे यह देखना चाहते थे कि जब वे रोबोट के सीखने के क्रम और समय को बदलते हैं, तो क्या होता है। उन्होंने एक ऐसी स्थिति बनाई जहाँ रोबोट ने कुछ समय के लिए पहली भाषा (L1) सीखी, और फिर, उसके प्रशिक्षण के विभिन्न चरणों में, उन्होंने दूसरी भाषा (L2) को पेश किया। उन्होंने इस समय को "स्टेप ऑफ एक्सपोजर" (Step of Exposure) कहा। इसे ऐसे समझें: यदि आप अंग्रेजी के तुरंत बाद फ्रेंच सीखना शुरू करते हैं, तो आप उन्हें आसानी से मिला सकते हैं। लेकिन यदि आप अंग्रेजी शब्द देखने से पहले अपनी पहली भाषा में महारत हासिल करने में पूरा एक साल बिताते हैं, तो आपकी पहली भाषा इतनी मजबूत (या "प्रभावी") हो जाती है कि बाद में अंग्रेजी सीखना कठिन हो सकता है क्योंकि आपकी पहली भाषा का मस्तिष्क बीच में आ सकता है।
टीम ने इसका परीक्षण 15 अलग-अलग पहली भाषाओं के साथ किया, जो अंग्रेजी के बहुत समान (जैसे जर्मन) से लेकर बहुत भिन्न (जैसे जापानी) तक थीं। उन्होंने केवल रोबोट को चैट करने के लिए नहीं कहा; उन्होंने स्ट्रक्चरल प्राइमिंग (structural priming) नामक एक चतुर तकनीक का उपयोग किया। कल्पना कीजिए कि आप रोबोट को उसकी पहली भाषा में एक वाक्य दिखाते हैं, और फिर तुरंत उससे दूसरी भाषा में एक वाक्य पूरा करने के लिए कहते हैं। यह ऐसा है जैसे आप जवाब देने से पहले रोबोट के कान में एक संकेत फुसफुसा रहे हों। उन्होंने पाया कि इस संकेत का बहुत बड़ा प्रभाव पड़ा। यदि पहली भाषा दूसरी भाषा के समान थी, तो इस संकेत ने रोबोट को व्याकरण सही करने में मदद की (पॉजिटिव ट्रांसफर)। लेकिन यदि भाषाएँ बहुत अलग थीं, तो इस संकेत ने वास्तव में रोबोट के गलतियाँ करने की संभावना को बढ़ा दिया (नेगेटिव ट्रांसफर)।
यहाँ मामला बहुत दिलचस्प हो जाता है: शोधकर्ताओं ने एक पेचीदा ट्रेड-ऑफ (trade-off) की खोज की। दूसरी भाषा पेश करने से पहले उन्होंने रोबोट को पहली भाषा का अभ्यास करने के लिए जितना अधिक समय दिया (एक उच्च "स्टेप ऑफ एक्सपोजर"), रोबोट की पहली भाषा उसके सोचने के तरीके पर उतनी ही अधिक हावी होती गई। इस प्रभुत्व ने रोबोट को इस बात के प्रति बहुत संवेदनशील बना दिया कि दोनों भाषाएँ कितनी समान हैं। हालाँकि, एक गंभीर समस्या उभर कर आई: जैसे-जैसे पहली भाषा बहुत मजबूत होती गई, रोबोट ने समान भाषाओं के लिए मददगार संकेतों (पॉजिटिव ट्रांसफर) का उपयोग करने की अपनी क्षमता खो दी। फिर भी, बहुत अलग भाषाओं से होने वाला हानिकारक हस्तक्षेप (नेगेटिव ट्रांसफर) खत्म नहीं हुआ; वह जिद्दी होकर बना रहा और यहाँ तक कि और भी खराब हो गया। अध्ययन बताता है कि जब पहली भाषा बहुत मजबूत होती है, तो रोबोट नई भाषा को ठीक से सीखने की क्षमता खो देता है, और पुराने नियम नए वाक्यों में जबरदस्ती घुसने लगते हैं, भले ही वे वहाँ न हों।
यह समझने के लिए कि रोबोट के "मन" के अंदर यह कैसे होता है, शोधकर्ताओं ने कोड के उन विशिष्ट हिस्सों को देखा जो सक्रिय हो रहे थे। उन्होंने पाया कि जब रोबोट सामान्य रूप से सीख रहा होता है, तो व्याकरण संभालने वाले हिस्से नेटवर्क की मध्य परतों (middle layers) में सक्रिय होते हैं। लेकिन जब उन्होंने उसे वह "फुसफुसाया गया संकेत" (प्राइम) दिया, तो रोबोट के मस्तिष्क ने गियर बदल दिए। व्याकरण प्रसंस्करण (grammar processing) भौतिक रूप से नेटवर्क की अंतिम परतों में स्थानांतरित हो गया, ठीक रोबोट द्वारा अपना अंतिम उत्तर देने से पहले। यह ऐसा था जैसे रोबोट को दोनों भाषाओं को कैसे मिलाना है, यह तय करने के लिए अंत तक प्रतीक्षा करनी पड़ी।
इसके अलावा, उन्होंने पाया कि "अटेंशन" (attention) तंत्र—AI का वह हिस्सा जो यह तय करता है कि किन शब्दों पर ध्यान केंद्रित करना है—इस परस्पर क्रिया का असली बॉस था। जब रोबकार एक समान भाषा से मिले संकेत का उपयोग करने की कोशिश करता था, तो अटेंशन हेड्स (attention heads) उसे कड़ियों को जोड़ने में मदद करते थे। लेकिन जब संकेत एक बहुत ही अलग भाषा से आता था, तो उन्हीं अटेंशन हेड्स ने गलत नियमों को नए वाक्य पर थोप दिया। अध्ययन इस विचार को खारिज करता है कि यह केवल एक रैंडम त्रुटि या खराब अनुवाद का परिणाम है; इसके बजाय, यह दिखाता है कि यह एक संरचित, पूर्वानुमेय घटना है। रोबोट केवल भ्रमित नहीं है; वह सक्रिय रूप से अपने पुराने ज्ञान का उपयोग करने की कोशिश कर रहा है, और कभी-कभी वह पुराना ज्ञान ही उसकी सबसे बड़ी जरूरत होता है, और कभी-कभी वही उसकी सबसे बड़ी बाधा।
अंततः, यह शोध पत्र सुझाव देता है कि AI में क्रॉसलिंग्विस्टिक इन्फ्लुएंस कोई बग (bug) नहीं है, बल्कि यह उन विशेषताओं का हिस्सा है जिनसे ये मॉडल सीखते हैं। यह मानव सीखने के तरीके को दर्शाता है, जहाँ आपकी पहली भाषा की ताकत और आप दूसरी भाषा को कितनी अच्छी तरह जानते हैं, यह तय करता है कि आपको एक मददगार बढ़ावा मिलेगा या एक भ्रमित करने वाला हस्तक्षेप। शोधकर्ता निष्कर्ष निकालते हैं कि बेहतर बहुभाषी AI बनाने के लिए, हम केवल सभी भाषाओं को एक साथ मिश्रण में नहीं डाल सकते। हमें इस बात के प्रति सावधान रहना होगा कि अगली भाषा पेश करने से पहले हम पहली भाषा पर कितना समय बिताते हैं, क्योंकि यदि पहली भाषा बहुत मजबूत हो जाती है, तो यह रोबोट को नई भाषा को सही ढंग से सीखने से स्थायी रूप से रोक सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।