A Declarative-Procedural Perspective on Expert Routing in Bilingual Mixture-of-Experts Language Models
यह अध्ययन प्रदर्शित करता है कि जबकि मिश्रित डेटा पर प्रशिक्षित द्विभाषी Mixture-of-Experts मॉडल अधिक समग्र विशेषज्ञ विशिष्टता (aggregate expert specialization) प्रदर्शित करते हैं, क्रमिक पाठ्यक्रम एक्सपोज़र (sequential curriculum exposure) के साथ प्रशिक्षित मॉडल अधिक स्थिर, भाषा-संतुलित रूटिंग पैटर्न विकसित करते हैं, जो यह सुझाव देता है कि चरणबद्ध द्विभाषी अधिग्रहण व्याख्या योग्य, भाषाई रूप से संरचित संगठन के पक्ष में एकल-भाषा प्रभुत्व को कम करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के विशाल डिजिटल मस्तिष्क के भीतर, एक छिपी हुई वास्तुकला मौजूद है जिसे मानवीय भाषा की जटिलता को संभालने के लिए डिज़ाइन किया गया है। ये प्रणालियाँ, जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) के रूप में जाना जाता है, उनके द्वारा सामना किए जाने वाले प्रत्येक शब्द को उपकरणों के एक ही सेट के साथ संसाधित नहीं करती हैं। इसके बजाय, वे 'मिक्सचर-ऑफ-एक्सपर्ट्स' नामक एक संरचना पर निर्भर करती हैं, जहाँ मॉडल में कई विशिष्ट उप-नेटवर्क, या "विशेषज्ञ" (experts) होते हैं, और एक स्मार्ट ट्रैफिक डायरेक्टर होता है जो यह तय करता है कि प्रत्येक विशिष्ट शब्द को कौन सा विशेषज्ञ संभालना चाहिए। यह ट्रैफिक डायरेक्टर, या राउटर, इस बात को समझने की कुंजी है कि मशीन कैसे सोचती है। वर्षों से, वैज्ञानिक यह जानना चाहते थे कि क्या यह आंतरिक रूटिंग सिस्टम विकसित होता है जब मॉडल एक साथ दो भाषाएँ सीखता है। क्या मशीन स्वाभाविक रूप से अपने काम को छाँटती है, शब्दों के बारे में शब्दावली को विशेषज्ञों के एक सेट के पास भेजती है और व्याकरण के बारे में शब्दों को दूसरे के पास? या क्या यह बिना किसी गहरे भाषाई तर्क के बस टोकन को इधर-उधर घुमाती रहती है? इस प्रश्न का उत्तर हमें न केवल यह समझने में मदद करता है कि ये मॉडल कैसे काम करते हैं, बल्कि यह भी कि वे कैसे मानव मस्तिष्क के तरीके की नकल कर सकते हैं, जैसे कि याद किए गए तथ्यों बनाम वाक्यों के निर्माण के लिए उपयोग किए जाने वाले नियमों के बीच अंतर करना।
शोधकर्ताओं की एक टीम ने अंग्रेजी और जर्मन पर एक द्विभाषी आर्टिफिशियल इंटेलिजेंस को प्रशिक्षित करके इस आंतरिक संगठन की जांच करने का निर्णय लिया। वे विशेष रूप से इस बात में रुचि रखते थे कि मॉडल द्वारा इन भाषाओं को सीखने का क्रम मायने रखता है या नहीं। इसका परीक्षण करने के लिए, उन्होंने दो अलग-अलग सीखने के मार्ग बनाए। पहले मार्ग में, मॉडल को कुछ समय के लिए विशेष रूप से अंग्रेजी सिखाई गई, और बाद में जर्मन को धीरे-धीरे पेश किया गया, जो उस तरह से है जैसे कोई इंसान पहली भाषा में महारत हासिल करने के बाद दूसरी भाषा सीखता है। दूसरे मार्ग में, मॉडल को शुरुआत से ही अंग्रेजी और जर्मन के एक रैंडम मिश्रण के साथ खिलाया गया, जिसमें कोई संरचित प्रगति नहीं थी। शोधकर्ताओं ने फिर बारीकी से उस क्षण को देखा जब मॉडल विशिष्ट शब्दों को प्रोसेस कर रहा था, और ट्रैक किया कि प्रत्येक शब्द को किस विशेषज्ञ नेटवर्क के पास भेजा गया। उन्होंने शब्दों को तीन अलग-अलग प्रकारों में वर्गीकृत किया: वे जो शब्दावली ज्ञान का परीक्षण करते थे, वे जो व्याकरण के नियमों का परीक्षण करते थे, और वे जो वाक्य संरचना का परीक्षण करते थे। अपने रूटिंग पैटर्न का विश्लेषण करके, वे देख सके कि क्या मॉडल ने इन विभिन्न भाषाई कार्यों को संभालने के लिए एक विशिष्ट प्रणाली विकसित कर ली थी।
परिणामों ने संगठन के एक स्पष्ट और मापने योग्य पैटर्न का खुलासा किया। शोधकर्ताओं ने पाया कि मॉडल ने वास्तव में एक विशिष्ट रूटिंग सिस्टम विकसित किया जहाँ विभिन्न प्रकार के शब्दों को लगातार अलग-अलग विशेषज्ञों को भेजा जाता था। यह संगठन यादृच्छिक (random) नहीं था; ट्रैफिक डायरेक्टर ने शब्दावली, व्याकरण और वाक्य संरचना के बीच अंतर करना सीख लिया था, जिससे प्रत्येक श्रेणी को विशेषज्ञों के एक थोड़े अलग समूह के पास भेजा जा सका। यह विशेषज्ञता मॉडल के नेटवर्क की मध्य परतों में सबसे अधिक स्पष्ट थी, जो यह सुझाव देती है कि मशीन का "सोचने" वाला हिस्सा वह स्थान है जहाँ यह छंटनी सबसे स्पष्ट रूप से होती है। दिलचस्प बात यह है कि शोधकर्ताओं ने पाया कि यह संगठित व्यवहार उस मॉडल में भी उभरा जिसने बिना किसी संरचित पाठ्यक्रम के एक ही समय में दोनों भाषाएँ सीखी थीं। यह सुझाव देता है कि भाषाई कार्यों को छाँटने की क्षमता मॉडल की वास्तुकला का एक स्वाभाविक उपोत्पाद है और इसे प्रकट होने के लिए सख्त चरण-दर-चरण सीखने के कार्यक्रम की आवश्यकता नहीं है।
हालाँकि, मॉडल द्वारा दोनों भाषाओं के बीच अपने ध्यान को संतुलित करने का तरीका इस बात पर बहुत अधिक निर्भर करता था कि उसे कैसे सिखाया गया था। उस मॉडल में, जिसने बिना किसी योजना के अंग्रेजी और जर्मन को एक साथ सीखा, विशेषज्ञता केवल एक ही भाषा की ओर अत्यधिक झुकी हुई हो गई। ट्रैफिक डायरेक्टर लगभग पूरी तरह से अंग्रेजी पर ध्यान केंद्रित करता था, या कुछ मामलों में, रैंडम शुरुआती स्थितियों के आधार पर, लगभग पूरी तरह से जर्मन पर। इसने एक असंतुलन पैदा किया जहाँ मॉडल एक भाषा के लिए अत्यधिक विशिष्ट था लेकिन दूसरी भाषा के लिए कम संगठित था। इसके विपरीत, उस मॉडल ने जो एक संरचित पाठ्यक्रम का पालन करता था, जिसने पहले अंग्रेजी और फिर जर्मन सीखी, एक स्थिर और संतुलित प्रणाली विकसित की। इसने दोनों भाषाओं के बीच अपने विशेषज्ञ ध्यान को समान रूप से वितरित किया, यह सुनिश्चित करते हुए कि कोई भी भाषा दूसरे पर हावी न हो। यह निष्कर्ष बताता है कि जबकि मशीन स्वाभाविक रूप से कार्यों को छाँटना सीखती है, दोनों भाषाओं के साथ निष्पक्ष और समान व्यवहार सुनिश्चित करने के लिए एक संरचित शिक्षण पथ आवश्यक है।
अध्ययन यह निष्कर्ष निकालता है कि ये द्विभाषी आर्टिफिशियल इंटेलिजेंस मॉडल भाषा प्रसंस्करण के लिए एक परिष्कृत आंतरिक मानचित्र विकसित करते हैं, लेकिन उस मानचित्र की गुणवत्ता प्रशिक्षण पद्धति पर निर्भर करती है। मार्गदर्शन के बिना, मॉडल एक भाषा को दूसरी भाषा पर प्राथमिकता देने लगता है, जिससे एक असंतुलित प्रणाली बन जाती है। एक संरचित दृष्टिकोण के साथ, यह एक सामंजस्यपूर्ण संतुलन प्राप्त करता है। इसका मतलब यह नहीं है कि मॉडल एक इंसान की तरह सोच रहा है, लेकिन यह दिखाता है कि इन प्रणालियों के पीछे की गणितीय मशीनरी जटिल जानकारी को व्यवस्थित करने में सक्षम है जो भाषा की संरचना को दर्शाती है। यह शोध इस बात की एक दुर्लभ झलक प्रदान करता है कि कैसे ये डिजिटल मस्तिष्क अपने संसाधनों का आवंटन करते हैं, यह दिखाते हुए कि द्विभाषी सक्षमता का मार्ग केवल एक्सपोजर के बारे में नहीं है, बल्कि उस एक्सपोजर के क्रम और संतुलन के बारे में भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।