Cross-Lingual Activation Steering for Multilingual Language Models
यह शोध पत्र क्रॉस-लिंगुअल एक्टिवेशन स्टीयरिंग (CLAS) का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त इन्फरेंस-टाइम हस्तक्षेप है जो गैर-प्रमुख भाषाओं में बहुभाषी प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए न्यूरॉन सक्रियणों को चुनिंदा रूप से नियंत्रित करता है, बिना मॉडल के भार (weights) को बदले, जिससे यह पता चलता है कि ऐसे लाभ सख्त संरेखण के बजाय कार्यात्मक विचलन (functional divergence) से उत्पन्न होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बहुभाषी लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, अति-बुद्धिमान ऑर्केस्ट्रा (वाद्यवृंद) के रूप में करें। यह ऑर्केस्ट्रा अंग्रेजी (मुख्य भाषा) में संगीत बजाने में अविश्वसनीय रूप से प्रतिभाशाली है क्योंकि इसका अभ्यास सबसे अधिक इसी में किया गया है। हालाँकि, जब इसे किसी कम प्रचलित भाषा (जैसे उर्दू या स्वाहिली) में सिम्फनी बजाने के लिए कहा जाता है, तो संगीत अक्सर बेसुरा, अस्पष्ट या अधूरा लगता है।
यह तर्क इस बात पर आधारित है कि ऐसा इसलिए नहीं है क्योंकि ऑर्केस्ट्रा में प्रतिभा की कमी है, बल्कि इसलिए है क्योंकि संगीतकार इस बात को लेकर भ्रमित हो रहे हैं कि किन "वाद्यों" (न्यूरॉन्स) का उपयोग करना है। कुछ वाद्य यंत्र ऐसे हैं जिन्हें हर भाषा के लिए एक ही धुन बजानी होती है (साझा न्यूरॉन्स/shared neurons), जबकि कुछ विशेष रूप से केवल एक ही भाषा के लिए होते हैं (भाषा-विशिष्ट न्यूरॉन्स/language-specific neurons)। वर्तमान में, यह ऑर्केस्ट्रा साझा वाद्यों पर बहुत अधिक निर्भर कर रहा है और विशिष्ट वाद्यों की अनदेखी कर रहा है, जिससे हर भाषा में एक सामान्य, "अंग्रेजी-झलकी वाला" स्वर सुनाई देता है।
यहाँ पेपर के समाधान, CLAS (क्रॉस-लिंगुअल एक्टिवेशन स्टीयरिंग) और उनकी खोज का एक सरल विवरण दिया गया है:
समस्या: "एक ही आकार सबके लिए" (One-Size-Fits-All) का जाल
मॉडल के मस्तिष्क को लाइट स्विचों से भरे एक कमरे के रूप में सोचें।
- साझा न्यूरॉन्स (Shared Neurons): ये वे स्विच हैं जो हर भाषा के लिए लाइट जलाते हैं।
- भाषा-विशिष्ट न्यूरॉन्स (Language-Specific Neurons): ये वे स्विच हैं जो केवल एक विशिष्ट भाषा के लिए लाइट जलाते हैं।
पेपर में पाया गया कि जब मॉडल एक गैर-अंग्रेजी भाषा बोलने की कोशिश करता है, तो वह "साझा" स्विचों को बहुत ज़ोर से दबाता रहता है और "भाषा-विशिष्ट" स्विचों को बहुत धीमा छोड़ देता है। परिणाम? मॉडल उस नई भाषा को अंग्रेजी जैसा बनाने के लिए मजबूर करता है, जो उसकी बारीकियों और सटीकता को बिलेखा देता है।
समाधान: CLAS (द "वॉल्यूम नॉब" ट्रिक)
शोधकर्ताओं ने क्रॉस-लिंगुअल एक्टिवेशन स्टीयरिंग (CLAS) नामक एक विधि प्रस्तावित की। इसे इस तरह न समझें कि आप ऑर्केस्ट्रा को फिर से बना रहे हैं या नए संगीतकार रख रहे हैं (जिसके लिए महंगी ट्रेनिंग की आवश्यकता होगी), बल्कि इसे एक साउंड इंजीनियर के रूप में समझें जो प्रदर्शन के दौरान वॉल्यूम नॉब को ट्यून करने के लिए आता है।
- संगीतकारों की पहचान करें: इंजीनियरों ने पहले विभिन्न भाषाओं में समानांतर गीत बजाते हुए ऑर्केस्ट्रा को सुना ताकि यह पता लगाया जा सके कि कौन से स्विच "साझा" हैं और कौन से "भाषा-विशिष्ट" हैं।
- ट्वीक (बदलाव): जब मॉडल एक गैर-अंग्रेजी भाषा बोलने की कोशिश करता है, तो CLAS धीरे से:
- "साझा" न्यूरॉन्स की आवाज़ को थोड़ा बढ़ा देता है (ताकि मूल अर्थ स्पष्ट रहे)।
- उन "साझा" न्यूरॉन्स की आवाज़ को कम कर देता है जो विशिष्ट भाषाई विशेषताओं को दबा रहे हैं।
- "भाषा-विशिष्ट" न्यूरॉन्स की आवाज़ को बढ़ा देता है ताकि वे वास्तव में सुनाई दे सकें।
- मिश्रण: महत्वपूर्ण बात यह है कि वे मॉडल के मूल विचारों को बदलते नहीं हैं। वे बस मूल सिग्नल के साथ इस "ट्यून किए गए" सिग्नल को थोड़ा सा मिला देते हैं। यह पहले से बने हुए सूप में नमक का एक चुटकी डाल देने जैसा है, न कि सूप को फेंककर फिर से शुरू करने जैसा।
उन्होंने क्या पाया (एक आश्चर्यजनक मोड़)
शोधकर्ता उम्मीद कर रहे थे कि गैर-अंग्रेजी भाषाओं को बेहतर बनाने के लिए, उन्हें मॉडल के उन भाषाओं के लिए आंतरिक "विचारों" को अंग्रेजी जैसा बनाना होगा।
वे गलत थे।
- "डाइवर्जेंस" (विचलन) की खोज: मॉडल वास्तव में तब बेहतर प्रदर्शन करता था जब गैर-अंग्रेजी भाषाओं को अंग्रेजी के "एंकर" (आधार) से दूर जाने की अनुमति दी जाती थी।
- उपमा: कल्पना कीजिए कि दोस्तों का एक समूह अलग-अलग बोलियाँ बोलने की कोशिश कर रहा है। यदि वे सभी बिल्कुल "लीडर" (अंग्रेजी) की तरह बोलने की कोशिश करते हैं, तो वे रोबोटिक लगते हैं। लेकिन यदि उन्हें अपने अनूठे, विशिष्ट तरीके से बोलने की अनुमति दी जाती है (फंक्शनल डाइवर्जेंस), तो वे बहुत अधिक प्रभावी ढंग से संवाद करते हैं।
- परिणाम: गैर-अंग्रेजी भाषाओं को अपनी तरह से रहने देने से (उन्हें अंग्रेजी की नकल करने के लिए मजबूर करने के बजाय), मॉडल उन भाषाओं में टेक्स्ट को समझने और उत्पन्न करने में बेहतर हो गया।
परिणाम
- बेहतर स्कोर: पढ़ने की समझ और तर्क पहेलियों से संबंधित परीक्षणों में, मॉडल का स्कोर कई गैर-अंग्रेजी भाषाओं (जैसे उर्दू, चीनी और हिंदी) में काफी बेहतर हो गया, बिना इसके कि उसका एक भी कोड बदला गया हो या उसे फिर से प्रशिक्षित किया गया हो।
- अंग्रेजी को कोई नुकसान नहीं: "अंग्रेजी" प्रदर्शन बिल्कुल वैसा ही रहा। साउंड इंजीनियर ने मुख्य एक्ट के साथ छेड़छाड़ नहीं की; उसने केवल बैकअप सिंगर्स को ठीक किया।
- सभी के लिए पूर्ण नहीं: इसने हर एक भाषा को समान रूप से मदद नहीं की। कुछ भाषाओं के लिए, यह एक बड़ी जीत थी; कुछ अन्य के लिए, इसने चीज़ों को थोड़ा खराब कर दिया। यह सुझाव देता है कि प्रत्येक भाषा को थोड़े अलग "वॉल्यूम नॉब" सेटिंग की आवश्यकता होती है।
निचोड़
यह पेपर दिखाता है कि अपनी भाषाई समस्याओं को ठीक करने के लिए हमें हमेशा बड़े, अधिक महंगे AI मॉडल बनाने की आवश्यकता नहीं होती है। कभी-कभी, हमें बस एक स्मार्ट "साउंड इंजीनियर" की आवश्यकता होती है जो AI के बोलते समय उसके आंतरिक वॉल्यूम नॉब को एडजस्ट कर सके। भाषाओं को विशिष्ट रहने देने से (न कि उन्हें अंग्रेजी के साथ पूरी तरह से संरेखित होने के लिए मजबूर करने से), हम मॉडल की कई भाषाओं में धाराप्रवाह बोलने की छिपी हुई क्षमता को अनलॉक कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।