Output Dilution: Redundant but Fragile Representations in MoE Models
यह शोध पत्र प्रकट करता है कि जहाँ मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) मॉडल नैतिक सामग्री को डेंस मॉडल्स की तरह ही अतिरेक (redundantly) के साथ एनकोड करते हैं, वहीं उनके प्रतिनिधित्व (representations) "आउटपुट डाइल्यूशन" के कारण काफी अधिक नाजुक होते हैं, जहाँ सक्रिय विशेषज्ञों का औसत निकालना सिग्नल की शक्ति को नाटकीय रूप से कम कर देता है, जिससे स्थिर रूटिंग के बावजूद एनकोडेड जानकारी आसानी से शोर (noise) द्वारा अभिभूत हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते क्षेत्र में, शोधकर्ता लगातार यह समझने की कोशिश कर रहे हैं कि बड़े भाषा मॉडल (large language models) कैसे सोचते हैं। ये सिस्टम, जो कहानियाँ लिख सकते हैं, समस्याओं को हल कर सकते हैं और प्रश्नों के उत्तर दे सकते हैं, गणितीय कनेक्शनों के विशाल नेटवर्क से बने होते हैं। इन नेटवर्कों के लिए एक लोकप्रिय डिज़ाइन को "मिक्सचर ऑफ एक्सपर्ट्स" (mixture of experts) कहा जाता है। एक बड़े विशेषज्ञ दल की कल्पना करें जहाँ, कंप्यूटर द्वारा संसाधित किए जाने वाले प्रत्येक वाक्य के लिए, विशेषज्ञों के एक छोटे समूह को ही काम करने की अनुमति दी जाती है। बाकी शांत रहते हैं। यह दृष्टिकोण कंप्यूटर को प्रत्येक कार्य के लिए कम संसाधनों का उपयोग करके तेज़ और अधिक कुशल बनाने के लिए डिज़ाइन किया गया है। उन वैज्ञानिकों के लिए जो इन मॉडलों को मानवीय मूल्यों के साथ संरेखित (align) करने का अध्ययन कर रहे हैं—यह सुनिश्चित करने के लिए कि वे नैतिक और सुरक्षित व्यवहार करें—यह संरचना एक लुभावना अवसर प्रदान करती है। यदि नैतिक तर्क (moral reasoning) को विशेषज्ञों के एक विशिष्ट, अलग समूह द्वारा संभाला जाता है, तो शोधकर्ता पूरे सिस्टम को बाधित किए बिना केवल उस समूह को बदलकर या हटाकर बुरे व्यवहार को ठीक करने के लिए संभावित रूप से सक्षम हो सकते हैं। यह एक जटिल समस्या के लिए एक स्वच्छ, सर्जिकल दृष्टिकोण है।
हालाँकि, OLMoE नामक एक विशिष्ट ओपन-सोर्स मॉडल का उपयोग करते हुए एक नए अध्ययन ने पाया है कि यह आशा गलत जगह पर आधारित है। शोधकर्ताओं ने यह देखने के लिए प्रयोग किया कि क्या ये "विशेषज्ञ" मॉड्यूल वास्तव में नैतिक तर्क में विशेषज्ञता रखते हैं, या क्या वे सभी एक ही काम करते हैं। वे यह भी परीक्षण करना चाहते थे कि ये नैतिक संकेत वास्तव में कितने मजबूत हैं। परिणाम आश्चर्यजनक थे। अध्ययन में पाया गया कि मॉडल के पास कोई समर्पित नैतिक विशेषज्ञों की टीम नहीं है। इसके बजाय, नेटवर्क के प्रत्येक स्तर में मौजूद हर एक विशेषज्ञ मॉड्यूल में समान नैतिक जानकारी होती है। अधिक महत्वपूर्ण बात यह है कि अध्ययन ने पाया कि हालांकि यह नैतिक जानकारी मौजूद है, लेकिन यह अविश्वसनीय रूप से नाजुक है। यह सिस्टम में मौजूद तो है, लेकिन यह इतनी कमजोर रूप से व्यक्त होती है कि डिजिटल शोर (digital noise) की एक मामूली मात्रा भी इसे मिटा सकती है, जबकि एक समान आकार का मानक मॉडल इसी तरह के व्यवधान को आसानी से झेल सकता है।
जांच की शुरुआत OLMoE मॉडल के आंतरिक कामकाज की जांच करके हुई, जिसमें इसके 16 परतों में से प्रत्येक में 64 विशेषज्ञ मॉड्यूल शामिल हैं। शोधकर्ताओं ने सरल डिटेक्टरों को प्रशिक्षित किया ताकि वे देख सकें कि क्या वे प्रत्येक व्यक्तिगत मॉड्यूल के आउटपुट के भीतर नैतिक अवधारणाओं को खोज सकते हैं। यदि "मिक्सचर ऑफ एक्सपर्ट्स" डिज़ाइन उम्मीद के मुताबिक काम करता, तो वे अपेक्षा करते कि केवल कुछ विशिष्ट मॉड्यूल ही नैतिक सामग्री को पहचानने में अच्छे होंगे, जबकि अन्य व्याकरण या तथ्यों जैसे विभिन्न कार्यों पर ध्यान केंद्रित करेंगे। इसके बजाय, उन्हें इसके विपरीत मिला। लगभग प्रत्येक मॉड्यूल, नेटवर्क में अपनी स्थिति की परवाह किए बिना, उच्च सटीकता के साथ नैतिक सामग्री की पहचान करने में सक्षम था। इस क्षमता का वितरण पूरी तरह से समान था; कोई भी मॉड्यूल विशेषज्ञ नहीं था, और कोई भी नौसिखिया नहीं था। राउटर (router), जो यह निर्णय लेता है कि किन मॉड्यूल को काम करने की अनुमति दी जाए, उसने भी नैतिक वाक्यों को विशिष्ट विशेषज्ञों को भेजने के लिए कोई प्राथमिकता नहीं दिखाई। इसने सभी इनपुट के साथ एक जैसा व्यवहार किया। इसका अर्थ है कि अलग-अलग विशेषज्ञों के रूप में होने का संरचनात्मक लाभ नैतिक विशेषताओं को लक्षित हस्तक्षेप (targeted intervention) के लिए अलग करने में मदद नहीं करता है।
शोधकर्ताओं ने फिर एक अधिक सूक्ष्म प्रश्न की ओर अपना ध्यान केंद्रित किया: यह नैतिक जानकारी कितनी सुदृढ़ (robust) है? उन्होंने OLMoE मॉडल की तुलना एक मानक, "डेंस" (dense) मॉडल से की जो विशेषज्ञ प्रणाली का उपयोग नहीं करता है लेकिन इसमें सक्रिय पैरामीटर्स की संख्या समान है। जब उन्होंने यह परीक्षण किया कि मॉडल नैतिक सामग्री को पहचानने की अपनी क्षमता खोने से पहले कितना शोर सहन कर सकता है, तो एक स्पष्ट अंतर सामने आया। मानक मॉडल उल्लेखनीय रूप से मजबूत था, जो नैतिक समझ बनाए रखते हुए डिजिटल हस्तक्षेप के महत्वपूर्ण स्तरों को सहने में सक्षम था। इसके विपरीत, OLMoE मॉडल लगभग तुरंत ढह गया। यह अपने मानक समकक्ष की तुलना में चार गुना से अधिक नाजुक था। विशेषज्ञ मॉडल में नैतिक संकेत इतना नाजुक था कि डिजिटल शोर की एक मामूली मात्रा भी इसे पूरी तरह से दबाने के लिए पर्याप्त थी।
यह समझने के लिए कि यह क्यों हुआ, टीम ने देखा कि सिस्टम के माध्यम से सूचना कैसे प्रवाहित होती है। एक मानक मॉडल में, प्रसंस्करण इकाइयाँ (processing units) नेटवर्क के अगले चरण को एक मजबूत, स्पष्ट संकेत भेजती हैं। विशेषज्ञ मॉडल में, सिस्टम कुछ विशेषज्ञों का चयन करता है, उनके आउटपुट का औसत निकालता है, और उस संयुक्त परिणाम को आगे भेजता है। शोधकर्ताओं ने इस संयुक्त संकेत की शक्ति को मापा और पाया कि यह मानक मॉडल की तुलना में काफी कमजोर था। संकेत पतला (diluted) हो गया था, जो दो क्रम (orders of magnitude) छोटा हो गया था। इसे विज़ुअलाइज़ करने का एक तरीका यह है कि कल्पना करें कि एक भीड़ भरे कमरे में बातचीत हो रही है। मानक मॉडल में, एक व्यक्ति स्पष्ट, मजबूत आवाज में बोलता है जिसे हर कोई सुन सकता है। विशेषज्ञ मॉडल में, यह ऐसा है जैसे आठ लोग एक ही वाक्य फुसफुसा रहे हैं, और कमरा उन फुसफुसाहटों के औसत को सुनता है। संदेश वहां है, लेकिन यह इतना धीमा है कि शोर की एक हल्की हवा भी इसे सुनना असंभव बना सकती है।
इस निष्कर्ष के इन प्रणालियों को समझने और नियंत्रित करने के तरीके के बारे में गहरे निहितार्थ हैं। अध्ययन ने दिखाया कि यह नाजुकता मॉडल के समय के साथ ठीक से सीखने में विफल होने का परिणाम नहीं है। मॉडल के इतिहास को उसके पहले कदम से लेकर उसके अंतिम रूप तक देखने के माध्यम से, शोधकर्ताओं ने पुष्टि की कि नैतिक जानकारी शुरुआत से मौजूद थी और पूरी प्रक्रिया के दौरान समान रूप से वितरित और कमजोर बनी रही। मॉडल ने कभी भी विशेषज्ञ नैतिक विशेषज्ञ विकसित नहीं किए, और न ही इसने कभी संकेत को मजबूत किया। यह नाजुकता स्वयं इसकी वास्तुकला (architecture) की एक अंतर्निहित विशेषता है। क्योंकि सिस्टम कुछ चयनित विशेषज्ञों के आउटपुट का औसत लेता है, इसलिए परिणामी संकेत स्वाभाविक रूप से छोटा होता है। यह छोटा संकेत शोर द्वारा आसानी से दबा दिया जाता है, जिससे इन मॉडलों में नैतिक कोडिंग पारंपरिक डिजाइनों की तुलना में बहुत कम सुरक्षित हो जाती है।
अध्ययन निष्कर्ष निकालता है कि 'मिक्सचर ऑफ एक्सपर्ट्स' डिजाइन का वादा एलाइनमेंट रिसर्च (alignment research) के लिए एक भ्रम है। जबकि यह संरचना नेटवर्क को अलग-अलग इकाइयों में विभाजित करने का एक तरीका प्रदान करती है, यह नैतिक तर्क के अलग थलग पॉकेट (isolated pockets) नहीं बनाती है जिन्हें आसानी से संपादित या हटाया जा सके। इसके बजाय, यह नैतिक जानकारी को सभी इकाइयों में बहुत पतला फैला देती है, जिससे यह रेडंडेंट (redundant) तो बनती है लेकिन अविश्वसनीय रूप से असुरक्षित भी हो जाती है। उन शोधकर्ताओं के लिए जो इन मॉडलों को सुरक्षित व्यवहार करने के लिए सुनिश्चित करने की कोशिश कर रहे हैं, इसका अर्थ है कि केवल यह देखना कि क्या एक मॉडल नैतिक अवधारणाओं को पहचान सकता है, पर्याप्त नहीं है। उन्हें यह भी मापना होगा कि वह जानकारी कितनी सुरक्षित रूप से रखी गई है। एक मॉडल सतह पर नैतिक रूप से पूर्णतः समझता हुआ प्रतीत हो सकता है, फिर भी इतना नाजुक हो सकता है कि उसके वातावरण में मामूली बदलाव या फाइन-ट्यूनिंग के दौरान थोड़ा सा समायोजन उसकी समझ को पूरी तरह से खत्म कर सकता है। अध्ययन सुझाव देता है कि इन मॉडलों को बनाने का तरीका मौलिक रूप से उनके आंतरिक संकेतों की प्रकृति को बदल देता है, जिससे एक स्थायी संरचनात्मक कमजोरी पैदा होती है जिसे केवल प्रशिक्षण द्वारा ठीक नहीं किया जा सकता।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।