How Modular Is a Frontier Mixture-of-Experts? A Pre-registered Causal Test in Which Apparent Expert Modularity Mostly Dissolves
यह पूर्व-पंजीकृत कारण संबंधी अध्ययन प्रकट करता है कि फ्रंटियर मिक्सचर-ऑफ-एक्सपर्ट्स मॉडल्स में स्पष्ट कार्यात्मक मॉड्यूलरिटी दुर्लभ है और माप के विकल्पों पर अत्यधिक निर्भर है, क्योंकि परीक्षण किए गए छह भाषा परिवारों में से केवल एक ने ही मजबूत, चयनात्मक मॉड्यूलरिटी प्रदर्शित की, जबकि अन्य विभिन्न मेट्रिक्स और कॉर्पोरा में सुसंगत प्रभाव बनाए रखने में विफल रहे।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, उच्च-शक्ति वाला किचन (AI मॉडल) है जिसमें 128 अलग-अलग शेफ (जिन्हें "एक्सपर्ट्स" कहा जाता है) हैं। लेकिन हर एक वाक्य के लिए जो AI लिखता है, वह केवल 8 शेफों से मदद मांगता है। मुख्य सवाल जो शोधकर्ताओं ने पूछना चाहा था वह था: क्या ये शेफ विशेषज्ञता रखते हैं?
एक लोकप्रिय सिद्धांत यह था कि किचन एक सख्त डिपार्टमेंट स्टोर की तरह व्यवस्थित है: एक टीम के शेफ केवल गणित पकाते हैं, दूसरी टीम केवल कोड लिखती है, और अन्य लोग स्पेनिश या अरबी जैसी विशिष्ट भाषाएं बोलते हैं। यदि यह सच होता, तो AI "मॉड्यूलर" होता—जैसे कि एक टूलबॉक्स जहाँ आप "गणित के औजारों" को बिना "भाषा के औजारों" को खराब किए निकाल सकते हैं।
शोधकर्ताओं ने इस सिद्धांत का परीक्षण करने के लिए एक विशाल, अत्याधुनिक AI जिसे Command A+ कहा जाता है, का उपयोग किया। उन्होंने इसे कैसे किया और उन्हें क्या मिला, इसका सरल विवरण यहाँ दिया गया है:
प्रयोग: "शेफ हटाने" का परीक्षण
यह केवल देखने के बजाय कि AI किन शेफों को चुनता है (जो भ्रामक हो सकता है), शोधकर्ताओं ने शेफ के विशिष्ट समूहों को निकालने (fire) और यह देखने का निर्णय लिया कि क्या होता है।
- सेटअप: उन्होंने शेफ के छह समूहों की पहचान की जो आमतौर पर क्या करते हैं उसके आधार पर: गणित, कोड, सामान्य तर्क (reasoning), अरबी, चीनी और स्पेनिश।
- परीक्षण: उन्होंने AI को समस्याएं हल करने के दौरान एक-एक करके प्रत्येक समूह को "एब्लेट" (चुप/निष्क्रिय) कर दिया।
- नियम: यह साबित करने के लिए कि एक समूह वास्तव में एक विशिष्ट मॉड्यूल है, दो चीजें होनी चाहिए थीं:
- ब्रेक (खराबी): "गणित" समूह को चुप कराने से AI की गणित करने की क्षमता टूट जानी चाहिए।
- चयनात्मकता (Selectivity): "गणित" समूह को चुप कराने से AI की स्पेनिश बोलने या कोड लिखने की क्षमता नहीं टूटनी चाहिए। यदि गणित को चुप कराने से स्पेनिश भी टूट जाती है, तो "गणित" के शेफ एक साफ, अलग मॉड्यूल नहीं हैं; वे अरबी के शेफ के साथ मिले हुए हैं।
उन्होंने यह परीक्षण सख्त स्थितियों के तहत चलाया: विभिन्न प्रकार के परीक्षण प्रश्नों, विभिन्न भाषाओं और बहुत सावधानीपूर्ण गणित का उपयोग करके ताकि यह सुनिश्चित हो सके कि परिणाम केवल किस्मत का खेल नहीं हैं।
परिणाम: एक आश्चर्यजनक खोज
परिणाम काफी चौंकाने वाले थे। यह विचार कि AI गणित, कोड और भाषा के अलग-अलग विभागों में खूबसूरती से व्यवस्थित है, ज्यादातर गलत साबित हुआ।
- एक सच्चा विशेषज्ञ: केवल एक समूह था जिसने टेस्ट में शानदार प्रदर्शन किया: अरबी के शेफ। जब शोधकर्ताओं ने उन्हें चुप कराया, तो AI अरबी बोलना पूरी तरह भूल गया, लेकिन वह अंग्रेजी बोल सकता था, गणित कर सकता था और कोड लिख सकता था। यह एक "साफ मॉड्यूल" था।
- "लगभग" विशेषज्ञ: अन्य समूह (स्पेनिश, गणित, कोड) पहली नज़र में विशेषज्ञ लग रहे थे।
- स्पेनिश: यह वाक्यों के एक सेट पर विशेषज्ञ लग रहा था, लेकिन जब इसे वाक्यों के दूसरे सेट पर टेस्ट किया गया, तो इसने अरबी को भी गड़बड़ाना शुरू कर दिया। यह एक साफ मॉड्यूल नहीं था; यह अरबी टीम के साथ ओवरलैप कर रहा था।
- गणित और कोड: ये गहराई से आपस में उलझे हुए थे। "गणित" के शेफ को चुप कराने से AI के सामान्य तर्क कौशल को नुकसान पहुँचा, न कि केवल गणित को। "कोड" के शेफ को चुप कराने से AI की टेक्स्ट समझने की क्षमता प्रभावित हुई, न कि केवल कोड लिखने की। वे अलग कमरे नहीं थे; वे एक साझा, अव्यवस्थित कार्यक्षेत्र थे।
"मापन" का जाल (The Measurement Trap)
पेपर इस महत्वपूर्ण सबक पर प्रकाश डालता है: आप परिणाम को कैसे मापते हैं, वही उत्तर बदल देता है।
इसे एक कार का परीक्षण करने जैसा समझें। यदि आप कार को केवल एक कच्ची सड़क पर टेस्ट करते हैं, तो उसका सस्पेंशन बहुत अच्छा दिखता है। यदि आप उसे रेस ट्रैक पर टेस्ट करते हैं, तो उसका सस्पेंशन बहुत खराब दिखता है।
- इस AI में, यदि आप "गणित" को एक विशिष्ट पहेली को हल करने की क्षमता से मापते हैं, तो यह एक विशेषज्ञ दिखता है।
- यदि आप इसे पहेली के पीछे के तर्क को समझने की क्षमता से मापते हैं, तो यह सामान्य तर्क के साथ मिला हुआ दिखता है।
शोधकर्ताओं ने पाया कि लगभग हर समूह के लिए, उनकी "विशेषज्ञता" बदल गई या गायब हो गई, जो इस बात पर निर्भर करता था कि आपने कौन सा टेस्ट इस्तेमाल किया, कौन सी भाषा का टेस्ट किया, या आपके गणित के नियम कितने सख्त थे।
निष्कर्ष
यह पेपर इस विशिष्ट, विशाल AI मॉडल के लिए निष्कर्ष निकालता है:
- मॉड्यूलरिटी दुर्लभ है। आप यह मान नहीं सकते कि AI में अलग-अलग कौशल के लिए साफ, अलग हिस्से हैं।
- अधिकांश कौशल आपस में मिले हुए हैं। गणित, कोड और सामान्य तर्क एक ही "शेफ" में उलझे हुए हैं।
- भाषा पेचीदा है। यहाँ तक कि स्पेनिश जैसी भाषाएँ भी हमेशा अलग नहीं होती हैं; वे संदर्भ के आधार पर अन्य भाषाओं (जैसे अरबी) में मिल सकती हैं।
- अरबी अपवाद है। यह इस किचन में एकमात्र वास्तव में अलग, विशिष्ट टीम है।
मुख्य बात (The Bottom Line): यदि आप इन AI मॉडलों को समझना या संपादित करना चाहते हैं, तो आप यह मानकर नहीं चल सकते कि वे अलग-अलग ईंटों वाले लेगो सेट की तरह बने हैं। वे एक जटिल, बुने हुए टेपेस्ट्री (tapestry) की तरह हैं जहाँ एक धागे (एक विशेषज्ञ समूह को चुप कराना) को खींचने से चित्र के उन हिस्सों के भी उधड़ने का डर रहता है जिनकी आपने उम्मीद नहीं की थी, जब तक कि आप उन्हें टेस्ट करने में बहुत सावधान न रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।