🤖 machine learning

Geometric Asymmetry in MoE Specialization: Functional Decorrelation and Representational Overlap

यह शोध पत्र एक एकीकृत जैकोबियन-PCA-ग्रासमैन ढांचे को प्रस्तुत करता है जो यह प्रकट करता है कि मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर एक ज्यामितीय विषमता के माध्यम से विशिष्टता प्राप्त करते हैं जहाँ विशेषज्ञ आंशिक रूप से ओवरलैपिंग प्रतिनिधित्व उप-स्थानों (representation subspaces) पर कार्य करने के बावजूद मजबूत कार्यात्मक डिकोरिलेशन प्रदर्शित करते हैं, एक ऐसी संरचना जो रूटिंग स्पर्सिटी द्वारा महत्वपूर्ण रूप से आकार लेती है।

मूल लेखक: Feilong Liu

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Feilong Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी तस्वीर: विशेषज्ञों की एक टीम

कल्पना कीजिए कि एक बड़ी कंपनी है (Mixture-of-Experts या MoE मॉडल) जिसे कई अलग-अलग समस्याओं को हल करना है। एक विशाल कर्मचारी होने के बजाय जो सब कुछ करने की कोशिश करता है, कंपनी विशेषज्ञों (Experts) की एक टीम को काम पर रखती है।

जब कोई नया काम आता है, तो एक "मैनेजर" (Router) उस काम को देखता है और तय करता है कि कौन सा विशेषज्ञ उसे संभालने के लिए सबसे उपयुक्त है। लक्ष्य कंपनी को विशाल और शक्तिशाली बनाना है, बिना उसे धीमा या महंगा बनाए।

लेकिन यहाँ वह रहस्य है जिसे यह शोध पत्र सुलझाता है: ये विशेषज्ञ वास्तव में एक साथ कैसे काम करते हैं? क्या वे सभी एक ही काम करते हैं? क्या वे पूरी तरह से अलग कमरों में काम करते हैं? या क्या वे एक-दूसरे के ऊपर ओवरलैप (overlap) होते हैं?

लेखकों ने इन AI मॉडलों के भीतर देखने के लिए एक विशेष "ज्यामितीय सूक्ष्मदर्शी" (geometric microscope) बनाया और एक आश्चर्यजनक पैटर्न पाया।

विशेषज्ञों को देखने के दो तरीके

विशेषज्ञों को समझने के लिए, शोधकर्ताओं ने उन्हें दो अलग-अलग तरीकों से देखा:

"कैसे" (फंक्शन स्पेस - Function Space): उन्होंने देखा कि विशेषज्ञ वास्तव में डेटा के साथ क्या करते हैं। कल्पना कीजिए कि आपसे पूछा जाए, "यदि मैं आपको थोड़ा अलग इनपुट दूँ, तो आपका आउटपुट कैसे बदलता है?" यह एक विशेषज्ञ के फिंगरप्रिंट या सोचने के उनके अनूठे तरीके को जाँचने जैसा है।
"कहाँ" (रिप्रेजेंटेशन स्पेस - Representation Space): उन्होंने देखा कि विशेषज्ञ अपना ज्ञान कहाँ स्टोर करते हैं। कल्पना कीजिए कि विशेषज्ञ एक विशाल लाइब्रेरी में काम कर रहे हैं। क्या वे सभी बिल्कुल एक ही शेल्फ से किताबें उठाते हैं, या उनके अपने विशिष्ट खंड (sections) हैं?

बड़ी खोज: "असममिति" (The Asymmetry)

शोध पत्र में विभिन्न AI मॉडलों (जैसे Mistral और Qwen) में एक सुसंगत पैटर्न पाया गया। यह एक विरोधाभास जैसा है:

वे अलग तरह से सोचते हैं (Functional Decorrelation): जब आप देखते हैं कि विशेषज्ञ जानकारी को कैसे प्रोसेस करते हैं, तो वे एक-दूसरे से पूरी तरह अलग होते हैं। उनके "फिंगरप्रिंट" आपस में मेल नहीं खाते। यदि विशेषज्ञ A और विशेषज्ञ B को एक ही कार्य दिया जाता, तो वे इसे पूरी तरह से अलग मानसिक चरणों का उपयोग करके हल करते। वे redundant (एक जैसे) नहीं हैं; वे वास्तव में अद्वितीय हैं।
लेकिन वे एक ही कमरे को साझा करते हैं (Representational Overlap): हालाँकि, जब आप देखते हैं कि वे अपने परिणाम कहाँ स्टोर करते हैं, तो वे पूरी तरह से अलग कमरों में नहीं होते हैं। वे एक ही लाइब्रेरी में काम कर रहे हैं, और उनके "शेल्फ" (subspaces) काफी हद तक ओवरलैप होते हैं। वे एक ही किताबों को देख रहे हैं, बस उनकी व्याख्या अलग-अलग तरीके से कर रहे हैं।

उदाहरण (Analogy):
कल्प imagine कीजिए कि रसोई में शेफ (Chefs) का एक समूह है।

"कैसे": यदि आप उनसे प्याज काटने के लिए कहें, तो शेफ A एक विशिष्ट 'रॉकिंग मोशन' का उपयोग करता है, जबकि शेफ B सीधे ऊपर-नीचे की गति का उपयोग करता है। उनकी तकनीकें पूरी तरह से अलग हैं (Functional Decorrelation)।
"कहाँ": लेकिन, वे दोनों एक ही चॉपिंग बोर्ड पर खड़े हैं, एक ही चाकू का उपयोग कर रहे हैं, और प्याज के एक ही ढेर को संभाल रहे हैं। वे अलग-अलग रसोई में नहीं हैं; वे एक ही वर्कस्पेस साझा कर रहे हैं (Representational Overlap)।

गुप्त सामग्री: मैनेजर कैसे निर्णय लेता है

शोधकर्ताओं ने यह भी परीक्षण किया कि यदि वे शेफ चुनने के लिए "मैनेजर" के नियमों को बदलते हैं तो क्या होता है।

सख्त मैनेजर (Top-k Routing): मैनेजर काम के लिए केवल एक सबसे अच्छे शेफ को चुनता है।
- परिणाम: शेफ बहुत विशिष्ट हो जाते हैं। वे अपने अनूठे कौशल को तेज करते हैं, और उनके वर्कस्पेस अधिक अलग हो जाते हैं। "फिंगरप्रिंट" का अंतर और भी स्पष्ट हो जाता है।
उदार मैनेजर (Fully-Soft Routing): मैनेजर सभी शेफ को एक ही समय में काम पर काम करने और अपने प्रयासों को मिलाने की अनुमति देता है।
- परिणाम: शेफ आपस में घुलने-मिलने लगते हैं। वे अपनी अनूठी शैलियाँ खो देते हैं, और उनके वर्कस्पेस एक उलझे हुए ओवरलैप बन जाते हैं। वे एक ही चीज़ करने लगते हैं।

निष्कर्ष: मैनेजर की "सख्ती" ही विशेषज्ञों को विशिष्ट बनाए रखती है। यदि आप सबको सब कुछ करने की अनुमति देते हैं, तो वे विशेषज्ञ नहीं रहते बल्कि क्लोन (clones) बन जाते हैं।

यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)

यह खोज हमारे समझने के तरीके को बदल देती है:

वे केवल एक-दूसरे की नकल नहीं कर रहे हैं: भले ही वे एक ही "वर्कस्पेस" साझा करते हैं, वे वास्तव में अलग-अलग गणनाएँ (calculations) कर रहे हैं।
वे अलग दुनिया में नहीं हैं: वे दुनिया को "मेरा काम" और "तुम्हारा काम" में विभाजित नहीं कर रहे हैं। इसके बजाय, वे सभी एक ही जटिल वास्तविकता को देख रहे हैं लेकिन उस पर अलग-अलग, अनूठे रूपांतरण (transformations) लागू कर रहे हैं।
"सॉफ्ट पार्टीशन" (The Soft Partition): शोध पत्र सुझाव देता है कि ये मॉडल एक सॉफ्ट पार्टीशन की तरह काम करते हैं। एक वेन डायग्राम (Venn diagram) की कल्पना करें जहाँ वृत्त ओवरलैप होते हैं। विशेषज्ञ ओवरलैपिंग क्षेत्रों में काम करते हैं, लेकिन वे डेटा पर अपना अनूठा "फ्लेवर" लागू करते हैं।

सारांश

यह शोध पत्र AI विशेषज्ञों को मापने का एक नया तरीका पेश करता है। इसने पाया कि आधुनिक AI मॉडलों में, विशेषज्ञ कार्यात्मक रूप से अद्वितीय (functionally unique - वे अलग तरह से सोचते हैं) लेकिन स्थानिक रूप से साझा (spatially shared - वे एक ही स्थान पर काम करते हैं) होते हैं। रूटिंग तंत्र की "तीक्ष्णता" (sharpness) वह डायल है जो यह नियंत्रित करता है कि ये विशेषज्ञ कितने विशिष्ट बने रहते हैं। यदि रूटिंग बहुत ढीली है, तो विशेषज्ञ अपनी विशिष्टता खो देते हैं।

तकनीकी सारांश: MoE विशेषज्ञता में ज्यामितीय विषमता (Geometric Asymmetry)

समस्या विवरण (Problem Statement)

जबकि Mixture-of-Experts (MoE) आर्किटेक्चर निश्चित कम्प्यूटेशनल लागत के साथ बड़े पैरामीटर काउंट को सक्षम करके Transformer मॉडलों को स्केल करने के लिए एक मानक तंत्र बन गए हैं, विशेषज्ञ विशेषज्ञता (expert specialization) की आंतरिक ज्यामितीय संरचना अभी भी कम समझी गई है। मौजूदा विश्लेषण मुख्य रूप से रूटिंग सांख्यिकी (routing statistics), लोड बैलेंसिंग, या सिस्टम-स्तरीय प्रदर्शन पर केंद्रित हैं। फंक्शन स्पेस (वे रूपांतरण जो वे करते हैं) बनाम रिप्रेजेंटेशन स्पेस (छिपे हुए स्टेट्स में टोकन कैसे व्यवस्थित होते हैं) में विशेषज्ञों के अंतर को समझने में एक महत्वपूर्ण अंतराल मौजूद है।

वर्तमान अंतर्ज्ञान यह सुझाव देता है कि MoE लेयर्स इनपुट वितरण को विच्छेदित क्लस्टर्स (disjoint clusters) में विभाजित करती हैं जहाँ प्रत्येक विशेषज्ञ एक स्थानीय एप्रोक्सिमेटर (local approximator) के रूप में कार्य करता है। हालांकि, अनुभवजन्य साक्ष्य (empirical evidence) बताते हैं कि विशेषज्ञ अक्सर ओवरलैपिंग टोकन रेजीम (overlapping token regimes) पर कार्य करते हैं, जिससे यह प्रश्न उठता है: एक प्रीट्रेन्ड MoE Transformer के भीतर रूटिंग किस प्रकार की ज्यामितीय संरचना प्रेरित करती है? विशेष रूप से, क्या विशेषज्ञ विशिष्ट कार्य (distinct functions) लागू करते हैं, और उनके प्रतिनिधित्व एक-दूसरे से कैसे संबंधित हैं?

कार्यप्रणाली (Methodology)

लेखक फंक्शन और रिप्रेजेंटेशन दोनों स्पेस में MoE लेयर्स का विश्लेषण करने के लिए एक एकीकृत Jacobian-PCA-Grassmann फ्रेमवर्क पेश करते हैं। यह फ्रेमवर्क प्रीट्रेन्ड मॉडलों (Mistral, Qwen) और स्क्रैच से प्रशिक्षित नियंत्रित 3-लेयर Transformer मॉडलों पर लागू किया गया है।

1. कार्यात्मक ज्यामिति: एक्सपर्ट-लोकल जैकोबियन (Functional Geometry: Expert-Local Jacobians)

रूटिंग डायनेमिक्स से स्वतंत्र रूप से व्यक्तिगत विशेषज्ञों के कार्य को चरित्रित करने के लिए, लेखक एक्सपर्ट-लोकल जैकोबियन ( $J_e(x) = \partial f_e(x) / \partial x$ ) का विश्लेषण करते हैं।

मीट्रिक: वे प्रत्येक विशेषज्ञ के लिए एक डेटासेट पर औसत जैकोबियन ( $\bar{J}_e$ ) की गणना करते हैं और इसे वेक्टरकृत (vectorize) करते हैं।
अलाइनमेंट: पेयरवाइज फंक्शनल अलाइनमेंट को इन वेक्टरकृत जैकोबियन्स के बीच नॉर्मलाइज्ड फ्रोबेनियस इनर प्रोडक्ट (कोसाइन सिमिलरिटी) के माध्यम से मापा जाता है।
व्याख्या: कम कोसाइन सिमिलरिटी फंक्शनल डिकोरिलेशन (functional decorrelation) को दर्शाती है, जिसका अर्थ है कि विशेषज्ञ स्थानीय रूप से भिन्न रूपांतरण लागू करते हैं न कि एक ही कार्य के रेडंडेंट वेरिएंट।

2. रिप्रेजेंटेशन ज्यामिति: रूटेड PCA और ग्रासमैनियन दूरियां (Representation Geometry: Routed PCA and Grassmannian Distances)

प्रतिनिधित्व की ज्यामिति को चरित्रित करने के लिए, लेखक रूटिंग वेट द्वारा भारित छिपे हुए स्टेट्स (hidden states) को एकत्र करते हैं ( $h_e(x) = g_e(x)h(x)$ )।

PCA: रूटेड हिडन स्टेट्स पर मुख्य दिशाओं (principal directions) और वेरिएंस स्पेक्ट्रा की पहचान करने के लिए मानक प्रिंसिपल कंपोनेंट एनालिसिस (PCA) किया जाता है।
सबस्पेस डिस्टेंस: विशेषज्ञों के बीच ज्यामितीय अलगाव को विभिन्न विशेषज्ञों के टॉप- $n$ PCA सबस्पेस के बीच ग्रासमैनियन जियोडेसिक डिस्टेंस (Grassmannian Geodesic Distance) का उपयोग करके परिमाणित किया जाता है।
व्याख्या: यह मीट्रिक पूरे सबस्पेस के बीच बहु-दिशात्मक अलगाव को पकड़ता है। शून्य के करीब दूरी रेडंडेंट फंक्शनल भूमिकाओं को दर्शाती है, जबकि पूर्ण ऑर्थोगोनैलिटी ( $\frac{\pi}{2}\sqrt{n}$ ) के सैद्धांतिक अधिकतम तक पहुँचने वाली दूरी पूर्ण अलगाव को दर्शाती है।

3. नियंत्रित रूटिंग प्रयोग (Controlled Routing Experiments)

ट्रेनिंग डायनेमिक्स से रूटिंग मैकेनिज्म के प्रभाव को अलग करने के लिए, लेखक फिक्स्ड एक्सपर्ट पैरामीटर्स वाले एक नियंत्रित 3-लेयर मॉडल पर दो व्यवस्थाओं की तुलना करते हैं:

Top-k Routing: स्पार्स (sparse), डिस्क्रीट चयन।
Fully-Soft Routing: डेंस (dense), कंटीन्यूअस मिश्रण।

मुख्य परिणाम (Key Results)

1. संरचनात्मक विषमता: फंक्शनल डिकोरिलेशन बनाम रिप्रेजेंटेशन ओवरलैप (Structural Asymmetry: Functional Decorrelation vs. Representation Overlap)

प्रीट्रेन्ड MoE ट्रांसफॉर्मर्स (Mistral-8x7B और Qwen1.5-MoE-A2.7B) में, लेखक एक सुसंगत संरचनात्मक विषमता देखते हैं:

मजबूत फंक्शनल डिकोरिलेशन: क्रॉस-एक्सपर्ट जैकोबियन अलाइनमेंट लगातार शून्य के करीब है (औसत $\approx$ 0.000–0.068)। यह इंगित करता है कि विशेषज्ञ रेडंडेंट नहीं हैं; वे विशिष्ट स्थानीय रूपांतरण लागू करते हैं।
आंशिक रिप्रेजेंटेशन ओवरलैप: फंक्शनल डिकोरिलेशन के बावजूद, रूटेड रिप्रेजेंटेशन विशिष्ट लेकिन आंशिक रूप से ओवरलैपिंग सबस्पेस घेरते हैं। ग्रासमैनियन दूरियां पर्याप्त हैं (अलगाव का संकेत देती हैं) लेकिन पूर्ण ऑर्थोगोनैलिटी के सैद्धांतिक अधिकतम से काफी नीचे रहती हैं।
निष्कर्ष: फंक्शनल डिकोरिलेशन और रिप्रेजेंटेशन ओवरलैप सह-अस्तित्व में हैं। विशेषज्ञ एक साझा मैनिफोल्ड पर ओवरलैपिंग रेजीम के ऊपर स्थानीय रूप से डिकोरिलेटेड ऑपरेटर्स के रूप में कार्य करते हैं, न कि इनपुट स्पेस को विच्छेदित क्लस्टर्स में विभाजित करते हैं।

2. रूटिंग स्पर्सिटी एक ज्यामितीय कंट्रोल नॉब के रूप में (Routing Sparsity as a Geometric Control Knob)

नियंत्रित प्रयोगों से पता चलता है कि रूटिंग शार्पनेस सीधे इस ज्यामिति को आकार देती है:

Top-k Routing: तीव्र फंक्शनल सेपरेशन (कम जैकोबियन अलाइनमेंट) और बड़े ग्रासमैनियन डिस्टेंस (अधिक सबस्पेस डाइवर्जेंस) को प्रेरित करता है।
Fully-Soft Routing: उलझे हुए (entangled) एक्सपर्ट स्ट्रक्चर प्रदान करता है जिसमें उच्च जैकोबियन अलाइनमेंट (रेडंडेंट मैपिंग की ओर झुकाव का संकेत) और कोलैप्स्ड ग्रासमैनियन डिस्टेंस (उच्च सबस्पेस ओवरलैप) होता है।
निहितार्थ: रूटिंग स्पर्सिटी विशेषज्ञता को लागू करने के लिए एक प्रमुख कारक है।

3. डेंस लेयर्स के साथ तुलना (Comparison with Dense Layers)

MoE विशेषज्ञ अपने वेरिएंस स्पेक्ट्रा में डेंस फीडफॉरवर्ड लेयर्स की तुलना में अधिक तीव्र आइजनवैल्यू डिके (eigenvalue decay) प्रदर्शित करते हैं। पहले कुछ प्रिंसिपल कंपोनेंट्स विशेषज्ञों में वेरिएंस का एक काफी अधिक प्रतिशत कैप्चर करते हैं, जो यह सुझाव देता है कि रूटिंग टोकन को लो-डायमेंशनल, अधिक फोकस्ड सबस्पेस में केंद्रित करती है।

4. क्रॉस-मॉडल निरंतरता (Cross-Model Consistency)

देखी गई ज्यामितीय पैटर्न (कम जैकोबियन अलाइनमेंट + उच्च लेकिन सब-मैक्सिमल ग्रासमैन सेपरेशन) विभिन्न मॉडलों (Mistral, Qwen), लेयर्स (अर्ली, मिडिल, लेट), और डेटासेट्स में सुसंगत हैं, जो यह सुझाव देते हैं कि यह विशिष्ट ट्रेनिंग रन का आर्टिफैक्ट नहीं बल्कि MoE आर्किटेक्चर का एक मजबूत गुण है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह आधुनिक ट्रांसफॉर्मर आर्किटेक्चर में कंडीशनल कंप्यूटेशन का अध्ययन करने के लिए एक सामान्य डायग्नोस्टिक फ्रेमवर्क प्रदान करता है। इसके प्राथमिक योगदान हैं:

एकीकृत डायग्नोस्टिक टूल: यह केवल रूटिंग सांख्यिकी या एक्टिवेशन पैटर्न से परे विशेषज्ञ विशेषज्ञता का विश्लेषण करने के लिए एक व्यवस्थित तरीका प्रदान करता है, जो फंक्शन स्पेस और रिप्रेजेंटेशन स्पेस दोनों को संयुक्त रूप से चरित्रित करता है।
MoE की ज्यामितीय व्याख्या: परिणाम इस दृष्टिकोण का समर्थन करते हैं कि MoE लेयर्स एक साझा रिप्रेजेंटेशन मैनिफोल्ड के सॉफ्ट पार्टीशनिंग को लागू करती हैं। विशेषज्ञ कार्यात्मक रूप से भिन्न हैं लेकिन ओवरलैपिंग सब-मैनिफोल्ड्स पर कार्य करते हैं।
मैकेनिस्टिक अंतर्दृष्टि: अध्ययन यह पहचानता है कि रूटिंग शार्पनेस (स्पर्सिटी) विशेषज्ञता की डिग्री के लिए एक सीधा नियंत्रण तंत्र है, जो आर्किटेक्चरल डिजाइन चॉइस को मापने योग्य ज्यामितीय संरचनाओं से जोड़ता है।
मॉडल डिज़ाइन के लिए निहितार्थ: लेखक सुझाव देते हैं कि केवल रिप्रेजेंटेशन सिमिलरिटी (जैसे एक्टिवेशन ओवरलैप) के आधार पर विशेषज्ञ मर्जिंग या प्रूनिंग की रणनीतियां त्रुटिपूर्ण हो सकती हैं। क्योंकि विशेषज्ञ ओवरलैपिंग रिप्रेजेंटेशन के साथ अलग कार्य कर सकते हैं, इसलिए वास्तविक रेडंडेंसी को सही ढंग से पहचानने के लिए फंक्शनल मेट्रिक्स (जैसे जैकोबियन अलाइनमेंट) की आवश्यकता हो सकती है।

पेपर एक विनम्र दायरे को बनाए रखता है, यह स्वीकार करते हुए कि इसका विश्लेषण स्थानीय (प्रथम-क्रम जैकोबियन) और रैखिक (PCA) है, और यह वैश्विक गैर-रैखिक व्यवहार या प्रशिक्षण के दौरान ज्यामिति के विकास को कैप्चर नहीं करता है। हालांकि, यह स्थापित करता है कि MoE मॉडल गणना को कैसे व्यवस्थित करते हैं, इस पर एक मौलिक ज्यामितीय दृष्टिकोण।