🤖 machine learning

Sparsity is Combinatorial Depth: Quantifying MoE Expressivity via Tropical Geometry

यह शोध पत्र यह स्थापित करता है कि मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर में स्पर्सिटी (sparsity), ट्रॉपिकल ज्योमेट्री (tropical geometry) का लाभ उठाते हुए 'कॉम्बिनेटोरियल डेप्थ' (combinatorial depth) के रूप में कार्य करती है, जिससे यह सिद्ध होता है कि टॉप- $k$ रूटिंग इनपुट स्पेस को हाइपरसिम्प्लेक्स नॉर्मल फैन्स (hypersimplex normal fans) में विभाजित करती है, जिसके परिणामस्वरूप MoE मॉडल घने (dense) नेटवर्क की तुलना में बेहतर ज्यामितीय अभिव्यक्तता (geometric expressivity) और कम-आयामी डेटा पर क्षमता पतन (capacity collapse) के विरुद्ध "कॉम्बिनेटोरियल रेजिलिएंस" (combinatorial resilience) प्राप्त करते हैं।

मूल लेखक: Ye Su, Huayi Tang, Zixuan Gong, Yong Liu

प्रकाशित 2026-05-07

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ye Su, Huayi Tang, Zixuan Gong, Yong Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Sparsity is Combinatorial Depth" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ अनुवाद दिया गया है।

मुख्य विचार: "सब कुछ करने" से बेहतर है "चुनना"

कल्पना कीजिए कि आप एक विशाल पहेली (puzzle) को हल करने की कोशिश कर रहे हैं।

पुराना तरीका (Dense Networks): आपके पास कामगारों की एक विशाल टीम है। जब भी कोई नया पहेली का टुकड़ा आता है, टीम का हर एक सदस्य उसे उठाता है और फिट करने की कोशिश करता है। यह महंगा और धीमा है, लेकिन वे काम पूरा कर देते हैं।
नया तरीका (MoE - Mixture of Experts): आपके पास विशेषज्ञों (specialists) की एक बड़ी टीम है, लेकिन हर पहेली के टुकड़े के लिए, आप केवल दो या तीन लोगों को उसे देखने की अनुमति देते हैं। बाकी टीम घर चली जाती है। इससे ऊर्जा (कंप्यूटिंग पावर) की बचत होती है।

रहस्य: सामान्य ज्ञान कहता है कि यदि आप कम लोगों का उपयोग करते हैं, तो आप कम बुद्धिमान होने चाहिए। यदि आप 100 के बजाय केवल 2 लोगों को पहेली पर काम करने देते हैं, तो क्या पहेली को हल करना कठिन नहीं होना चाहिए? फिर भी, AI में, ये "स्पार्स" (sparse) टीमें (MoE) वास्तव में "डेंस" (dense) टीमों की तुलना में अधिक बुद्धिमान और अभिव्यंजक (expressive) होती हैं, भले ही वे प्रत्येक चरण में कम काम करती हैं।

यह पेपर पूछता है: केवल कुछ विशेषज्ञों को चुनने से AI अधिक स्मार्ट कैसे बनता है?

गुप्त हथियार: ट्रॉपिकल ज्योमेट्री (विकल्पों का "मानचित्र")

लेखक इस समस्या को हल करने के लिए ट्रॉपिकल ज्योमेट्री (Tropical Geometry) नामक गणित की एक शाखा का उपयोग करते हैं। इस गणित को संख्याओं के रूप में नहीं, बल्कि विकल्पों के मानचित्र (maps of choices) बनाने के तरीके के रूप में सोचें।

एक मानक AI में, "मानचित्र" केवल रेखाओं का एक ग्रिड होता है। एक "मिशचर ऑफ एक्सपर्ट्स" (MoE) में, राउटर (वह व्यक्ति जो निर्णय लेता है कि कौन काम करेगा) एक बहुत अधिक जटिल मानचित्र बनाता है।

उपमा: "हाइपरसिम्प्लेक्स" (Hypersimplex) और "पंखे" (Fan) का रूपक

कल्पना कीजिए कि इनपुट डेटा (पहेली का टुकड़ा) एक कमरे में एक बिंदु है।

Dense Network: कमरा कुछ सपाट दीवारों द्वारा विभाजित है। आप केवल कुछ बड़े कमरों में से एक में हो सकते हैं।
MoE Router: राउटर केवल दीवारें नहीं खींचता; वह कई पतली परतों से बना एक विशाल, जटिल पंखा (fan) बनाता है।

पेपर यह सिद्ध करता है कि राउटर द्वारा "Top-k" (सर्वश्रेष्ठ कुछ) विशेषज्ञों को चुनने की क्रिया गणितीय रूप से एक विशिष्ट आकार के समान है जिसे हाइपरसिम्प्लेक्स (Hypersimplex) कहा जाता है।

जादुई संख्या: यदि आपके पास $N$ विशेषज्ञ हैं और आप उनमें से $k$ को चुनते हैं, तो आप जितने "टीमों" का निर्माण कर सकते हैं, उनकी संख्या बहुत बड़ी है (इसे बाइनोमियल कोएफिशिएंट, $\binom{N}{k}$ के रूप में गणना की जाती है)।
परिणाम: राउटर कमरे को $N$ टुकड़ों में नहीं बांटता। यह कमरे को हजारों छोटे, अद्वितीय क्षेत्रों (zones) में विभाजित करता है, जहाँ प्रत्येक क्षेत्र विशेषज्ञों के एक विशिष्ट संयोजन (combination) के मिलकर काम करने से संबंधित है।

निष्कर्ष: स्पर्सिटी (Sparsity) केवल "कम करना" नहीं है। यह कॉम्बिनेटोरियल डेप्थ (Combinatorial Depth) है। AI को यह चुनने के लिए मजबूर करके कि कौन से विशेषज्ञ काम करेंगे, AI संभावनाओं का एक बहुत अधिक जटिल मानचित्र बनाता है, जो उससे कहीं अधिक है जितना कि तब होता जब सभी समय भी काम करते। यह एक ऐसी लाइब्रेरी की तरह है जहाँ आप केवल एक किताब नहीं पढ़ते; बल्कि एक साथ 3 किताबें चुनने की क्रिया एक नई, अनूठी कहानी बनाती है जिसे कोई भी अकेली किताब नहीं बता सकती थी।

"मैनिफ़ोल्ड" (Manifold) की समस्या: वास्तविक डेटा पर डेंस नेटवर्क क्यों विफल होते हैं

वास्तविक दुनिया का डेटा (जैसे बिल्लियों की तस्वीरें या वाक्य) पूरे ब्रह्मांड को नहीं भरता है। यह एक विशाल, खाली कमरे के भीतर एक बहुत छोटी, पतली "शीट" (manifold) पर रहता है।

The Dense Network Trap: कल्पना कीजिए कि एक डेंस नेटवर्क एक विशाल कमरे को कुछ दीवारों के साथ काटने की कोशिश कर रहा है। यदि डेटा केवल बीच में तैरती हुई एक पतली शीट है, तो दीवारें शीट को पूरी तरह से मिस कर सकती हैं या उसे केवल छूकर निकल सकती हैं। नेटवर्क की "जटिलता" ढह जाती है क्योंकि यह डेटा को खोजने में असमर्थ होता है जिसे काटा जा सके।
The MoE Superpower: क्योंकि MoE राउटर बहुत सारे छोटे, विशिष्ट क्षेत्र बनाता है (combinatorial depth), इसकी बहुत अधिक संभावना है कि डेटा की "शीट" कई अलग-अलग क्षेत्रों से गुजरेगी। भले ही डेटा पतला हो, MoE का जटिल मानचित्र यह सुनिश्चित करता है कि इसे कई दिलचस्प तरीकों से काटा जाए।
शब्द: लेखक इसे कॉम्बिनेटोरियल रेजिलिएंस (Combinatorial Resilience) कहते हैं। MoE आर्किटेक्चर मजबूत है; यह अपनी "बुद्धिमत्ता" बनाए रखता है भले ही डेटा छोटा और पतला हो, जबकि डेंस नेटवर्क अपनी शक्ति खो देते हैं।

सर्वश्रेष्ठ AI बनाने के नियम (आर्किटेक्चरल कानून)

यह पेपर केवल यह नहीं बताता कि यह क्यों काम करता है; यह हमें बताता है कि इसका अधिकतम लाभ उठाने के लिए इसे कैसे बनाया जाए।

1. "फाइन-ग्रेन्ड" नियम (अधिक छोटे विशेषज्ञ)

क्या आपके पास 10 विशाल विशेषज्ञ होने चाहिए या 1,000 छोटे विशेषज्ञ?

निष्कर्ष: आपके पास कई छोटे विशेषज्ञ होने चाहिए।
उपमा: कल्पना कीजिए कि आप एक केक काट रहे हैं। यदि आपके पास 10 बड़े चाकू हैं, तो आपको 10 स्लाइस मिलेंगे। यदि आपके पास 1,000 छोटे चाकू हैं और आप एक बार में केवल 2 का उपयोग करते हैं, तो उन 2 चाकुओं के संयोजन से कटाई का एक बहुत ही जटिल पैटर्न बनता है।
सीमा: विशेषज्ञ बहुत अधिक छोटे नहीं हो सकते। यदि वे बहुत छोटे हैं, तो वे डेटा को "देख" नहीं पाएंगे (जैसे कागज के टुकड़े को ऐसे चाकू से काटने की कोशिश करना जो कागज से भी छोटा हो)। एक "क्रिटिकल साइज" की सीमा है, लेकिन सामान्य तौर पर, अधिक छोटे विशेषज्ञ = अधिक शक्ति।

2. "शेयर्ड एक्सपर्ट" नियम (एंकर/आधार)

आधुनिक AI मॉडल (जैसे DeepSeek या Mixtral) में एक "शेयर्ड एक्सपर्ट" क्यों होता है जिसे सभी उपयोग करते हैं, साथ ही विशेष (special) विशेषज्ञ भी होते हैं?

समस्या (Angular Collapse): कल्पना कीजिए कि डेटा बिंदुओं का एक बादल है जो कमरे के एक तरफ बहुत अधिक झुका हुआ है (केंद्रित नहीं है)। राउटर का विकल्पों का "पंख" (fan) कोणों (angles) पर आधारित है। यदि डेटा एक कोने में है, तो राउटर भ्रमित हो सकता है और इनपुट कुछ भी हो, हर बार एक ही 2 विशेषज्ञों को चुन सकता है। "पंख" काम करना बंद कर देता है; विकल्प उबाऊ और स्थिर हो जाते हैं।
समाधान: शेयर्ड एक्सपर्ट (Shared Expert) एक एंकर (Anchor) या बेस लेयर के रूप में कार्य करता है। यह औसत डेटा (bias) का "भारी काम" संभालता है।
परिणाम: शेयर्ड एक्सपर्ट को "औसत" चीजों को संभालने देने से, विशेष विशेषज्ञ अद्वितीय अंतरों को संभालने के लिए स्वतंत्र हो जाते हैं। यह समस्या को "सेंटर" करता है, जिससे राउटर वास्तव में दिलचस्प विकल्प बनाने में सक्षम होता है। इस एंकर के बिना, सिस्टम एक उबाऊ, गैर-स्मार्ट स्थिति में ढह जाता है।

सारांश

यह पेपर प्रकट करता है कि स्पर्सिटी (Sparsity) केवल एक शॉर्टकट नहीं है; यह एक सुपरपावर है।

चुनना जटिल है: कुछ विशेषज्ञों को चुनने की क्रिया संभावनाओं का एक विशाल, जटिल मानचित्र (Combinatorial Depth) बनाती है जिसे डेंस नेटवर्क मैच नहीं कर सकते।
रेजिलिएंस (Resilience): यह जटिलता MoE मॉडल्स को तब भी स्मार्ट बनाए रखती है जब डेटा छोटा और पतला होता है, जहाँ अन्य मॉडल विफल हो जाते हैं।
डिजाइन नियम: अधिकतम शक्ति प्राप्त करने के लिए, कई छोटे विशेषज्ञों (fine-grained) का उपयोग करें और सिस्टम को एक ही ढर्रे में फंसने से बचाने के लिए एक शेयर्ड एक्सपर्ट शामिल करें।

लेखकों ने अनिवार्य रूप से उस गणितीय "ब्लूप्रिंट" को खोज लिया है कि क्यों नवीनतम, सबसे शक्तिशाली AI मॉडल उसी तरह से बनाए गए हैं जैसे वे हैं।

तकनीकी सारांश: स्पर्सिटी (Sparsity) एक कॉम्बिनेटोरियल डेप्थ है: ट्रॉपिकल ज्योमेट्री के माध्यम से MoE एक्सप्रेसिविटी का परिमाणीकरण

समस्या विवरण (Problem Statement)

मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर, कुल पैरामीटर संख्या को प्रति-इनपुट कंप्यूटेशन (कंडीशनल कंप्यूटेशन) से अलग करके न्यूरल नेटवर्क को स्केल करने के लिए मानक बन गए हैं। हालाँकि, उनकी एक्सप्रेसिविटी (expressivity) के संबंध में एक सैद्धांतिक अंतराल मौजूद है। क्लासिकल लर्निंग थ्योरी यह सुझाव देती है कि सक्रिय पैरामीटर्स को कम करने से मॉडल की एक्सप्रेसिविटी सीमित हो जानी चाहिए, क्योंकि एक्सप्रेसिविटी पारंपरिक रूप से आर्किटेक्चरल विड्थ और डेप्थ से जुड़ी होती है। जबकि डेंस (dense) नेटवर्क का विश्लेषण एफ़ाइन हाइपरप्लेन अरेंजमेंट्स (affine hyperplane arrangements) का उपयोग करके किया जाता है, मौजूदा फ्रेमवर्क इनपुट-डिपेंडेंट रूटिंग के टोपोलॉजी को कैप्चर करने में विफल रहते हैं। विशेष रूप से, Top-k रूटिंग तंत्र एक डेटा-डिपेंडेंट डिस्क्रीट सॉर्टिंग ऑपरेशन है जो एक्सपर्ट डोमेन को स्थानीय, नॉन-कॉन्वेक्स पॉलीहेड्रल कोन्स (non-convex polyhedral cones) में डायनामिकली ट्रंकेट करता है। मानक ज्यामितीय गणना उपकरण (standard geometric counting tools) उन नेस्टेड असमानताओं (nested inequalities) के कॉम्बिनेटोरियल विस्फोट के सामने विफल हो जाते हैं जो इन कंडीशनल फ्रैगमेंट को ट्रैक करने के लिए आवश्यक हैं। फलस्वरूप, यह स्पष्ट नहीं है कि स्पर्स रूटिंग एक न्यूरल नेटवर्क की एक्सप्रेसिविटी को कम किए बिना उसे मात्रात्मक रूप से कैसे विस्तारित करती है।

कार्यप्रणाली (Methodology)

लेखक ट्रॉपिकल ज्योमेट्री (tropical geometry) के लेंस के माध्यम से MoE एक्सप्रेसिविटी का विश्लेषण करके इस अंतराल को संबोधित करते हैं, जो मैक्स-प्लस सेमिरिंग ( $\mathbb{R} \cup \{-\infty\}$ के साथ $\oplus = \max$ और $\otimes = +$ ऑपरेशंस) पर एक बीजगणितीय संरचना है। यह फ्रेमवर्क मैक्सिमाइजेशन, ऑर्डरिंग और पीसवाइज़-एफ़ाइन व्यवहार को मॉडल करने के लिए एक सटीक भाषा प्रदान करता है, जो Top-k रूटिंग के लिए अंतर्निहित हैं।

कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

बीजगणितीय सूत्रीकरण (Algebraic Formulation): पेपर यह स्थापित करता है कि Top-k रूटिंग तंत्र $k$ -वें एलिमेंटरी सिमेट्रिक ट्रॉपिकल पॉलीनोमियल के बीजगणितीय रूप से आइसोमोर्फिक (isomorphic) है। राउटर के निर्णय सीमाओं (decision boundaries) को एक हाइपरसिम्पलेक्स के नॉर्मल फैन ( $\Delta_{k,N}$ ) के रूप में मैप किया गया है, जो ट्रॉपिकल ग्रास्मानियन से संबंधित एक ज्यामितीय वस्तु है।
क्षमता व्युत्पत्ति (Capacity Derivation): हाइपरप्लेन अरेंजमेंट के सिद्धांत (विशेष रूप से ज़ास्लाव्स्की के प्रमेय) का उपयोग करते हुए, लेखक MoE नेटवर्क द्वारा प्रेरित रैखिक क्षेत्रों (linear regions) की ऊपरी और निचली सीमाओं को व्युत्पन्न करते हैं। वे "एम्बिएंट कैपेसिटी" (पूर्ण इनपुट स्पेस में) और "इफेक्टिव कैपेसिटी" (लो-डायमेंशनल डेटा मैनिफोल्ड तक सीमित) के बीच अंतर करते हैं।
आर्किटेक्चरल ऑप्टिमाइज़ेशन (Architectural Optimization): इन सैद्धांतिक सीमाओं को निर्देशात्मक डिज़ाइन सिद्धांतों में अनुवादित किया गया है। लेखक इष्टतम एक्सपर्ट ग्रेनुलैरिटी (granularity) निर्धारित करने के लिए एक ऑप्टिमाइज़ेशन समस्या को फॉर्म्युलेट करते हैं और ज्यामितीय विफलता मोड का विश्लेषण करते हैं, विशेष रूप से "एंगुलर कोलैप्स" (Angular Collapse), जहाँ अनसेंटर्ड डेटा के कारण रूटिंग निर्णय स्थानीय रूप से स्थिर हो जाते हैं।

मुख्य योगदान (Key Contributions)

1. रूटिंग का ट्रॉपिकल आइसोमोर्फिज्म (Tropical Isomorphism of Routing)

पेपर $k$ -वें एलिमेंटरी सिमेट्रिक ट्रॉपिकल पॉलीनोमियल के साथ Top-k रूटिंग के बीच पहला बीजगणितीय आइसोमोर्फिज्म स्थापित करता है। यह प्रकट करता है कि रूटिंग तंत्र इनपुट स्पेस को हाइपरसिम्पलेक्स के नॉर्मल फैन में विभाजित करता है। यह ज्यामितीय लक्षण वर्णन सिद्ध करता है कि स्पर्सिटी एक कॉम्बिनेटोरियल डेप्थ है: रूटिंग तंत्र $\binom{N}{k}$ के द्विपद गुणांक (binomial coefficient) के माध्यम से ज्यामितीय क्षमता को स्केल करता है, जो प्रभावी रूप से डेंस विड्थ की पॉलीनोमियल स्केलिंग सीमाओं को बायपास करता है।

2. कॉम्बिनेटोरियल स्लाइसिंग थ्योरम (The Combinatorial Slicing Theorem)

लेखक MoE नेटवर्क के लिए रैखिक क्षेत्रों की मैचिंग अपर और लोअर बाउंड्स व्युत्पन्न करते हैं। वे सिद्ध करते हैं कि ज्यामितीय क्षमता इस प्रकार स्केल करती है:
$\Theta\left( \binom{N}{k} (kH)^{d_{in}} \right)$
जहाँ $N$ कुल विशेषज्ञों की संख्या है, $k$ सक्रिय विशेषज्ञों की संख्या है, $H$ विशेषज्ञ की चौड़ाई (expert width) है, और $d_{in}$ इनपुट डाइमेंशन है। यह MoE आर्किटेक्चर के लिए पहली टाइट एक्सप्रेसिविटी बाउंड स्थापित करता है, जो यह दर्शाता है कि कॉम्बिनेटोरियल टर्म $\binom{N}{k}$ एक ज्यामितीय मल्टीप्लायर के रूप में कार्य करता है।

3. मैनिफोल्ड्स पर कॉम्बिनेटोरियल रेजिलिएंस (Combinatorial Resilience on Manifolds)

मैनिफ़ोल्ड हाइपोथेसिस (जहाँ डेटा एक लो-डायमेंशनल मैनिफोल्ड पर स्थित है जिसकी आंतरिक विमा $d_{eff} \ll d_{in}$ है) के तहत, पेपर सिद्ध करता है कि डेंस नेटवर्क ज्यामितीय क्षमता पतन (geometric capacity collapse) का शिकार होते हैं, जहाँ प्रभावी क्षमता केवल $O(H^{d_{eff}})$ के रूप में स्केल होती है। इसके विपरीत, MoE आर्किटेक्चर कॉम्बिनेटोरियल रेजिलिएंस प्रदर्शित करते हैं। रूटिंग कोन्स की ट्रांसवर्सलिटी (transversality) के माध्यम से रूटिंग से प्राप्त कॉम्बिनेटोरियल लाभ मैनिफोल्ड पर बना रहता है, जिससे उच्च एक्सप्रेसिविटी बनी रहती है। MoE और डेंस नेटवर्क के बीच प्रभावी क्षमता अनुपात $O\left(\binom{N}{k} k^{d_{eff}}\right)$ के रूप में स्केल होता है।

4. इष्टतम स्पर्सिटी के लिए आर्किटेक्चरल लॉज़ (Architectural Laws for Optimal Sparsity)

सैद्धांतिक निष्कर्षों को डिज़ाइन सिद्धांतों में अनुवादित करते हुए, पेपर व्युत्पन्न करता है:

फाइन-ग्रेन्ड एक्सपर्ट्स (Fine-Grained Experts): विशेषज्ञों को महीन ग्रेनुलैरिटी में विभाजित करना (N को बढ़ाते हुए और H को घटाते हुए) क्षमता में सुपर-लीनियर लाभ देता है, बशर्ते कि विशेषज्ञ की चौड़ाई एक महत्वपूर्ण सीमा ( $H \geq d_{eff}$ ) से ऊपर रहे ताकि ट्रॉपिकल रैंक डेफिशिएंसी (Tropical Rank Deficiency) को रोका जा सके।
एफ़ाइन रेक्टिफायर के रूप में शेयर्ड एक्सपर्ट्स (Shared Experts as Affine Rectifiers): पेपर एंगुलर कोलैप्स को एक ज्यामितीय विफलता मोड के रूप में पहचानता है जहाँ अनसेंटर्ड डेटा राउटर को सैचुरेट कर देता है, जिससे विशेषज्ञों का एक निश्चित समूह चुना जाता है। यह सिद्ध करता है कि शेयर्ड एक्सपर्ट्स "एफ़ाइन रेक्टिफायर" के रूप में कार्य करने के लिए ज्यामितीय रूप से आवश्यक हैं। ग्लोबल एफ़ाइन कैरियर (मीन बायस) को रूटेड रेसिडुअल से अलग करके, शेयर्ड एक्सपर्ट्स डेटा मैनिफोल्ड को राउटर के प्रोजेक्टिव कोन्स के सापेक्ष केंद्रित करते हैं, जिससे रूटिंग कोलैप्स को रोका जा सकता है और यह सुनिश्चित किया जा सकता है कि निर्णय सीमाएँ (decision boundaries) उच्च-वैरिएंस वाले डेटा क्षेत्रों को काटें।

परिणाम (Results)

आइसो-कंप्यूट तुलना (Iso-Compute Comparison): समान सक्रिय पैरामीटर्स (FLOPs) के सख्त प्रतिबंध के तहत, एक Top-4 MoE मॉडल (16 में से 4 विशेषज्ञों का चयन करना) एक डेंस बेसलाइन की तुलना में 1820 $\times$ का क्षमता मल्टीप्लायर प्राप्त करता है, जबकि एक Top-1 MoE केवल 16 $\times$ का लीनियर एक्सपेंशन प्राप्त करता है।
स्केलिंग लॉज़ (Scaling Laws): क्षमता की ऊपरी सीमा ग्रेनुलैरिटी ट्रांसफॉर्मेशन के तहत $N$ में $(m-1)k$ की डिग्री के साथ पॉलीनोमियल ग्रोथ प्रदर्शित करती है, जहाँ कॉम्बिनेटोरियल लाभ लॉगरिदमिक विड्थ पेनल्टी पर हावी होता है, बशर्ते कि आंतरिक विमा $d_{eff}$ कम हो।
ज्यामितीय विफलता मोड (Geometric Failure Modes): विश्लेषण यह मात्रात्मक रूप से बताता है कि अनसेंटर्ड डेटा यूनिट स्फीयर पर वैनिशिंग सॉलिड एंगल की ओर कैसे ले जाता है, जिससे राउटर "ट्रॉपिकल सैचुरेशन" की स्थिति में चला जाता है जहाँ रूटिंग निर्णय स्थानीय रूप से स्थिर हो जाते हैं, जिससे कॉम्बिनेटोरियल क्षमता अप्राप्य हो जाती है।

महत्व (Significance)

पेपर का दावा है कि यह पहला सैद्धांतिक ढांचा प्रदान करता है जो यह समझाता है कि क्यों MoE आर्किटेक्चर में स्पार्स कंडीशनल कंप्यूटेशन, सीमित होने के बजाय एक्सप्रेसिव रूप से कुशल है। स्पर्सिटी को ट्रॉपिकल ज्योमेट्री के माध्यम से कॉम्बिनेटोरियल डेप्थ के रूप में पुनर्गठित करके, यह कार्य:

स्पर्स रूटिंग और उच्च एक्सप्रेसिविटी के बीच के तनाव को हल करता है, यह दिखाते हुए कि रूटिंग तंत्र स्वयं पैरामीटर संख्या से स्वतंत्र होकर एक स्तर की टोपोलॉजिकल जटिलता जोड़ता है।
अत्याधुनिक आर्किटेक्चर (जैसे DeepSeek-MoE, Mixtral) के डिज़ाइन विकल्पों के लिए एक कठोर ज्यामितीय औचित्य प्रदान करता है, विशेष रूप से फाइन-ग्रेन्ड एक्सपर्ट्स और शेयर्ड एक्सपर्ट्स के समावेश की ओर।
यह स्थापित करता है कि MoE की कॉम्बिनेटोरियल रेजिलिएंस इसे लो-डायमेंशनल डेटा मैनिफोल्ड पर उच्च एक्सप्रेसिविटी बनाए रखने की अनुमति देती है जहाँ डेंस नेटवर्क क्षमता पतन का सामना करते हैं।

लेखक इस कार्य को केवल एक वर्णनात्मक विश्लेषण के रूप में नहीं, बल्कि कंडीशनल कंप्यूटेशन को समझने के लिए एक बीजगणितीय आवश्यकता के रूप में प्रस्तुत करते हैं, जो ज्यामितीय सिद्धांतों के आधार पर भविष्य के आर्किटेक्चरल ऑप्टिमाइज़ेशन के लिए एक आधार प्रदान करता है।