📊 statistics

Revisiting Incremental Stochastic Majorization-Minimization Algorithms with Applications to Mixture of Experts

यह शोध पत्र एक वृद्धिशील स्टोकेस्टिक मेजरइज़ेशन-मिनिमाइज़ेशन (Majorization-Minimization) एल्गोरिदम प्रस्तुत करता है और सैद्धांतिक रूप से मान्य करता है जो स्पष्ट लेटेंट वेरिएबल्स के बिना उच्च-मात्रा वाले स्ट्रीमिंग डेटा को संभालने के लिए स्टोकेस्टिक EM का सामान्यीकरण करता है, जो सिंथेटिक और वास्तविक दुनिया के विशेषज्ञों के मिश्रण (mixture of experts) प्रतिगमन कार्यों पर मानक ऑप्टिमाइज़र्स की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: TrungKhang Tran, TrungTin Nguyen, Gersende Fort, Tung Doan, Hien Duy Nguyen, Binh T. Nguyen, Florence Forbes, Christopher Drovandi

प्रकाशित 2026-01-28

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: TrungKhang Tran, TrungTin Nguyen, Gersende Fort, Tung Doan, Hien Duy Nguyen, Binh T. Nguyen, Florence Forbes, Christopher Drovandi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े अराजक (chaotic) रोबोट को भविष्य की भविष्यवाणी करना सिखाने की कोशिश कर रहे हैं। डेटा का प्रवाह इतना विशाल है कि आप उसे एक साथ नहीं देख सकते; यह एक आग उगलते पाइप (firehose) से पानी पीने की कोशिश करने जैसा है। यह स्ट्रीमिंग डेटा (streaming data) की दुनिया है, जहाँ जानकारी एक-एक बूंद करके आती है, और पारंपरिक तरीके जिनमें निर्णय लेने से पहले पूरे डेटा की समीक्षा करने के लिए रुकना आवश्यक होता है, वे बहुत धीमे या असंभव हैं।

यह शोध पत्र इस रोबोट को सीखने का एक नया, स्मार्ट तरीका पेश करता है, जिसे इन्क्रीमेंटल स्टोकेस्टिक मेजरेशन-मिनिमाइजेशन (MM) एल्गोरिदम कहा जाता है। यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ समझाया गया है:

1. समस्या: "मिक्सचर ऑफ एक्सपर्ट्स" (Mixture of Experts)

यह शोध पत्र एक विशिष्ट प्रकार के मॉडल पर ध्यान केंद्रित करता है जिसे मिक्सचर ऑफ एक्सपर्ट्स (MoE) कहा जाता है।

सादृश्य (Analogy): एक अस्पताल की कल्पना करें जिसमें कई अलग-अलग डॉक्टर (विशेषज्ञ/experts) हैं। कुछ हृदय संबंधी समस्याओं के लिए बेहतरीन हैं, कुछ त्वचा की स्थितियों के लिए, और अन्य हड्डियों के फ्रैक्चर के लिए।
गेटकीपर (Gatekeeper): एक ट्राइएज नर्स (गेटिंग नेटवर्क) भी है जो रोगी के लक्षणों को देखती है और तय करती है कि उस विशिष्ट व्यक्ति के लिए सबसे उपयुक्त डॉक्टर कौन सा है।
लक्ष्य: रोबोट को दो चीजें एक साथ सीखनी हैं:
1. एक आदर्श ट्राइएज नर्स कैसे बनें (यह जानना कि किस विशेषज्ञ को चुनना है)।
2. एक आदर्श विशेषज्ञ कैसे बनें (यह जानना कि रोगी का इलाज कैसे करना है)।

चुनौती यह है कि डेटा अव्यवस्थित, उच्च-मात्रा वाला है, और एक स्ट्रीम के रूप में आता है। रोबोट सभी रोगियों को देखने का इंतज़ार नहीं कर सकता; उसे चलते-चलते सीखना होगा।

2. पुराना तरीका बनाम नया तरीका

पुराना तरीका (बैच लर्निंग): कल्पना करें कि रोबोट दिन के अंत तक प्रतीक्षा करता है, प्रत्येक रोगी का रिकॉर्ड एकत्र करता है, और फिर सर्वोत्तम नियम समझने की कोशिश करता है। यह धीमा है और इसके लिए एक विशाल मेमोरी बैंक की आवश्यकता होती है।
"स्टोकेस्टिक" तरीका (मानक): रोबोट एक रोगी को देखता है, एक अनुमान लगाता है, अपने मस्तिष्क को थोड़ा अपडेट करता है, और अगले रोगी पर आगे बढ़ जाता है। यह तेज़ है, लेकिन यह एक नशे में धुत व्यक्ति के घर जाने जैसा है; वे लड़खड़ा सकते हैं और एक बहुत ही लंबा, अक्षम रास्ता ले सकते हैं।
शोध पत्र का नया तरीका (इन्क्रीमेंटल स्टोकेस्टिक MM): यही इस शोध पत्र का मुख्य योगदान है। यह एक जीपीएस (GPS) के साथ "सुरक्षा जाल" (safety net) देने जैसा है।
- मेजरेशन-मिनिमाइजेशन (MM): पहेली के सबसे कठिन हिस्से को सीधे हल करने की कोशिश करने के बजाय (जो एक ऊबड़-खाबड़, फिसलन भरे पहाड़ पर चढ़ने जैसा है), रोबोट एक चिकना, सुरक्षित रैंप (एक "सरोगेट") बनाता है जो उस पहाड़ के ऊपर स्थित होता है। वह जानता है कि यदि वह इस चिकने रैंप के नीचे की ओर चलता है, तो वह निश्चित रूप से ऊबड़-खाबड़ पहाड़ की तुलना में निचले स्तर पर होगा। फिर वह रैंप से नीचे की ओर फिसलता है, अपनी स्थिति को अपडेट करता है, और अगले कदम के लिए एक नया, और भी बेहतर रैंप बनाता है।
- "स्टोकेस्टिक" मोड़: क्योंकि डेटा स्ट्रीम हो रहा है, रोबोट हर बार पूर्ण रैंप नहीं बना सकता। इसके बजाय, वह अभी देखे गए एकल रोगी के आधार पर एक "काफी अच्छा" रैंप बनाता है, अपनी स्थिति को अपडेट करता है, और दोहराता है।

3. यह शोध पत्र क्यों विशेष है

लेखकों ने महसूस किया कि इस विशिष्ट प्रकार के "मिक्सचर ऑफ एक्सपर्ट्स" मॉडल (विशेष रूप से एक जो "सॉफ्टमैक्स" गेट का उपयोग करता है, जो एक बहुत ही परिष्कृत मतदान प्रणाली की तरह है) के लिए, अन्य एल्गोरिदम (जैसे मानक स्टोकेस्टिक ग्रेडिएंट डिसेंट या एडम) द्वारा उपयोग किए जाने वाले पुराने "सुरक्षा जाल" वाले तरीके अक्सर विफल हो जाते हैं। वे इसलिए टूट जाते हैं क्योंकि गणितीय परिदृश्य बहुत ऊबड़-खाबड़ और अप्रत्याशित होता है।

दावा: लेखकों ने गणितीय रूप से सिद्ध किया कि उनका नया "रैंप-बनाने" वाला तरीका स्थिर है। भले ही डेटा अव्यवस्थित हो और एक-एक करके आए, रोबोट अंततः एक अच्छे ठहराव बिंदु (एक स्टेशनरी पॉइंट) तक पहुँचने की गारंटी रखता है जहाँ वह और अधिक सुधार नहीं कर सकता।
"रिलैक्सेशन" (Relaxation): पुराने तरीकों के विपरीत, जो यह मांग करते थे कि डेटा सटीक, पूर्ण गणितीय बक्सों (जैसे "एक्सपोनेंशियल फैमिली") में फिट हो, यह नया तरीका लचीला है। यह उन सख्त नियमों को शिथिल करता है, जिससे यह मिक्सचर ऑफ एक्सपर्ट्स मॉडल की वास्तविक दुनिया की जटिलता को संभालने में सक्षम होता है जिनसे अन्य एल्गोरिदम संघर्ष करते हैं।

4. परिणाम: क्या यह काम करता है?

लेखकों ने अपने रोबोट का दो तरह से परीक्षण किया:

सिंथेटिक डेटा: उन्होंने नकली डेटा बनाया जहाँ उन्हें "सत्य" उत्तर पता था। उनकी विधि ने SGD, Adam, RMSProp, और Sophia जैसे लोकप्रिय प्रतिस्पर्धियों की तुलना में सही उत्तर को तेज़ी से और अधिक सटीकता से खोजा। यह ऐसा था जैसे जीपीएस रैंप वाला रोबोट अन्य लोगों की तुलना में कम चरणों में गंतव्य तक पहुँच गया।
वास्तविक दुनिया का डेटा: उन्होंने वास्तविक डेटासेट पर दो परीक्षण किए:
- मक्का आनुवंशिकी (Corn Genetics): प्रोटीन डेटा का उपयोग करके सूखा-प्रतिरोधी मक्का किस्मों का विश्लेषण करना।
- अपराध सांख्यिकी (Crime Statistics): सामुदायिक जनसांख्यिकी के आधार पर अपराध दरों की भविष्यवाणी करना।
  दोनों मामलों में, उनकी विधि ने आज के डेटा वैज्ञानिकों द्वारा उपयोग किए जाने वाले मानक उपकरणों की तुलना में अधिक स्थिर और सटीक भविष्यवाणियां कीं।

सारांश

इस शोध पत्र को एक ऐसे रोबोट के लिए एक नए, अधिक मजबूत प्रशिक्षण मैनुअल के रूप में समझें जो सूचना के कभी न खत्म होने वाले प्रवाह से सीखता है।

समस्या: जब डेटा स्ट्रीमिंग होता है, तो पुराने तरीके "मिक्सचर ऑफ एक्सपर्ट्स" मॉडल की जटिलता से भ्रमित हो जाते हैं।
समाधान: एक नया एल्गोरिदम जो डेटा के पहाड़ से नीचे उतरने के लिए रोबोट को निर्देशित करने हेतु अस्थायी, चिकने "रैंप" बनाता है।
लाभ: यह गणितीय रूप से स्थिर होने के लिए सिद्ध है और व्यवहार में, विशेष रूप से उन जटिल मॉडलों के लिए जो विभिन्न प्रकार के विशेषज्ञों को मिलाते हैं, यह वर्तमान शीर्ष-स्तरीय उपकरणों की तुलना में तेज़ी से और अधिक सटीकता से सीखता है।

यह शोध पत्र यह दावा नहीं करता है कि यह कोई चिकित्सा उपचार या विशिष्ट व्यावसायिक उपकरण है; यह केवल यह सिद्ध करता है कि यह नया गणितीय "इंजन" इन विशिष्ट प्रकार के जटिल AI मॉडलों को बड़े स्ट्रीमिंग डेटासेट पर प्रशिक्षित करने के लिए श्रेष्ठ है।

तकनीकी सारांश: मिक्सचर ऑफ एक्सपर्ट्स (Mixture of Experts) के अनुप्रयोगों के साथ इंक्रीमेंटल स्टोकेस्टिक मेजरेशन-मिनिमाइजेशन एल्गोरिदम का पुनरावलोकन

समस्या विवरण
उच्च-मात्रा वाले, स्ट्रीमिंग डेटा के प्रसंस्करण ने पारंपरिक बैच-मोड एल्गोरिदम को अव्यवहारिक बना दिया है क्योंकि उनके लिए पूर्ण डेटासेट पर बार-बार चक्कर लगाने की आवश्यकता होती है। जबकि इंक्रीमेंटल स्टोकेस्टिक एस्टीमेशन विधियाँ, जैसे कि इंक्रीमेंटल स्टोकेस्टिक एक्सपेक्टेशन-मैक्सिमाइजेशन (EM) एल्गोरिदम, इस समस्या को हल करने के लिए विकसित की गई हैं, वे अक्सर प्रतिबंधात्मक धारणाओं पर निर्भर करती हैं, विशेष रूप से लेटेंट वेरिएबल्स (latent variables) के स्पष्ट प्रतिनिधित्व और इस धारणा पर कि लक्षित मॉडल एक्सपोनेंशियल फैमिली (exponential family) से संबंधित है। ये बाधाएं सॉफ्टमैक्स-गेटेड मिक्सचर ऑफ एक्सपर्ट्स (Softmax-Gated Mixture of Experts - MoE) जैसे जटिल मॉडलों के लिए उनकी प्रयोज्यता को सीमित करती हैं, जहाँ ऑब्जेक्टिव फंक्शन (नेगेटिव लॉग प्रेडिक्टिव डेंसिटी) आम तौर पर एक्सपोनेंशियल फैमिली में नहीं होता है और इसमें लिप्सचिट्ज निरंतरता (Lipschitz continuity), $L$ -स्मूथनेस, या कॉनवेक्सिटी (convexity) जैसे वैश्विक नियमितता गुण नहीं होते हैं। फलस्वरूप, मौजूदा इंक्रीमेंटल स्टोकेस्टिक EM और MM वेरिएंट अक्सर सॉफ्टमैक्स-गेटेड MoE मॉडलों के लिए वैध सरोगेट (surrogate) प्रदान करने में विफल रहते हैं।

कार्यप्रणाली (Methodology)
लेखक इंक्रीमेंटल स्टोकेस्टिक वेरिएंट ऑफ द मेजरेशन-मिनिमाइजेशन (MM) एल्गोरिदम का पुनरावलोकन और विश्लेषण करते हैं, जिसे स्टोकेस्टिक एप्रोक्सिमेशन फ्रेमवर्क के भीतर तैयार किया गया है। मुख्य कार्यप्रणाली में शामिल है:

सामान्यीकृत MM फ्रेमवर्क: यह दृष्टिकोण लक्ष्य मॉडल के लिए एक्सपोनेंशियल फैमिली की आवश्यकता को शिथिल करता है। इसके बजाय, यह आवश्यक है कि मेजराइज़र सरोगेट (majorizer surrogate) फंक्शन एक एक्सपोनेंशियल फैमिली से संबंधित हो। एल्गोरिदम सरोगेट्स का एक अनुक्रम (sequence) बनाता है जो $g(\theta, z; \tau) = -\psi(\theta) + \langle \bar{S}(\tau; z), \phi(\theta) \rangle$ द्वारा परिभाषित है, जहाँ $\bar{S}$ एक सहायक सांख्यिकी (auxiliary statistic) है जिसे स्टोकेस्टिक एप्रोक्सिमेशन के माध्यम से अपडेट किया जाता है।
एल्गोरिद्मिक संरचना: प्रस्तावित इंक्रीमेंटल स्टोकेस्टिक MM एल्गोरिदम (एल्गोरिदम 1) एक सहायक सांख्यिकी अनुक्रम $\{s_n\}$ बनाए रखता है जिसे रिकर्सन $s_{n+1} = s_n + \gamma_{n+1}(\bar{S}(\bar{\theta}(s_n); z_{n+1}) - s_n)$ द्वारा अपडेट किया जाता है। पैरामीटर इटरेट $\theta_{n+1}$ को अपडेट किए गए सांख्यिकी के सापेक्ष सरोगेट फंक्शन को मिनिमाइज करके नियत रूप से प्राप्त किया जाता है: $\theta_{n+1} = \bar{\theta}(s_{n+1})$ ।
सॉफ्टमैक्स-गेटेड MoE पर अनुप्रयोग: इस विधि को विशेष रूप से सॉफ्टमैक्स-गेटेड MoE मॉडलों के दो वेरिएंट्स पर लागू किया गया है:
- कंटीन्यूअस आउटपुट (SGMoE): गेटिंग और मीन फंक्शन्स के लिए पॉलिनॉमियल रिग्रेशन के साथ गॉसियन एक्सपर्ट्स का उपयोग करना।
- डिस्क्रीट आउटपुट: पॉलिनॉमियल गेटिंग के साथ मल्टीनोमियल लॉजिस्टिक रिग्रेशन एक्सपर्ट्स का उपयोग करना।
  इन मॉडलों के लिए, लेखक विशिष्ट एक्सपोनेंशियल फैमिली मेजराइज़र सरोगेट्स व्युत्पन्न करते हैं जो ऑब्जेक्टिव को एक्सपोनेंशियल फैमिली में होने की आवश्यकता को दरकिनार करते हैं। वे नॉन-कॉनवेक्सिटी और स्मूथनेस की कमी को संभालने के लिए क्वाड्रेटिक बाउंड्स और विशिष्ट मैट्रिक्स असमानताओं (जैसे कि मैट्रिक्स $B_{n,K}$ से जुड़ी) का उपयोग करके वैध मेजराइज़र्स का निर्माण करते हैं।
सैद्धांतिक गारंटी: नियमों (P1–P5) के एक सेट और स्थिरता स्थितियों (Assumptions 1–8) के तहत, यह शोध पत्र स्थापित करता है कि एल्गोरिदम एक ऐसा अनुक्रम उत्पन्न करता है जो ऑब्जेक्टिव फंक्शन के एक स्टेशनरी पॉइंट (जहाँ ग्रेडिएंट शून्य हो जाता है) की ओर लगभग निश्चित रूप से (almost surely) अभिसरित (converge) होता है। यह निरंतरता परिणाम एक ल्यपुनोव फंक्शन (Lyapunov function) के अस्तित्व और स्टोकेस्टिक एप्रोक्सिमेशन के गुणों पर निर्भर करता है।

प्रमुख योगदान

इंक्रीमेंटल स्टोकेस्टिक MM का सामान्यीकरण: यह कार्य इंक्रीमेंटल स्टोकेस्टिक EM एल्गोरिदम का सामान्यीकरण करता है, जिससे उन मॉडलों के लिए व्यापक प्रयोज्यता मिलती है जहाँ स्पष्ट लेटेंट वेरिएबल प्रतिनिधित्व कठिन है या जहाँ मॉडल एक्सपोनेंशियल फैमिली संरचना में फिट नहीं बैठता है।
सैद्धांतिक निरंतरता (Theoretical Consistency): लेखक कठोर सैद्धांतिक गारंटी प्रदान करते हैं जो यह सिद्ध करती है कि इटरेट्स स्टेशनरी पॉइंट्स की ओर अभिसरित होते हैं, जो कि वैनिशिंग ग्रेडिएंट (vanishing gradient) द्वारा पहचाने जाते हैं—एक ऐसा गुण जो जटिल लेटेंट मॉडलों पर लागू होने पर व्यापक रूप से उपयोग किए जाने वाले स्टोकेस्टिक ऑप्टिमाइज़र जैसे SGD, RMSProp, Adam और Sophia में अक्सर अनुपस्थित होता है।
सॉफ्टमैक्स-गेटेड MoE के लिए नवीन अनुप्रयोग: यह पेपर प्रदर्शित करता है कि प्रस्तावित विधि सॉफ्टमैक्स-गेटेड MoE मॉडलों को प्रभावी ढंग से फिट करने में सक्षम पहला इंक्रीमेंटल स्टोकेस्टिक एल्गोरिदम है, एक ऐसा परिवेश जहाँ मौजूदा इंक्रीमेंटल EM और MM वेरिएंट प्रतिबंधात्मक नियमितता शर्तों (जैसे कि लिप्सचिट्ज निरंतरता और कॉनवेक्सिटी की विफलता) के कारण विफल हो जाते हैं।
बाउंड्स का सुधार: लेखकों ने पिछले कार्य [5] के लेम्मा 2 में प्रस्तुत एक बाउंड का पुनरावलोकन और सुधार किया है, जो मल्टीनोमियल लॉजिस्टिक रिग्रेशन संदर्भों के लिए वैध मेजराइज़र्स के निर्माण में उपयोग किए जाने वाले अधिक स्पष्ट और कठोर फॉर्मूलेशन प्रदान करता है।

प्रायोगिक परिणाम
विधि का मूल्यांकन सिंथेटिक और वास्तविक दुनिया के डेटासेट पर किया गया, जिसमें प्रदर्शन की तुलना अत्याधुनिक स्टोकेस्टिक ऑप्टिमाइज़र (SGD, RMSProp, Adam, AdamW, Sophia) के विरुद्ध की गई।

सिंथेटिक डेटा: लो-डायमेंशनल और हाई-डायमेंशनल सिंथेटिक डेटासेट दोनों पर, इंक्रीमेंटल स्टोकेस्टिक MM एल्गोरिदम ने एस्टीमेशन एरर (MSE, MAPE, NRMSE) और प्रेडिक्शन एरर के मामले में बेसलाइन विधियों से लगातार बेहतर प्रदर्शन किया। इसने पॉलीक एवरेजिंग (Polyak averaging) का उपयोग करते समय तेजी से अभिसरण दर और अधिक स्थिरता प्रदर्शित की।
वास्तविक दुनिया का डेटा:
- डेंट मेज जेनोटाइप्स (Dent Maize Genotypes): सूखा तनाव (drought stress) और प्रोटिओमिक्स डेटा से जुड़े बायोइंफॉर्मेटिक्स अध्ययन में, प्रस्तावित विधि ने बेसलाइन्स की तुलना में भविष्य कहनेवाला प्रदर्शन (predictive performance) में स्थिर लाभ दिया।
- कम्युनिटीज एंड क्राइम (Communities and Crime): सामाजिक-आर्थिक अपराध डेटा पर, विधि ने फिर से क्रॉस-वैलिडेशन फोल्ड्स में कम वेरिएंस के साथ बेहतर या तुलनीय प्रदर्शन दिखाया।
इनिशियलाइजेशन मजबूती: एल्गोरिदम ने ग्राउंड-ट्रुथ इनिशियलाइजेशन में व्यवधान (perturbed ground-truth initialization) और डेटा-ड्रिवन इनिशियलाइजेशन (K-means के माध्यम से) दोनों के तहत मजबूती से काम किया, जिससे वास्तविक पैरामीटर्स को सफलतापूर्वक रिकवर किया गया और लॉग-लाइक्लीहुड को न्यूनतम किया गया।

महत्व और दावे
पेपर का दावा है कि प्रस्तावित इंक्रीमेंटल स्टोकेस्टिक MM फ्रेमवर्क स्ट्रीमिंग डेटा वातावरण में जटिल लेटेंट वेरिएबल मॉडलों को अनुकूलित करने के लिए एक मजबूत और सैद्धांतिक रूप से आधारित विकल्प प्रदान करता है। EM-आधारित विधियों के लिए आवश्यक सख्त धारणाओं (जैसे कॉनवेक्सिटी और स्पष्ट लेटेंट प्रतिनिधित्व) को शिथिल करके, यह दृष्टिकोण इंक्रीमेंटल स्टोकेस्टिक एस्टीमेशन के दायरे को बढ़ाता है। लेखक समकालीन डीप लर्निंग में हेटेरोजेनियस डेटा मॉडलिंग के लिए सॉफ्टमैक्स-गेटेड MoE आर्किटेक्चर की केंद्रीय भूमिका को रेखांकित करते हैं और तर्क देते हैं कि उनका तरीका एक महत्वपूर्ण अंतर को भरता है, क्योंकि यह एक व्यवहार्य अनुकूलन रणनीति प्रदान करता है जहाँ पिछले इंक्रीमेंटल स्टोकेस्टिक दृष्टिकोण अप्रासंगिक थे। यह कार्य सुझाव देता है कि यह फ्रेमवर्क सांख्यिकीय शिक्षण के भविष्य के विकास के लिए एक आधारभूत उपकरण के रूप में कार्य कर सकता है, विशेष रूप से उन मॉडलों के लिए जिन्हें लचीले, गैर-गॉसियन, या डीप न्यूरल नेटवर्क-आधारित एक्सपर्ट घटकों की आवश्यकता होती है।

1. समस्या: "मिक्सचर ऑफ एक्सपर्ट्स" (Mixture of Experts)

2. पुराना तरीका बनाम नया तरीका

3. यह शोध पत्र क्यों विशेष है

4. परिणाम: क्या यह काम करता है?

सारांश

इसी तरह के और पेपर