📊 statistics

Improving Generalization by Permutation Routing Across Model Copies

यह शोध पत्र एक नवीन प्रशिक्षण ढांचे को प्रस्तुत करता है जो मॉडलों की प्रतिकतियों (रेप्लिकस) को पुनरुत्पादित करके और संरचित क्रमपरिवर्तन (स्ट्रक्चर्ड परम्यूटेशन) के माध्यम से प्रतियों के बीच स्थानीय शिक्षण संदेशों को रूट करके मशीन लर्निंग मॉडलों में सामान्यीकरण (जनरलाइजेशन) को बढ़ाता है, जिससे प्रतिकतियों को ध्वस्त किए बिना या मापदंडों को सीधे युग्मित किए बिना संरचित संदेश साझाकरण सुलभ होता है।

मूल लेखक: Shuhei Kashiwamura, Timothee Leleu

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuhei Kashiwamura, Timothee Leleu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक जटिल पहेली हल करना सिखाने की कोशिश कर रहे हैं। यदि वह छात्र फंस जाता है, तो वह निराश हो सकता है, हार मान सकता है, या एक ऐसा "पर्याप्त अच्छा" समाधान ढूंढ सकता है जो वास्तव में सबसे अच्छा नहीं है। यह कुछ हद तक वैसा ही है जैसे मानक कंप्यूटर मॉडल (न्यूरल नेटवर्क) सीखते हैं: वे स्थानीय "जालों" (local traps) में फंस सकते हैं जहाँ उन्हें लगता है कि उन्होंने अच्छा काम किया है, लेकिन उन्होंने अभी तक सटीक उत्तर नहीं खोजा है।

यह शोध पत्र इन मॉडलों को प्रशिक्षित करने का एक चतुर नया तरीका पेश करता है। केवल एक छात्र पर निर्भर रहने के बजाय, शोधकर्ता एक ही छात्र की M क प्रतियां (मान लीजिए 5 या 10 प्रतियां) बनाते हैं। लेकिन यहाँ एक मोड़ है: वे केवल यह नहीं देखते कि वे सभी एक ही तरह से अध्ययन करें और अंत में अपने उत्तरों का औसत निकाल लें। इसके बजाय, वे प्रतियों के बीच एक रहस्यमय "संदेश रिले" प्रणाली स्थापित करते हैं।

यह कैसे काम करता है, इसे सरल अवधारणाओं में विभाजित किया गया है:

1. "कॉपी-पेस्ट" कक्षाएं

कल्पना कीजिए कि आपके पास एक मूल पाठ्यपुस्तक (मॉडल) है। आप इसकी M प्रतियां फोटोकॉपी करते हैं। प्रत्येक प्रति एक अलग "कक्षा" है जिसमें छात्रों का अपना सेट (पैरामीटर्स) है। पारंपरिक तरीकों में, ये कक्षाएं अपने उत्तर चिल्लाकर और उनका औसत निकालकर एक-दूसरे से बात कर सकती हैं।

इस नए तरीके में, कक्षाएं एक स्विचबोर्ड द्वारा जुड़ी हुई हैं।

2. "परम्यूटेशन रूटिंग" (द स्विचबोर्ड)

यही मुख्य विचार है। जब कक्षा A के एक छात्र को किसी विशिष्ट तथ्य (डेटा का एक टुकड़ा) को सीखने की आवश्यकता होती है, तो वह केवल अपनी पुस्तक में उस तथ्य को नहीं देखता है। इसके बजाय, स्विचबोर्ड उसे रणनीतिक रूप से बताता है: "जाओ और कक्षा B की पुस्तक में उस तथ्य को देखो।"

नियम: कक्षा A का छात्र अभी भी अपने स्वयं के नोटबुक में अपना उत्तर लिखता है।
मोड़: वह उत्तर लिखने के लिए जो संदर्भ (context) उपयोग करता है, वह दूसरे क्लासरूम के डेटा का संस्करण होता है।

यह एक ग्रुप प्रोजेक्ट की तरह है जहाँ आप अंतिम रिपोर्ट लिखने के लिए जिम्मेदार हैं, लेकिन आपको अपनी टीम के साथियों की मेजों से अपने शोध नोट्स इकट्ठा करने होते हैं। आपको टीममेट 1 से एक नोट मिल सकता है, दूसरे से टीममेट 2 से, और तीसरे से टीममेट 3 से।

3. यह क्यों मदद करता है (द "लॉन्ग लूप" इफेक्ट)

एक सामान्य कक्षा में, यदि कोई छात्र गलती करता है, तो वह केवल तत्काल त्रुटि को देखता है। इस "स्विचबोर्ड" प्रणाली में, एक भाग में की गई गलती मूल छात्र को सुधारने से पहले अन्य प्रतियों के माध्यम से वापस आती है।

इसे एक भित्ति चित्र (mural) पेंटिंग की तरह सोचें।

मानक प्रशिक्षण: आप एक दीवार पेंट करते हैं। यदि आप गलती करते हैं, तो आप उसे वहीं ठीक करते हैं।
यह तरीका: आपके पास 10 समान दीवारों पर काम करने वाले 10 चित्रकार हैं। लेकिन हर बार जब चित्रकार 1 एक ईंट पेंट करता है, तो वह अपनी दीवार पर कैसे पेंट करना है यह तय करने के लिए चित्रकार 3 की दीवार पर जो चित्रित किया गया था, उसे देखता है।
परिणाम: यह सूचना का एक "लंबा लूप" (long loop) बनाता है। यह प्रणाली एक साथ कई संभावनाओं का पता लगाती है। यह समूह को "स्थानीय जाल" में फंसने से रोकता है क्योंकि अन्य प्रतियों से मिलने वाला "शोर" (noise) उन्हें बुरी आदतों से बाहर निकलने में मदद करता है।

4. "मिक्सिंग कर्नेल" (द ट्रैफिक कंट्रोलर)

शोधकर्ता एक विशेष नियम पुस्तिका (जिसे मिक्सिंग कर्नेल कहा जाता है) का उपयोग यह तय करने के लिए करते हैं कि कौन सी कक्षा किस अन्य कक्षा को नोट्स भेजेगी।

वे ऐसा बना सकते हैं जिससे हर कोई केवल अपने निकटतम पड़ोसियों से बात करे (एक श्रृंखला की तरह)।
या वे ऐसा बना सकते हैं जिससे हर कोई हर किसी से बात करे।
उन्होंने पाया कि एक संरचित पैटर्न (जैसे एक रिंग जहाँ हर कोई अपने पड़ोसियों से बात करता है) पूर्ण अराजकता या पूर्ण अलगाव की तुलना में बेहतर काम करता है। यह एक रिले रेस को व्यवस्थित करने जैसा है जहाँ बैटन एक विशिष्ट, सुचारू पैटर्न में पास किया जाता है न कि बेतरतीब ढंग से फेंका जाता है।

5. अंतिम परिणाम: एक सुपर-स्टूडेंट

इस प्रशिक्षण के बाद, जहाँ प्रतियां लगातार एक-दूसरे के संदर्भों से नोट्स साझा करती हैं और एक-दूसरे से सीखती हैं, शोधकर्ता उन सभी M प्रतियों को लेकर उन्हें एक एकल मॉडल में वापस समाहित (collapse) कर देते हैं।

वे 10 क प्रतियां नहीं रखते हैं; वे उन्हें एक ही मॉडल में मिला देते हैं। लेकिन क्योंकि यह एकल मॉडल इस "स्वैप्ड" (बदले हुए) सूचना पर प्रशिक्षित हुआ था, यह एक मानक तरीके से प्रशिक्षित मॉडल की तुलना में बहुत अधिक स्मार्ट और बेहतर सामान्यीकरण (नए, अनदेखे पहेलियों को हल करने में) करने वाला होता है।

सारांश के दावे

शोध पत्र का दावा है कि:

यह हर जगह काम करता है: यह ट्रिक सरल गणितीय मॉडलों, कमेटी-शैली के मशीनों और जटिल डीप न्यूरल नेटवर्क पर काम करती है।
यह औसत निकालने के बारे में नहीं है: अन्य तरीकों के विपरीत जो केवल विभिन्न मॉडलों के भार (weights) का औसत निकालते हैं, यह तरीका सूचना के प्रवाह को पुन: रूट करके यह बदल देता है कि सीखना कैसे होता है।
बेहतर सामान्यीकरण (Generalization): परिणामी एकल मॉडल नए डेटा पर मानक प्रशिक्षण या अन्य "रेप्लिका" विधियों की तुलना में कम गलतियाँ करता है।
कोई नए नियम आवश्यक नहीं: आपको कोई नया गणित आविष्कार करने या अपने लर्निंग एल्गोरिदम को बदलने की आवश्यकता नहीं है; आप बस सीखने के दौरान ग्राफ की "वायरिंग" को बदल देते हैं।

संक्षेप में, शोध पत्र सुझाव देता है कि एक मॉडल की कई प्रतियां बनाकर और उन्हें एक संरचित स्विचबोर्ड के माध्यम से एक-दूसरे के "परिप्रेक्ष्य" से सीखने के लिए मजबूर करके, आप एक स्मार्ट और अधिक मजबूत अंतिम मॉडल बनाते हैं।

तकनीकी सारांश: मॉडल प्रतियों के माध्यम से परम्यूटेशन रूटिंग द्वारा सामान्यीकरण (Generalization) में सुधार

1. समस्या विवरण

आधुनिक मशीन लर्निंग अनुकूलन (optimization) विवेकी (discrete), क्वांटाइज्ड (quantized), या दुर्बल अवकलनीय (weakly differentiable) मॉडलों के सामने महत्वपूर्ण चुनौतियों का सामना कर रहा है। इन श्रेणियों में, ऑब्जेक्टिव फंक्शन अक्सर नॉन-स्मूथ, पीसवाइज-कांस्टेंट, या अत्यधिक ऊबड़-खाबड़ होते हैं, जिससे खराब लोकल मिनिमा, सैडल्स (saddles), प्लेटो (plateaus), और आइसोलेटेड सॉल्यूशंस उत्पन्न होते हैं। ये लैंडस्केप विशेषताएं धीमी अभिसरण (convergence) और अस्थिर सामान्यीकरण व्यवहार का कारण बनती हैं।

जबकि ग्राफिकल मॉडल एक ऐसा परिप्रेक्ष्य प्रदान करते हैं जहाँ वैश्विक कनेक्टिविटी संरचनाएं (लूप्स और लॉन्ग-रेंज कोरिलेशन) अनुकूलन की कठिनाई को निर्धारित करती हैं, अनुकूलन में सुधार के मानक दृष्टिकोण अक्सर पैरामीटर-स्पेस कपलिंग पर निर्भर करते हैं। रीप्लिकेटेड SGD (Replicated SGD), इलास्टिक SGD (Elastic SGD), और एंट्रॉपी-SGD (Entropy-SGD) जैसे तरीके पैरामीटर एवरेजिंग या स्पष्ट आकर्षक बलों (attractive forces) के माध्यम से कई मॉडल प्रतियों को जोड़कर प्रभावी लॉस लैंडस्केप को स्मूथ करते हैं। हालाँकि, ये विधियाँ मुख्य रूप से पैरामीटर स्पेस के भीतर कार्य करती हैं, न कि सूचना के संरचनात्मक प्रवाह (structural flow of information) को संशोधित करके।

2. कार्यप्रणाली: M-कवर ट्रांसफॉर्म (The M-cover Transform)

यह शोध पत्र M-कवर (या M-लेयर) ट्रांसफॉर्म पेश करता है, जो सांख्यिकीय भौतिकी (statistical physics) और बेथे एप्रोक्सिमेशन (Bethe approximation) से प्राप्त ग्राफ-कवर निर्माणों से व्युत्पन्न एक विधि है। बेस मॉडल को प्रतियों के माध्यम से जोड़ने के बजाय, यह विधि उन संदर्भों (contexts) को पुनर्गठित करती है जिनमें स्थानीय शिक्षण संदेश (local learning messages) कंप्यूट किए जाते हैं।

मुख्य तंत्र

प्रतिकृति (Replication): एक बेस मॉडल को $M$ बार प्रतिकृति के रूप में बनाया जाता है, जिससे प्रत्येक प्रशिक्षण योग्य चर $w_i$ के लिए $M$ कवर प्रतियां बनती हैं, जिन्हें $w_i^{(\alpha)}$ के रूप में दर्शाया गया है, जहाँ $\alpha = 1, \dots, M$ है। सभी प्रतियां एक ही ट्रेनिंग डेटासेट साझा करती हैं लेकिन उनके पैरामीटर स्वतंत्र रूप से वास्तविक (realizations) होते हैं।
रूटिंग परम्यूटेशन (Routing Permutations): मुख्य नवाचार स्थानीय इंटरैक्शन में सोर्स वेरिएबल्स का पुनर्वितरण है। एक मानक फैक्टर ग्राफ में, एक स्थानीय लॉस $\ell_a$ $ℓ_{a}$ वेरिएबल्स के एक सेट $\partial a$ $\partial a$ पर निर्भर करता है। M-कवर निर्माण में, इंटरैक्शन को निर्देशित घटनाओं (directed incidences) $a \to i$ $a \to i$ में विभाजित किया जाता है, जहाँ $w_i$ $w_{i}$ डेस्टिनेशन है और $\{w_j\}_{j \in \partial a \setminus i}$ ${w_{j}}_{j \in \partial a ∖ i}$ सोर्सेस हैं।
- प्रत्येक निर्देशित घटना के लिए, एक स्ट्रक्चर्ड मिक्सिंग कर्नेल $Q$ से एक परम्यूटेशन $\rho_{a \to i, j}$ लिया जाता है।
- डेस्टिनेशन कॉपी $\alpha$ के लिए स्थानीय लॉस का मूल्यांकन अन्य प्रतियों से रूट किए गए सोर्स वेरिएबल्स $w_j^{(\rho(\alpha))}$ का उपयोग करके किया जाता है।
मिक्सिंग कर्नेल $Q$ : इन रूटेड इंटरैक्शन की टोपोलॉजी को एक कर्नेल $Q \in \mathbb{R}^{M \times M}_+$ $Q \in R_{+}^{M \times M}$ द्वारा नियंत्रित किया जाता है। $Q_{\alpha\beta}$ $Q_{α β}$ कवर $\beta$ $β$ से कवर $\alpha$ $α$ तक जानकारी रूट करने की संभावना या शक्ति को परिभाषित करता है।
- एक डायगोनल $Q$ आइडेंटिटी रूटिंग (स्वतंत्र प्रशिक्षण) का अनुमान लगाता है।
- एक यूनिफॉर्म $Q$ ग्लोबल मिक्सिंग की अनुमति देता है।
- स्ट्रक्चर्ड $Q$ (जैसे, गॉसियन रिंग) स्थानीय या स्थानिक रूप से संगठित परिवहन (transport) को प्रेरित करता है।
प्रशिक्षण और कोलैप्स (Training and Collapse): प्रशिक्षण मूल स्थानीय अपडेट नियम (जैसे, डिफरेंशिएबल मॉडलों के लिए बैकप्रोपैगेशन, या डिस्क्रीट मॉडलों के लिए ग्लाबर/रिपेयर) का उपयोग करके रूटेड ऑब्जेक्टिव पर आगे बढ़ता है। एरर सिग्नल को रूटिंग पाथ के इनवर्स के माध्यम से ट्रांसपोर्ट किया जाता है। प्रशिक्षण के बाद, $M$ प्रतियों को एक एकल प्रभावी प्रेडिक्टर $W^{eff}$ में कोलैप्स कर दिया जाता है जिसका आर्किटेक्चर बेस मॉडल के समान होता है।

कार्यान्वयन और स्केलेबिलिटी

सटीक निर्देशित M-कवर निर्माण के लिए $N$ पैरामीटर्स के लिए $O(N^2)$ रूटेड इंसिडेंस की आवश्यकता होती है, जो कम्प्यूटेशनल रूप से महंगा है। पेपर व्यावहारिक अनुमान प्रस्तावित करता है:

सैंपलड डेस्टिनेशन बैंक्स (Sampled Destination Banks): केवल $S \ll N$ डेस्टिनेशन इंसिडेंस के एक उपसमुच्चय को ही स्पष्ट रूप से रखा जाता है, जिससे अपडेट जटिलता कम हो जाती है।
ब्लॉक-मैसेज एप्रोक्सिमेशन (MLPs के लिए): इनकमिंग कोऑर्डिनेट्स को ब्लॉक्स में विभाजित किया जाता है। सुसंगत सोर्स योगदान को प्रत्येक कवर के भीतर कंप्यूट किया जाता है, फिर सैंपलड परम्यूटेशन बैंक्स से प्राप्त एम्पिरिकल मिक्सिंग मैट्रिसेस का उपयोग करके कवर्स के बीच मिक्स किया जाता है। यह सभी सोर्स-डेस्टिनेशन रूट्स को स्पष्ट रूप से स्टोर करने से बचता है।

3. प्रमुख योगदान

नया अनुकूलन ढांचा (Novel Optimization Framework): यह पेपर सुपरवाइज्ड लर्निंग के लिए ग्राफ-कवर फॉर्मुलेशन का विस्तार करता है, जिसमें इंटर-रेप्लिका कम्युनिकेशन की टोपोलॉजी को एक फिक्स्ड कपलिंग मैकेनिज्म के बजाय एक नियंत्रणीय डिग्री ऑफ फ्रीडम के रूप में माना जाता है।
व्यापक प्रयोज्यता (General Applicability): फ्रेमवर्क को डिस्क्रीट मॉडलों (परसेप्ट्रोंस), शैलो नेटवर्क (कमिटी मशीन्स), और डीप डिफरेंशिएबल नेटवर्क (MLPs) के लिए तैयार किया गया है, जो यह प्रदर्शित करता है कि स्ट्रक्चर्ड मैसेज शेयरिंग का सिद्धांत विभिन्न मॉडल वर्गों में लागू होता है।
स्ट्रक्चर्ड रूटिंग बनाम पैरामीटर कपलिंग: Replicated SGD या Elastic SGD के विपरीत, जो पैरामीटर स्पेस में प्रतियों को जोड़ते हैं, M-कवर ट्रांसफॉर्म स्थानीय लॉस को सुरक्षित रखते हुए वैश्विक एरर-फ्लो लूप्स को नया आकार देता है। यह पैरामीटर स्पेस को कोलैप्स किए बिना या नए ऑप्टिमाइज़र की आवश्यकता के बिना स्ट्रक्चर्ड मैसेज शेयरिंग की अनुमति देता है।
कुशल कार्यान्वयन: पेपर बड़े आर्किटेक्चर के लिए व्यवहार्य बनाने के लिए सैंपलड डेस्टिनेशन बैंक्स और ब्लॉक-मैसेज एप्रोक्सिमेशन का उपयोग करके स्केलेबल कार्यान्वयन प्रदान करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने तीन आर्किटेक्चर में फ्रेमवर्क को मान्य किया है:

बाइनरी टीचर-स्टूडेंट परसेप्ट्रॉन: M-कवर ट्रांसफॉर्म लोडिंग फैक्टर्स ( $\alpha = P/N$ ) की एक श्रृंखला में जनरलाइजेशन एरर को कम करता है। सुधार Replicated Simulated Annealing द्वारा प्राप्त सुधार से अधिक देखा गया है। परिणाम दिखाते हैं कि जनरलाइजेशन एरर मिक्सिंग कर्नेल पैरामीटर्स (चौड़ाई $\sigma$ और शिफ्ट $\mu$ ) पर गैर-तुच्छ (non-trivially) रूप से निर्भर करता है, जहाँ इष्टतम प्रदर्शन डायगोनल या पूरी तरह से मिक्स रूटिंग की सीमाओं के बजाय परिमित (finite) मानों पर होता है।
कमिटी मशीन्स (Fashion-MNIST): जब SGD के साथ प्रशिक्षित किया जाता है, तो M-कवर संस्करण टेस्ट एरर के वितरण को स्टैंडर्ड SGD और Replicated SGD की तुलना में निचले मानों की ओर स्थानांतरित कर देता है। स्ट्रक्चर्ड रूटिंग (परिमित $\sigma$ ) लगातार सिंगल-कवर बेसलाइन से बेहतर प्रदर्शन करती है।
मल्टीलेयर परसेप्ट्रॉन्स (MNIST): $M=5$ के साथ स्ट्रक्चर्ड M-कवर ट्रेनिंग सिंगल-कवर बेसलाइन ( $M=1$ ) की तुलना में जनरलाइजेशन में सुधार करती है।
बेंचमार्क तुलना: सभी परीक्षण किए गए सेटिंग्स में, M-कवर कंस्ट्रक्शन वैनिला ट्रेनिंग और मौजूदा रेप्लिका-आधारित बेसलाइन्स (Replicated Simulated Annealing, Replicated SGD) की तुलना में सबसे कम टेस्ट या जनरलाइजेशन एरर प्राप्त करता है।

5. महत्व और दावे

पेपर का दावा है कि M-कवर ट्रांसफॉर्म स्ट्रक्चर्ड मैसेज शेयरिंग के माध्यम से सामान्यीकरण में सुधार करने के लिए एक सामान्य तंत्र प्रदान करता है, न कि रेप्लिका कोलैप्स या पैरामीटर-स्पेस कपलिंग के माध्यम से।

व्यापकता (Generality): इस विधि के लिए नए इंटरैक्शन पोटेंशियल डिजाइन करने, आकर्षक बल जोड़ने, या स्थानीय ऑप्टिमाइज़र को संशोधित करने की आवश्यकता नहीं है। यह उस फैक्टर ग्राफ की वैश्विक कनेक्टिविटी को बदलकर कार्य करता है जिस पर ऑप्टिमाइज़र कार्य करता है।
टोपोलॉजिकल कंट्रोल: कवर की टोपोलॉजी (Q द्वारा नियंत्रित) एक उपयोगी डिग्री ऑफ फ्रीडम है। स्ट्रक्चर्ड कर्नेल (जैसे, स्थानिक रूप से युग्मित गॉसियन रिंग्स) यूनिफॉर्म रूटिंग से बेहतर प्रदर्शन कर सकते हैं, जो यह सुझाव देता है कि एरर प्रोपेगेशन की स्थानिक संरचना अनुकूलन में महत्वपूर्ण भूमिका निभाती है, जो स्पेशियली कपल्ड LDPC कोड के समान है।
सीमित दायरा: लेखक इस कार्य को एक "नियंत्रित प्रूफ ऑफ प्रिंसिपल" के रूप में रखते हैं। हालांकि परिणाम डिस्क्रीट, शैलो और डीप मॉडल्स में सुसंगत हैं, पेपर स्वीकार करता है कि बड़े पैमाने के बेंचमार्क, व्यापक आर्किटेक्चर क्लास और विस्तृत हाइपरपैरामीटर स्वीप भविष्य के कार्य के लिए छोड़े गए हैं।
भविष्य की दिशाएं: पेपर सुझाव देता है कि Dropout या Mixture-of-Experts जैसे अन्य स्टोकेस्टिक तंत्रों के साथ M-कवर रूटिंग और अन्य संबंधों की जांच की जाए, और विभिन्न डेटा डिस्ट्रीब्यूशन और आर्किटेक्चर के लिए विशेष रूप से अनुकूलित रूटिंग टोपोलॉजी की खोज की जाए।