🤖 machine learning

Learning Subset-Shared Invariances for Domain Generalization with Mixture-of-Experts

यह शोध पत्र एक डोमेन जनरलाइजेशन फ्रेमवर्क प्रस्तावित करता है जो वैश्विक अपरिवर्तनीयता (global invariance) की प्रतिबंधात्मक धारणा को एक 'मिक्सचर-ऑफ-एक्सपर्ट्स' आर्किटेक्चर के माध्यम से "सबसेट-शेयर्ड इनवेरिएंस" (subset-shared invariance) से प्रतिस्थापित करता है, जिससे सभी डोमेन के बजाय केवल विशिष्ट डोमेन सबसेट्स के भीतर स्थिर रहने वाली प्रेडिक्टिव संरचनाओं को मॉडल करके अनदेखे लक्ष्यों (unseen targets) के लिए सामान्यीकरण में सुधार किया जाता है।

मूल लेखक: Tien-Hung Nguyen, Tien-Dat Tran, M. -Duong Nguyen, Kok-Seng Wong

प्रकाशित 2026-06-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tien-Hung Nguyen, Tien-Dat Tran, M. -Duong Nguyen, Kok-Seng Wong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "एक ही नियम सबके लिए" वाला जाल

कल्पना कीजिए कि आप एक रोबोट को जानवरों को पहचानना सिखा रहे हैं। आप उसे तीन अलग-अलग "दुनियाओं" से तस्वीरें दिखाते हैं:

दुनिया A: असली शेर की सवाना (savanna) में फोटो।
दुनिया B: शेरों के कार्टून चित्र।
दुनिया C: शेरों के ब्लैक-एंड-व्हाइट स्केच।

पारंपरिक AI तरीके सभी तीन दुनियाओं के लिए एक ही नियम (single rule) खोजने की कोशिश करते हैं। वे कहते हैं, "शेर होने के लिए, आपके पास अयाल (mane), एक पूंछ और एक विशिष्ट नाक का आकार होना चाहिए, चाहे आप फोटो हों, कार्टून हों या स्केच।"

यह पेपर तर्क देता है कि यह दृष्टिकोण त्रुटिपूर्ण है। यह एक चौकोर टुकड़े को गोल छेद में जबरदस्ती फिट करने जैसा है।

फोटो की दुनिया में, रोबोट सीख सकता है कि "सुनहरा फर" एक प्रमुख विशेषता है।
स्केच की दुनिया में, "सुनहरा फर" मौजूद नहीं है; केवल "रेखाएं" (lines) मायने रखती हैं।
यदि रोबोट एक ऐसा नियम खोजने की कोशिश करता है जो "सुनहरे फर" और "रेखाओं" दोनों में पूरी तरह से फिट हो सके, तो वह भ्रमित हो जाता है। वह या तो फर को पूरी तरह से अनदेखा कर देगा (क्योंकि स्केच में वह नहीं है) या रेखाओं को अनदेखा कर देगा (क्योंकि वे फोटो में नहीं हैं)।

लेखक इसे "ग्लोबल इनवेरिएंस" (Global Invariance) की समस्या कहते हैं। हर अलग दुनिया के लिए AI को पूरी तरह से सुसंगत (consistent) बनाने के मजबूर करके, वह अनजाने में उन उपयोगी संकेतों को भी फेंक देता है जो केवल कुछ दुनियाओं में मौजूद होते हैं। जैसे-जैसे आप अधिक दुनिया जोड़ते जाते हैं, रोबोट जानवर को पहचानना भूलता जाता है, क्योंकि वह बहुत अधिक सटीक होने की कोशिश कर रहा होता है।

समाधान: "विशेषज्ञों की टीम" (MESSI)

एक ऐसे रोबोट के बजाय जो सब कुछ करने में विशेषज्ञ बनने की कोशिश करता है, लेखक विशेषज्ञों की एक टीम का प्रस्ताव देते हैं जो मिलकर काम करती है, जिसे MESSI (Mixture of Experts with Subset-Shared Invariances) कहा जाता है।

MESSI को एक रेस्टोरेंट किचन के रूप में सोचें जिसमें एक हेड शेफ (Router) और कई विशेषज्ञ रसोइये (Experts) हैं।

राउटर (हेड शेफ): जब कोई ऑर्डर आता है (एक नई तस्वीर), तो हेड शेफ उस पर नज़र डालता है और तय करता है, "यह एक स्केच जैसा लग रहा है। मैं इसे स्केच स्पेशलिस्ट के पास भेजूँगा। यह एक फोटो जैसा लग रहा है। मैं इसे फोटो स्पेशलिस्ट के पास भेजूँगा।"
एक्सपर्ट्स (स्पेशलिस्ट्स):
- एक्सपर्ट 1 केवल फोटो और कार्टून से सीखता है। वे अपने नियमों को इस तरह संरेखित (align) करते हैं ताकि वे सुनिश्चित कर सकें कि वे उन दोनों दुनियाओं में एक "शेर" के रूप में एक-दूसरे से सहमत हों। वे स्केच को अनदेखा करते हैं।
- एक्सपर्ट 2 केवल स्केच और कार्टून से सीखता है। वे उन दोनों के लिए अपने नियमों को संरेखित करते हैं।
- एक्सपर्ट 3 किसी अन्य संयोजन को संभाल सकता है।

जादुई ट्रिक: सिस्टम यह ज़बरदस्ती नहीं करता कि एक्सपर्ट 1 को एक्सपर्ट 2 के साथ सहमत होना पड़े। यह केवल विशेषज्ञों को उनके असाइन किए गए दुनिया के विशिष्ट समूहों पर एक-दूसरे के साथ सहमत होने के लिए मजबूर करता है। इस तरह, फोटो एक्सपर्ट के लिए "सुनहरा फर" का नियम सुरक्षित रहता है, और स्केच एक्सपर्ट के लिए "रेखा" का नियम सुरक्षित रहता है।

यह व्यवहार में कैसे काम करता है

यह पेपर इन तंत्रों को प्रभावी बनाने के लिए कुछ चतुर तरीकों को पेश करता है:

राउटिंग-कंडीशनड एलाइनमेंट (Routing-Conditioned Alignment): सिस्टम केवल यह अनुमान नहीं लगाता कि कौन सा एक्सपर्ट किस तस्वीर को संभालेगा। यह यह सीखने में सक्षम है कि, "इस विशिष्ट प्रकार के शेर के लिए, इस विशिष्ट दुनिया में, एक्सपर्ट A सबसे अच्छा मेल है।" यह एक सॉफ्ट मैप बनाता है जहाँ विभिन्न विशेषज्ञ डेटा के विभिन्न "उपसमुच्चयों" (subsets) को संभालते हैं।
उन्हें ईमानदार रखना: यह सुनिश्चित करने के लिए कि सभी एक्सपर्ट्स आलसी न हो जाएं और बिल्कुल एक जैसा काम न करने लगें (जो इसके उद्देश्य को ही खत्म कर देगा), सिस्टम में एक "डाइवर्सिटी लॉस" (Diversity Loss) है। यह एक मैनेजर की तरह है जो रसोइयों से कहता है, "आप दोनों बिल्कुल एक ही रेसिपी बना रहे हैं। समस्या को हल करने का कोई दूसरा तरीका खोजने की कोशिश करें!" यह सुनिश्चित करता है कि प्रत्येक विशेषज्ञ एक अनूठा और उपयोगी कौशल सीखे।
काम का संतुलन बनाना: सिस्टम यह भी सुनिश्चित करता है कि कोई एक एक्सपर्ट ओवरलोड न हो जाए जबकि दूसरे खाली बैठे रहें। यह सुनिश्चित करता है कि काम निष्पक्ष रूप से वितरित हो।

परिणाम: यह बेहतर क्यों है?

लेखकों ने मानक AI बेंचमार्क (जैसे विभिन्न शैलियों की छवियों में वस्तुओं को पहचानना) पर इसका परीक्षण किया।

पुराना तरीका: जैसे-जैसे उन्होंने अधिक प्रकार की छवियां (अधिक "दुनियाएं") जोड़ीं, पारंपरिक AI खराब होता गया। यह एक ऐसी भाषा बोलने की कोशिश करने जैसा था जो अंग्रेजी, फ्रेंच और जापानी का एक आदर्श मिश्रण है—अंत में यह बड़बड़ाहट (gibberish) जैसा लगने लगा।
MESSI का तरीका: जैसे-जैसे उन्होंने दुनियाएं जोड़ीं, MESSI मजबूत बना रहा। क्योंकि इसने एक कठोर नियम थोपने के बजाय, अनुकूलन करना सीखा। इसने समझ लिया, "ठीक है, छवियों के इस समूह के लिए, मैं नियम A का उपयोग करूँगा। उस समूह के लिए, मैं नियम B का उपयोग करूँगा।"

मुख्य निष्कर्ष

पेपर का मूल संदेश सरल है: AI को हर जगह काम करने वाला एक आदर्श नियम खोजने के लिए मजबूर न करें।

इसके बजाय, AI को यह सीखने दें कि दुनिया अलग-अलग "पड़ोसों" से बनी है। कुछ पड़ोसों में, कुछ नियम लागू होते हैं। अन्य में, अलग नियम लागू होते हैं। विशेषज्ञों की एक टीम का उपयोग करके, जो केवल अपने विशिष्ट पड़ोस के नियमों पर सहमत होते हैं, AI एक पूरी तरह से नई, अनदेखी दुनिया का सामना करने पर बहुत अधिक स्मार्ट और मजबूत हो जाता है।

यह एक ऐसे सामान्य व्यक्ति के बीच का अंतर है जो सब कुछ थोड़ा-थोड़ा जानता है लेकिन किसी में भी माहिर नहीं है, और विशेषज्ञों की एक टीम के बीच का अंतर जो जानते हैं कि उन्हें सौंपे गए विशिष्ट स्थितियों को ठीक से कैसे संभालना है।

तकनीकी सारांश: Mixture-of-Experts के साथ डोमेन जनरलाइजेशन के लिए Subset-Shared Invariances को सीखना

1. समस्या विवरण (Problem Statement)

डोमेन जनरलाइजेशन (DG) का लक्ष्य ऐसे मॉडलों को प्रशिक्षित करना है जो एक या अधिक सोर्स डोमेन पर प्रशिक्षित होकर, बिना किसी टारगेट डेटा तक पहुँच के, अनदेखे टारगेट डोमेन पर सामान्यीकरण (generalize) कर सकें। DG में प्रचलित दृष्टिकोण डोमेन-इनवेरिएंट रिप्रेजेंटेशन (domain-invariant representations) सीखने पर निर्भर करता है, जो आमतौर पर सभी सोर्स डोमेन में कंडीशनल डिस्ट्रीब्यूशन $P(Z|Y)$ को सुसंगत बनाए रखने पर जोर देता है। फीचर अलाइनमेंट, इनवेरिएंट रिस्क मिनिमाइजेशन (IRM), और ग्रेडिएंट मैचिंग जैसी विधियाँ इस धारणा पर कार्य करती हैं कि सभी वातावरणों में एक एकल, वैश्विक रूप से साझा प्रेडिक्टिव स्ट्रक्चर मौजूद है।

हालाँकि, लेखक तर्क देते हैं कि यह धारणा अक्सर बहुत अधिक प्रतिबंधात्मक होती है। वास्तविक दुनिया के परिदृश्यों में, डोमेन के प्रेडिक्टिव स्ट्रक्चर केवल आंशिक रूप से ओवरलैप हो सकते हैं; विशिष्ट फीचर्स कुछ डोमेन में स्थिर हो सकते हैं लेकिन अन्य में भिन्न हो सकते हैं। विषम (heterogeneous) डोमेन की बढ़ती संख्या के माध्यम से वैश्विक इनवेरिएंस (global invariance) लागू करने से व्यवहार्य रिप्रेजेंटेशन स्पेस धीरे-धीरे प्रतिबंधित होता जाता है। सैद्धांतिक विश्लेषण और अनुभवजन्य अवलोकन (चित्र 1) दर्शाते हैं कि जैसे-जैसे सोर्स डोमेन की संख्या बढ़ती है, सीखे गए रिप्रेजेंटेशन और लेबल के बीच म्यूचुअल इंफॉर्मेशन ( $I(Z; Y)$ ) घटती जाती है। फलस्वरूप, वे मूल्यवान प्रेडिक्टिव फैक्टर्स जो केवल डोमेन के विशिष्ट सबसेट्स में स्थिर होते हैं, त्याग दिए जाते हैं, जिससे उच्च डोमेन विषमता (heterogeneity) होने पर जनरलाइजेशन प्रदर्शन में गिरावट आती है।

2. कार्यप्रणाली: MESSI (Methodology: MESSI)

वैश्विक इनवेरिएंस की सीमाओं को दूर करने के लिए, यह शोध पत्र MESSI (Mixture-of-Experts for Subset-Shared Invariances) प्रस्तावित करता है। मुख्य परिकल्पना यह है कि इनवेरिएंट स्ट्रक्चर को वैश्विक रूप से साझा करने के बजाय सबसेट-शेयर्ड (subset-shared) के रूप में मॉडल किया जाना चाहिए। यह विधि डोमेन संबंधों के स्ट्रक्चर्ड डीकंपोजिशन को सीखने के लिए एक Mixture-of-Experts (MoE) आर्किटेक्चर का उपयोग करती है।

2.1 आर्किटेक्चर (Architecture)

MESSI एक साझा बैकबोन एनकोडर (जैसे DeiT) के बाद एक राउटर और कई एक्सपर्ट नेटवर्क का उपयोग करता है:

साझा एनकोडर (Shared Encoder): एक फीचर रिप्रेजेंटेशन $u = b_\phi(x)$ उत्पन्न करता है।
राउटर (Router): एक्सपर्ट्स पर एक सॉफ्ट डिस्ट्रीब्यूशन $\pi(x) = \text{softmax}(g_\theta(u))$ की गणना करता है, जो प्रभावी रूप से एक लेटेंट सबसेट वेरिएबल $S$ का अनुमान लगाता है।
एक्सपर्ट्स (Experts): प्रत्येक एक्सपर्ट $m$ एक विशिष्ट रिप्रेजेंटेशन $z^{(m)} = h_m(u)$ उत्पन्न करता है।
एग्रीगेशन (Aggregation): अंतिम रिप्रेजेंटेशन एक भारित योग (weighted sum) $z(x) = \sum \pi_m(x) z^{(m)}$ है, जो सबसेट-इनवेरिएंट घटकों के अनुकूली संयोजन (adaptive composition) की अनुमति देता है।

2.2 प्रशिक्षण उद्देश्य (Training Objectives)

मॉडल को एक कंपोजिट लॉस फंक्शन (समीकरण 5) को अनुकूलित करने के लिए प्रशिक्षित किया जाता है:
$\mathcal{L} = \mathcal{L}_{cls} + \lambda_{ssi}\mathcal{L}_{OT}^{ssi} + \lambda_{sp}\mathcal{L}_{sp} + \lambda_{bal}\mathcal{L}_{bal} + \lambda_{div}\mathcal{L}_{div}$

राउटिंग-कंडीशन्ड सबसेट अलाइनमेंट ( $\mathcal{L}_{OT}^{ssi}$ ): सभी डोमेन पेयर्स को अलाइन करने के बजाय, इनवेरिएंस को चुनिले ढंग से लागू किया जाता है। प्रत्येक एक्सपर्ट $m$ के लिए, विधि केवल उन डोमेन पेयर्स $(i, j)$ के बीच क्लास-कंडीशनल फीचर डिस्ट्रीब्यूशन को अलाइन करती है जहाँ एक्सपर्ट का किसी विशिष्ट क्लास $c$ के लिए उच्च राउटिंग उत्तरदायित्व (responsibility) होता है। अलाइनमेंट वेट $a_{ijc}^{(m)}$ राउटिंग प्रोबेबिलिटीज से प्राप्त किया जाता है। विसंगति (discrepancy) को ऑप्टिमल ट्रांसपोर्ट (OT) (या एक MMD वेरिएंट) का उपयोग करके मापा जाता है, जिसे इन राउटिंग मासेस द्वारा भारित किया जाता है। यह एक "राउटिंग-इंड्यूस्ड इनवेरिएंस" बनाता है जहाँ मॉडल सीखता है कि इनवेरिएंस कहाँ लागू होना चाहिए।
एक्सपर्ट स्पेशलाइजेशन ( $\mathcal{L}_{div}$ ): एक्सपर्ट्स को रेडंडेंट रिप्रेजेंटेशन में ढलने (collapse होने) से रोकने के लिए, एक डाइवर्सिटी रेगुलराइज़र अलग-अलग एक्सपर्ट्स के फीचर डायरेक्शन के बीच कोसाइन सिमिलरिटी को कम करता है।
कॉन्फिडेंट और बैलेंस्ड राउटिंग ( $\mathcal{L}_{sp}, \mathcal{L}_{bal}$ ):
- $\mathcal{L}_{sp}$ इंस्टेंस लेवल पर स्पार्स राउटिंग (लो एंट्रॉपी) को प्रोत्साहित करता है, यह सुनिश्चित करता है कि प्रत्येक सैंपल एक्सपर्ट्स के एक विशिष्ट सबसेट को सक्रिय करे।
- $\mathcal{L}_{bal}$ डेटासेट स्तर पर संतुलित एक्सपर्ट यूटिलाइजेशन सुनिश्चित करता है, जिससे कुछ ही एक्सपर्ट्स पूरे ट्रैफिक पर हावी न हो सकें।

3. प्रमुख योगदान (Key Contributions)

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

एक मौलिक सीमा की पहचान: लेखक प्रदर्शित करते हैं कि बढ़ते डोमेन संख्या के साथ इनवेरिएंस लागू करने से प्रेडिक्टिव जानकारी कम हो जाती है। वे सबसेट-शेयर्ड इनवेरिएंस पेश करते हैं, जो DG को एक एकल वैश्विक इनवेरिएंट रिप्रेजेंटेशन के बजाय स्ट्रक्चर्ड, सबसेट-डिपेंडेंट इनवेरिएंस्स सीखने की समस्या के रूप में पुनर्गठित करता है।
राउटिंग-आधारित MoE फ्रेमवर्क: वे एक ऐसी विधि प्रस्तावित करते हैं जो डोमेन संबंधों के डेटा-ड्रिवन डीकंपोजिशन के लिए राउटिंग का उपयोग करती है। एक्सपर्ट्स को केवल उनके द्वारा सेवा दिए जाने वाले डोमेन सबसेट्स के साथ अलाइन करके, यह विधि चुनिले ढंग से इनवेरिएंस लागू करती है, जिससे स्पष्ट सबसेट लेबल की आवश्यकता के बिना इनवेरिएंट घटकों का अनुकूली संयोजन संभव होता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह दृष्टिकोण मानक बेंचमार्क, विशेष रूप से विषम डोमेन शिफ्ट और डोमेन बढ़ने पर, बेहतर आउट-ऑफ-डोमेन जनरलाइजेशन प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग मानक DG बेंचमार्क (DomainBed: PACS, OfficeHome, TerraIncognita, DomainNet) और एक नियंत्रित रोटेटेड-कलर्ड MNIST डेटासेट पर किए गए थे, जिसे डोमेन ग्रोथ का परीक्षण करने के लिए डिज़ाइन किया गया था।

मानक बेंचमार्क: MESSI (विशेष रूप से OT के साथ DeiT-S/16 वेरिएंट) ने DomainBed पर स्टेट-ऑफ-द-आर्ट औसत सटीकता (66.2%) प्राप्त की, जो ERM, CORAL, Fishr, SAGM और GMoE एवं OMoE जैसे अन्य MoE-आधारित तरीकों सहित मजबूत बेसलाइन्स से बेहतर है।
डोमेन ग्रोथ के प्रति मजबूती: फिक्स्ड-बजट डोमेन-ग्रोथ प्रोटोकॉल पर रोटेटेड-कलर्ड MNIST पर, MESSI ने श्रेष्ठ मजबूती दिखाई। जबकि ग्लोबल अलाइनमेंट विधियाँ (जैसे CORAL) डोमेन की संख्या बढ़ने पर प्रदर्शन में गिरावट (ओवर-कंस्ट्रेंट के कारण) का शिकार हुईं, MESSI ने न्यूनतम गिरावट (सर्वश्रेष्ठ CORAL वेरिएंट के 2.58% की तुलना में 1.86% की गिरावट) के साथ उच्च सटीकता बनाए रखी।
एब्लेशन स्टडीज (Ablation Studies):
- सबसेट-कंडीशन्ड अलाइनमेंट ( $\mathcal{L}_{ssi}$ ) को हटाने से सबसे बड़ी गिरावट आई, जो इसे महत्वपूर्ण घटक के रूप में पुष्टि करती है।
- डाइवर्सिटी या राउटिंग रेगुलराइज़र को हटाने से एक्सपर्ट रेडंडेंसी और डिफ्यूज राउटिंग हुई, जिससे प्रदर्शन कम हुआ।
- कंट्रोल्स (Global-MoE, Random-Subset-MoE) के साथ तुलना ने दिखाया कि MESSI एक विशिष्ट अलाइनमेंट स्ट्रक्चर सीखता है न कि केवल एक ग्लोबल ऑब्जेक्टिव को स्पार्सिफाई करता है।
दक्षता (Efficiency): हालांकि OT-आधारित वेरिएंट प्रशिक्षण ओवरहेड (लगभग 12.39x ERM समय) पेश करता है, MMD वेरिएंट इसे ~4.24x तक कम कर देता है। इन्फरेंस लागत अन्य MoE विधियों के समान रहती है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि डोमेन जनरलाइजेशन को एकल वैश्विक इनवेरिएंस लागू करने के प्रतिमान से आगे बढ़ना चाहिए। इसके बजाय, यह तर्क देता है कि प्रेडिक्टिव स्ट्रक्चर स्वाभाविक रूप से सबसेट-डिपेंडेंट होता है।

सैद्धांतिक अंतर्दृष्टि: यह कार्य एक सैद्धांतिक औचित्य (म्यूचुअल इंफॉर्मेशन विश्लेषण के माध्यम से) प्रदान करता है कि वैश्विक इनवेरिएंस डोमेन विषमता बढ़ने पर क्यों विफल हो जाता है: यह मॉडल को उन प्रेडिक्टिव फैक्टर्स को त्यागने के लिए मजबूर करता है जो सार्वभौमिक रूप से साझा नहीं हैं।
व्यावहारिक निहितार्थ: पार्टियली शेयर्ड स्ट्रक्चर के माध्यम से इनवेरिएंस को मॉडल करके, MESSI अधिक मजबूती प्राप्त करता है। राउटिंग तंत्र मॉडल को स्पष्ट सबसेट लेबल या पूर्व-निर्धारित डोमेन ग्रुपिंग की आवश्यकता के बिना सीधे डेटा से इन सबसेट्स को खोजने की अनुमति देता है।
सीमाएं: लेखक विनम्रतापूर्वक स्वीकार करते हैं कि विधि राउटर की विशेषज्ञता (specialization) की क्षमता पर निर्भर करती है; यदि सोर्स डोमेन कम हैं या क्लास कवरेज असंतुलित है, तो राउटिंग सिग्नल शोर (noisy) हो सकते हैं। इसके अतिरिक्त, विशेष रूप से ऑप्टिमल ट्रांसपोर्ट के साथ, पेयरवाइज अलाइनमेंट की कम्प्यूटेशनल लागत मानक ग्लोबल अलाइनमेंट विधियों की तुलना में अधिक है।

निष्कर्षतः, MESSI सबसेट-लेवल इनवेरिएंस को संरक्षित करने और संयोजित करने के लिए एक तंत्र प्रदान करता है, जो यह सुझाव देता है कि DG का भविष्य यूनिफॉर्म ग्लोबल अलाइनमेंट के बजाय स्ट्रक्चर्ड, एडेप्टिव डीकंपोजिशन में निहित है।