🤖 machine learning

MER-DG: Modality-Entropy Regularization for Multimodal Domain Generalization

यह शोध पत्र MER-DG को प्रस्तुत करता है, जो एक आर्किटेक्चर-अज्ञेय (architecture-agnostic) विधि है जो स्रोत-विशिष्ट क्रॉस-मोडल सह-अस्तित्व (cross-modal co-occurrences) पर निर्भरता के कारण होने वाले "फ्यूजन ओवरफिटिंग" को रोकने के लिए मोडैलिटी-एन्ट्रॉपी रेगुलराइजेशन का उपयोग करता है, जिससे EPIC-Kitchens और HAC जैसे बेंचमार्क पर मल्टीमॉडल डोमेन जनरलाइजेशन प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Yavuz Yarici, Ghassan AlRegib

प्रकाशित 2026-05-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yavuz Yarici, Ghassan AlRegib

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "MER-DG: Modality-Entropy Regularization for Multimodal Domain Generalization" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "परफेक्ट डेट" का जाल

कल्प‌ना कीजिए कि आप एक रोबोट को यह पहचानने के लिए सिखा रहे हैं कि कोई सब्जी काट रहा है। आप रोबोट को एक बहुत ही शांत, आरामदायक घरेलू रसोई के वीडियो और ऑडियो रिकॉर्डिंग का उपयोग करके प्रशिक्षित करते हैं।

इस विशिष्ट रसोई में, दो चीजें हमेशा एक साथ होती हैं:

विजुअल (दृश्य): आप एक बोर्ड पर चाकू को टकराते हुए देखते हैं।
ऑडियो (ध्वनि): आप एक तेज़ चॉप-चॉप की आवाज़ सुनते हैं।

क्योंकि वह रसोई बहुत शांत है, रोबोट एक बहुत ही विशिष्ट नियम सीख जाता है: "यदि मैं चाकू को चलते हुए देखता हूँ, तो मुझे एक तेज़ चॉप की आवाज़ सुननी चाहिए। यदि मुझे चॉप की आवाज़ नहीं सुनाई देती, तो यह सब्जी काटना नहीं है।" रोबोट वीडियो और ध्वनि के बीच इस परफेक्ट पार्टनरशिप (पूर्ण साझेदारी) पर निर्भर रहने के लिए सीख गया है।

अब, कल्पना कीजिए कि आप इस रोबोट को एक शोर भरी व्यावसायिक रसोई (commercial kitchen) में ले जाते हैं।

रोबोट चाकू को चलते हुए देखता है (विजुअल)।
लेकिन बैकग्राउंड के शोर (तवे की छनछनाहट, शेफ का चिल्लाना) के कारण, वह चॉप की आवाज़ को स्पष्ट रूप से नहीं सुन पाता (ऑडियो)।

चूँकि रोबोट को इन दोनों चीजों के एक साथ होने की उम्मीद करने के लिए प्रशिक्षित किया गया था, इसलिए वह भ्रमित हो जाता है। वह सोचता है, "मैं चाकू को देख तो रहा हूँ, लेकिन मुझे आवाज़ सुनाई नहीं दे रही। इसलिए, यह सब्जी काटना नहीं है!" और वह विफल हो जाता है।

लेखक इस समस्या को "फ्यूजन ओवरफिटिंग" (Fusion Overfitting) कहते हैं। रोबोट ने यह नहीं सीखा कि "सब्जी काटना" वास्तव में क्या है; उसने बस यह सीखा कि शांत रसोई में वीडियो और ऑडियो एक साथ कैसे चलते थे। वह दोनों इंद्रियों के बीच के "डेट" (मिलन) पर बहुत अधिक निर्भर हो गया, बजाय इसके कि वह प्रत्येक इंद्रिय के व्यक्तिगत "व्यक्तित्व" को समझता।

समाधान: MER-DG (एक "सोलो प्रैक्टिस" कोच)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे MER-DG (Modality-Entropy Regularization for Domain Generalization) कहा जाता है।

रोबोट के दिमाग को दो अलग-अलग छात्रों के रूप में सोचें: एक जो वीडियो पढ़ रहा है और दूसरा जो ऑडियो पढ़ रहा है। मानक प्रशिक्षण में, इन दोनों छात्रों को समस्या को हल करने के लिए तुरंत एक साथ काम करने के लिए मजबूर किया जाता है। वे सही उत्तर जल्दी पाने के लिए एक-दूसरे के नोट्स की नकल करना शुरू कर देते हैं, लेकिन वे सामग्री को गहराई से सीखना छोड़ देते हैं।

MER-DG एक सख्त कोच की तरह काम करता है जो छात्रों को स्वतंत्र रहने के लिए मजबूर करता है।

कोच एक विशेष नियम का उपयोग करता है जिसे "एन्ट्रॉपी रेगुलराइजेशन" (Entropy Regularization) कहा जाता है। सरल शब्दों में, यह नियम छात्रों को अपने दिमाग को "खुला" और विविध रखने के लिए मजबूर करता है।

उदाहरण: कल्पना कीजिए कि वीडियो छात्र को केवल चाकू देखने की अनुमति है। ऑडियो छात्र को केवल लय (rhythm) सुनने की अनुमति है।
नियम: कोच कहता है, "तुम्हें जो भी देख या सुन रहे हो, उसे वर्णित करने के लिए अपने दिमाग के हर एक हिस्से का उपयोग करना होगा। केवल तेज़ या स्पष्ट हिस्सों पर ध्यान केंद्रित न करें। अपनी सभी इंद्रियों को सक्रिय और सतर्क रखें।"

"वीडियो छात्र" और "ऑडियो छात्र" को अपने आप में विविध और सक्रिय रहने के लिए मजबूर करके, वे सब्जी काटने के वास्तविक, सार्वभौमिक गुणों (चाकू की गति, ध्वनि की लय) को सीखते हैं, न कि केवल एक शांत कमरे में होने वाले इत्तेफाक को।

जब वे इसे आज़माते हैं तो क्या होता है?

शोधकर्ताओं ने इसे दो प्रसिद्ध "रसोईओं" (डेटासेट) पर परखा:

EPIC-Kitchens: विभिन्न घरों में लोगों के खाना पकाने के वास्तविक वीडियो।
HAC: मनुष्यों, जानवरों और कार्टूनों के कार्यों के वीडियो।

उन्होंने अपनी इस नई विधि (MER-DG) की तुलना मानक विधियों और अन्य उन्नत विधियों से की।

परिणाम:

"मानक" रोबोट: जब इसे एक नए, शोर वाले वातावरण में ले जाया गया, तो इसे संघर्ष करना पड़ा।
"MER-DG" रोबोट: इसने काफी बेहतर प्रदर्शन किया (मानक विधियों से लगभग 5% बेहतर और वर्तमान सर्वश्रेष्ठ विधियों से 2% बेहतर)।
"सोलो" टेस्ट: यहाँ तक कि यदि आप वीडियो छात्र को टीम से बाहर निकाल देते और उसे अकेले काम करने के लिए कहते, तो वह पहले की तुलना में अपने काम में बहुत बेहतर था। इससे यह साबित हुआ कि रोबोट ने वास्तव में सामग्री को गहराई से सीखा था, न कि केवल अपने साथी पर निर्भर रहकर "चीटिंग" करना सीखा था।

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

पेपर का दावा है कि इस "एन्ट्रॉपी" नियम का उपयोग करके, उन्होंने मल्टीमॉडल लर्निंग (कई इंद्रियों से सीखने) में एक छिपे हुए दोष को ठीक कर दिया है। AI को संयोगवश मिलने वाले पैटर्न (जैसे "शांत रसोई = तेज़ चॉप") को याद करने देने के बजाय, AI को मजबूत, स्वतंत्र विशेषताएं सीखने के लिए मजबूर किया जाता है जो वातावरण बदलने पर भी काम करती हैं (जैसे शोर भरी रसोई)।

संक्षेप में: MER-DG AI को इंद्रियों के बीच के "परफेक्ट डेट" को याद करने से रोकता है और उसे "व्यक्तिगत गुणों" को समझने के लिए मजबूर करता है ताकि वह वास्तविक दुनिया की अराजकता को संभाल सके।

तकनीकी सारांश: MER-DG: मल्टीमॉडल डोमेन जनरलाइजेशन के लिए मोडैलिटी-एन्ट्रॉपी रेगुलराइजेशन

समस्या की परिभाषा: फ्यूजन ओवरफिटिंग (Fusion Overfitting)
यह शोध पत्र मल्टीमॉडल डोमेन जनरलाइजेशन (MMDG) की समस्या को संबोधित करता है, जो मल्टीमॉडल मॉडल (जैसे, ऑडियो-विजुअल) को उन लक्षित वातावरणों में तैनात करने की चुनौती है जहाँ रिकॉर्डिंग की स्थितियाँ प्रशिक्षण स्रोतों से भिन्न होती हैं। लेखक एक विशिष्ट विफलता मोड की पहचान करते हैं, जिसे वे फ्यूजन ओवरफिटिंग कहते हैं।

मानक एंड-टू-एंड प्रशिक्षण में, प्रत्येक मोडैलिटी के लिए अलग-अलग एनकोडर को एक फ्यूजन मॉड्यूल के साथ संयुक्त रूप से एक लॉस फंक्शन (जैसे, क्रॉस-एन्ट्रॉपी) को कम करने के लिए अनुकूलित किया जाता है। लेखक तर्क देते हैं कि यह संयुक्त अनुकूलन (joint optimization) एनकोडर्स को क्रॉस-मोडल को-करेंस (cross-modal co-occurrences) का लाभ उठाने के लिए प्रेरित करता है—अर्थात, मोडैलिटीज के बीच ऐसे सांख्यिकीय संबंध जो स्रोत-विशिष्ट रिकॉर्डिंग स्थितियों से उत्पन्न होते हैं (जैसे, एक शांत रसोई में चाकू की आवाज़ और गति का सटीक तालमेल), न कि डोमेन-इनवेरिएंट फीचर्स (domain-invariant features) सीखने के लिए। परिणामस्वरूप, एनकोडर्स ऐसे फीचर्स उत्पन्न करते हैं जो केवल दूसरी मोडैलिटी के विशिष्ट आउटपुट के साथ जुड़ने पर ही उपयोगी होते हैं। जब इन्हें अलग स्थितियों (जैसे, एक शोर वाली रसोई) वाले लक्षित डोमेन में तैनात किया जाता है, तो ये सीखे गए को-करेंस टूट जाते हैं, जिससे प्रदर्शन में गिरावट आती है। अनुभवजन्य विश्लेषण पुष्टि करता है कि फ्यूजन प्रशिक्षण के कारण एनकोडर्स लो-रैंक सबस्पेस (low-rank subspaces) में सिमट जाते हैं, जिससे वे उन फीचर आयामों (feature dimensions) को त्याग देते हैं जो स्वतंत्र रूप से सामान्यीकरण (generalize) कर सकते थे।

कार्यप्रणाली: मोडैलिटी-एन्ट्रॉपी रेगुलराइजेशन (MER-DG)
फ्यूजन ओवरफिटिंग का मुकाबला करने के लिए, लेखक MER-DG प्रस्तावित करते हैं, जो एक आर्किटेक्चर-अज्ञेइक (architecture-agnostic) रेगुलराइज़र है जो प्रत्येक एनकोडर के फीचर डिस्ट्रीब्यूशन की एन्ट्रॉपी को स्वतंत्र रूप से अधिकतम करता है। मुख्य अंतर्दृष्टि यह है कि एन्ट्रॉपी को अधिकतम करना फीचर विविधता को सुरक्षित रखता है, यह सुनिश्चित करता है कि फ्यूजन के लिए आवश्यक विशेषज्ञता प्रक्रिया के दौरान डोमेन-इनवेरिएंट फीचर्स को त्यागा न जाए।

यह विधि डिफरेंशियल एन्ट्रॉपी मैक्सिमाइजेशन ऑब्जेक्टिव को प्रत्येक मोडैलिटी के फीचर एम्बेडिंग्स $Z$ पर लागू दो योगात्मक (additive) लॉस टर्म्स में विभाजित करती है:

मार्जिनल-एन्ट्रॉपी लॉस ( $L_{marg}$ ): यह टर्म प्रति-डायमेंशन कोलैप्स को रोकता है और एक वेरिएंस फ्लोर (variance floor) लागू करता है। यह एक हिंज लॉस (hinge loss) का उपयोग करता है ताकि प्रत्येक फीचर डायमेंशन का मानक विचलन ( $\sigma_d$ ) एक लक्षित स्केल ( $\gamma=1$ ) से ऊपर बना रहे, जिससे डायमेंशन्स निष्क्रिय होने से बच सकें।
स्पेक्ट्रल-एन्ट्रॉपी लॉस ( $L_{spec}$ ): यह टर्म कोरिलेशन मैट्रिक्स के लॉग-डिटरमिनेंट को अधिकतम करके डायमेंशन्स के बीच रेडंडेंसी (redundancy) को कम करता है। यह फीचर्स को अन-कोरिलेटेड (uncorrelated) होने के लिए प्रोत्साहित करता है, जिससे जानकारी को एक लो-डायमेंशनल सबस्पेस में सिमटने के बजाय स्वतंत्र अक्षों (independent axes) पर फैलाया जा सके।

कुल प्रशिक्षण ऑब्जेक्टिव बेस टास्क लॉस ( $L_{base}$ ) को सभी मोडैलिटीज में इन रेगुलराइजेशन टर्म्स के योग के साथ जोड़ता है:
$L_{total} = L_{base} + \lambda \sum_{m=1}^{M} (\alpha_{marg} L_{marg}(Z^{(m)}) + \alpha_{spec} L_{spec}(Z^{(m)}))$

मुख्य योगदान

फ्यूजन ओवरफिटिंग की पहचान: शोध पत्र औपचारिक रूप से उस घटना की पहचान और विश्लेषण करता है जहाँ MMDG में संयुक्त अनुकूलन, डोमेन-इनवेरिएंट फीचर्स की कीमत पर स्रोत-विशिष्ट क्रॉस-मोडल को-करेंस के लिए एनकोडर्स को ओवरफिट होने के लिए मजबूर करता है।
MER-DG का प्रस्ताव: लेखक एक सरल, योगात्मक रेगुलराइज़र पेश करते हैं जो फीचर एन्ट्रॉपी को अधिकतम करता है। इसे किसी भी मल्टीमॉडल फ्रेमवर्क के साथ संगत बनाने के लिए डिज़ाइन किया गया है जिसमें अलग-अलग एनकोडर और एक फ्यूजन मॉड्यूल होता है।
तंत्र का अनुभवजन्य सत्यापन: क्रॉस-डोमेन अलाइनमेंट, स्पेक्ट्रल रैंक, डोमेन क्लासिफिकेशन और स्टैंडअलोन एनकोडर प्रदर्शन जैसे व्यापक विश्लेषण के माध्यम से, शोध पत्र प्रदर्शित करता है कि मानक फ्यूजन प्रशिक्षण एनकोडर की विविधता को कम करता है और MER-DG इसे सफलतापूर्वक पुनर्स्थापित करता है।
प्रदर्शन लाभ: विधि को EPIC-Kitchens और HAC बेंचमार्क पर सत्यापित किया गया है, जो मानक फ्यूजन और स्टेट-ऑफ-द-आर्ट (SOTA) MMDG विधियों की तुलना में निरंतर सुधार दिखाता है।

प्रायोगिक परिणाम
लेखकों ने मल्टी-सोर्स और सिंगल-सोर्स सेटिंग्स में चार बेसलाइन्स (Standard Fusion, Cross-Modal Contrastive, SimMMDG, और CMRF) पर MER-DG का मूल्यांकन किया।

मल्टी-सोर्स DG: MER-DG ने EPIC-Kitchens और HAC पर स्टैंडर्ड फ्यूजन आर्किटेक्चर की तुलना में लगभग 5% और SOTA विधियों (SimMMDG और CMRF) की तुलना में 2% का औसत सुधार प्राप्त किया।
सिंगल-सोर्स DG: अधिक चुनौतीपूर्ण सिंगल-सोर्स सेटिंग में भी समान सुधार देखे गए, जिसमें HAC डेटासेट पर SimMMDG पर 3.00% तक का लाभ हुआ।
स्टैंडअलोन एनकोडर रिकवरी: एक महत्वपूर्ण निष्कर्ष यह है कि MER-DG व्यक्तिगत एनकोडर्स के स्टैंडअलोन प्रदर्शन को लगभग स्वतंत्र प्रशिक्षण स्तरों तक बहाल कर देता है। उदाहरण के लिए, EPIC-Kitchens पर, वीडियो एनकोडर की आउट-ऑफ-डोमेन सटीकता स्टैंडर्ड फ्यूजन के 56.53% से सुधरकर MER-DG के साथ 58.61% हो गई, जो एक स्वतंत्र रूप से प्रशिक्षित यूनिमोडल मॉडल द्वारा प्राप्त 59.46% के करीब है। यह पुष्टि करता है कि रेगुलराइज़र विशेष रूप से फ्यूजन ट्रेनिंग द्वारा प्रेरित फीचर लॉस का मुकाबला करता है।
एब्लेशन (Ablation): यह पाया गया कि इष्टतम प्रदर्शन के लिए मार्जिनल और स्पेक्ट्रल दोनों लॉस टर्म आवश्यक हैं; संयुक्त दृष्टिकोण की तुलना में अकेले किसी एक का उपयोग करने से उप-इष्टतम (suboptimal) परिणाम मिले।

महत्व और दावे
शोध पत्र का दावा है कि MER-DG मल्टीमॉडल लर्निंग की एक मौलिक सीमा को संबोधित करता है: संयुक्त अनुकूलन की वह प्रवृत्ति जिसमें डोमेन-इनवेरिएंट जानकारी को स्रोत-विशिष्ट सह-संबंधों (correlations) के पक्ष में त्याग दिया जाता है। एन्ट्रॉपी मैक्सिमाइजेशन के माध्यम से रिप्रेजेंटेशनल विविधता को बनाए रखकर, MER-DG मॉडल्स को तब मजबूती से सामान्यीकरण करने में सक्षम बनाता है जब क्रॉस-मोडल को-करेंस बदल जाते हैं। लेखक इस बात पर जोर देते हैं कि इस विधि के लिए न्यूनतम कंप्यूटेशनल ओवरहेड की आवश्यकता है, यह एक योगात्मक लॉस टर्म के रूप में सहजता से एकीकृत होता है, और यह किसी विशिष्ट आर्किटेक्चरल बदलाव पर निर्भर नहीं है, जो इसे वास्तविक दुनिया के परिनियोजन (deployment) परिदृश्यों में मल्टीमॉडल सिस्टम की मजबूती में सुधार के लिए एक व्यावहारिक समाधान बनाता है।

बड़ी समस्या: "परफेक्ट डेट" का जाल

समाधान: MER-DG (एक "सोलो प्रैक्टिस" कोच)

जब वे इसे आज़माते हैं तो क्या होता है?

यह क्यों महत्वपूर्ण है (पेपर के अनुसार)

इसी तरह के और पेपर