📊 statistics

Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance

यह शोध पत्र क्लास इम्बैलेंस (वर्ग असंतुलन) के तहत सेमी-सुपरवाइज्ड लर्निंग के लिए एक मल्टीमॉडल डीप जेनरेटिव मॉडल प्रस्तावित करता है जो साझा लेटेंट वेरिएबल्स, हेवी-टेल्ड डेटा विशेषताओं को कैप्चर करने के लिए स्टूडेंट टी-डिस्ट्रीब्यूशन और आंशिक रूप से लेबल किए गए, इम्बैलेंस्ड मल्टीमॉडल डेटासेट पर मौजूदा विधियों से बेहतर प्रदर्शन करने के लिए एक $\gamma$ -पावर डाइवर्जेंस ऑब्जेक्टिव का लाभ उठाता है।

मूल लेखक: Heegeon Yoon, Heeyoung Kim

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Heegeon Yoon, Heeyoung Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को विभिन्न प्रकार के फल पहचानना सिखाने की कोशिश कर रहे हैं। आपके पास तस्वीरों का एक बहुत बड़ा ढेर है, लेकिन एक समस्या है: आपके पास सेबों की हजारों तस्वीरें हैं, लेकिन दुर्लभ, विदेशी बेरीज (berries) की केवल कुछ ही तस्वीरें हैं।

यदि आप रोबोट को पूरा ढेर दिखा देते हैं, तो वह सेब पहचानने में बहुत अच्छा हो जाएगा, लेकिन वह शायद हर दुर्लभ बेरी को एक अजीब दिखने वाला सेब समझ लेगा। यह क्लास इम्बैलेंस (class imbalance) की समस्या है।

अब, कल्पना कीजिए कि रोबोट केवल तस्वीरें नहीं देखता; वह फलों का विवरण भी सुनता है और उनकी बनावट (texture) को महसूस भी करता है (यदि उसमें सेंसर हों)। यह मल्टीमॉडल डेटा (multimodal data) है (एक साथ विभिन्न प्रकार की जानकारी का उपयोग करना)।

अंत में, कल्पना कीजिए कि आपके पास केवल सेबों के लेबल (नाम) हैं, लेकिन दुर्लभ बेरीज बिना लेबल वाली हैं। आपको बेरीज के बारे में अनुमान लगाना होगा कि वे क्या हैं, उन कुछ सेबों के आधार पर जिन्हें आप जानते हैं। यह सेमी-सुपरवाइज्ड लर्निंग (semi-supervised learning) है।

यह पेपर SSMVAE-CI नामक एक नया AI मॉडल पेश करता है जिसे इन तीनों समस्याओं को एक साथ हल करने के लिए डिज़ाइन किया गया है: "दुर्लभ फल" की समस्या को संभालना, कई इंद्रियों (दृष्टि, ध्वनि, पाठ) का उपयोग करना, और ज्यादातर बिना लेबल वाले डेटा से सीखना।

यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) के माध्यम से दिया गया है:

1. "विशेषज्ञ टीम" दृष्टिकोण (Multimodal Encoders)

अधिकांश AI मॉडल सभी डेटा (फोटो, टेक्स्ट, ऑडियो) को शुरुआत में ही एक विशाल ब्लेंडर में मिलाने की कोशिश करते हैं। लेखक कहते हैं, "नहीं, विशेषज्ञों को अलग रहने दें।"

उपमा: एक जासूसी टीम की कल्पना करें। एक जासूस फोटो का विशेषज्ञ है, दूसरा ऑडियो का, और तीसरा टेक्स्ट का। वे अपने सुरागों को तुरंत नहीं मिलाते। इसके बजाय, वे प्रत्येक एक रिपोर्ट लिखते हैं कि उन्होंने क्या देखा, और फिर वे नोट्स की तुलना करने के लिए एक "केंद्रीय कमरे" (लेटेंट स्पेस - latent space) में मिलते हैं।
लाभ: यह मॉडल को यह समझने में मदद करता है कि एक बेरी की तस्वीर और एक बेरी का टेक्स्ट विवरण आपस में संबंधित हैं, भले ही वे दिखने में बहुत अलग हों। मॉडल "प्रोडक्ट-ऑफ-एक्सपर्ट्स" (Product-of-Experts) विधि का उपयोग करता है, जो एक टीम द्वारा अंतिम निष्कर्ष पर वोट देने जैसा है, न कि उन्हें डेटा देखने से पहले ही सहमत होने के लिए मजबूर करने जैसा।

2. "हैवी-टेल्ड" सुरक्षा जाल (Student's t-Distribution)

मानक AI मॉडल आमतौर पर यह मानते हैं कि डेटा एक आदर्श बेल कर्व (Gaussian distribution) की तरह वितरित होता है। बेल कर्व में, "दुर्लभ" चीजें (tails) इतनी पतली होती हैं कि मॉडल अक्सर उन्हें अनदेखा कर देता है या उन्हें सामान्य चीजों जैसा दिखाने की कोशिश करता है।

उपमा: कल्पना कीजिए कि बेल कर्व एक रस्सी (tightrope) की तरह है। यदि आप एक दुर्लभ बेरी हैं, तो आप रस्सी से बहुत दूर गहरी घास में हैं। एक मानक मॉडल आपको वापस रस्सी पर खींचने की कोशिश करता है, जिससे आप सेब की तरह दिखने लगते हैं।
समाधान: यह पेपर रस्सी को बदलकर एक चौड़े, ट्रैम्पोलिन जैसे जाल (Student's t-distribution) से बदल देता है। इस जाल के "हैवी टेल्स" (heavy tails) होते हैं, जिसका अर्थ है कि इसमें गहरी घास में भी पर्याप्त जगह है। यह दुर्लभ बेरीज को वहीं रहने की अनुमति देता है जहाँ वे स्वाभाविक रूप से होनी चाहिए, बिना उन्हें सेब की तरह दिखने के लिए मजबूर किए। यह मॉडल को दुर्लभ डेटा को सामान्य पैटर्न में जबरदस्ती ढालने (over-regularizing) से रोकता है।

3. "स्मार्ट गेसिंग" गेम ( $\gamma$ -Power Divergence)

मॉडल को लेबल वाले सेबों और बिना लेबल वाली बेरीज दोनों से सीखने की आवश्यकता है। इसके लिए, यह $\gamma$ -पावर डायवर्जेंस ( $\gamma$ -power divergence) नामक एक विशेष गणितीय उपकरण का उपयोग करता है।

उपमा: इसे एक लचीले रूलर (पैमाने) के रूप में सोचें। एक मानक रूलर (जैसे KL divergence) कठोर है; यदि डेटा पूरी तरह से फिट नहीं बैठता है, तो यह टूट जाता है या भ्रमित हो जाता है। $\gamma$ -पावर रूलर लचीला और उदार है। यह मॉडल को यह कहने की अनुमति देता है, "मैं जानता हूँ कि यह दुर्लभ बेरी उन सेबों जैसी बिल्कुल नहीं दिखती जो मैंने देखे हैं, लेकिन यह बेरी होने के लिए काफी करीब है, और मैं इसे अलग होने के लिए बहुत अधिक दंडित नहीं करूँगा।"
परिणाम: यह मॉडल को प्रभावी ढंग से सीखने में मदद करता है, भले ही डेटा अव्यवस्थित, असंतुलित या अधूरा हो।

4. जब डेटा गायब हो तो क्या होता है?

वास्तविक दुनिया में, कभी-कभी आपके पास एक फोटो होती है लेकिन कोई ऑडियो नहीं होता, या टेक्स्ट होता है लेकिन कोई इमेज नहीं होती।

उपमा: यदि एक जासूसी टीम का एक सदस्य खो जाता है (उदाहरण के लिए, ऑडियो विशेषज्ञ बीमार है), तो एक कठोर टीम काम करना बंद कर सकती है। लेकिन क्योंकि यह मॉडल "चौड़े जाल" (t-distribution) और "विशेषज्ञ" दृष्टिकोण का उपयोग करता है, इसलिए यह केवल फोटो और टेक्स्ट का उपयोग करके एक अच्छा अनुमान लगा सकता है। यह गायब डेटा को एक "सॉफ्ट" सिग्नल के रूप में मानता है न कि एक पूर्ण विराम के रूप में, जिससे यह अधूरे नमूनों से सीखने के लिए उन्हें फेंकने के बजाय उनका उपयोग कर पाता है।

परिणाम

लेखकों ने वास्तविक दुनिया के परिदृश्यों पर इस मॉडल का परीक्षण किया:

हस्तलिखित अंक बनाम घर के नंबर: दो प्रकार के इमेज का मिश्रण।
खाद्य चित्र और रेसिपी: फोटो और टेक्स्ट का मिश्रण।
वीडियो, ऑडियो और टेक्स्ट: लोगों के बोलने से जुड़े तीन प्रकार के डेटा का मिश्रण।

हर परीक्षण में, विशेष रूप से जब "दुर्लभ" क्लासेस बहुत कम थीं और डेटा में लेबल गायब थे, इस नए मॉडल ने मौजूदा तरीकों से बेहतर प्रदर्शन किया। यह विशेष रूप से उन "दुर्लभ फलों" (minority classes) को सही ढंग से पहचानने में उत्कृष्ट था जिन्हें अन्य मॉडल बार-बार "सेब" (majority classes) के रूप में गलत पहचानते थे।

संक्षेप में: इस पेपर ने एक स्मार्ट, अधिक लचीला AI बनाया है जो विशेषज्ञों की एक टीम, दुर्लभ डेटा के लिए एक चौड़े सुरक्षा जाल और एक उदार रूलर का उपयोग करता है, ताकि वह पिछले तरीकों की तुलना में अव्यवस्थित, अधूरे और असंतुलित जानकारी से बेहतर सीख सके।

तकनीकी सारांश: क्लास इम्बैलेंस के तहत सेमी-सुपरवाइज्ड लर्निंग के लिए मल्टीमॉडल डीप जेनेरेटिव मॉडल

समस्या विवरण
डीप न्यूरल नेटवर्क (DNNs) अक्सर क्लास-इम्बेलेन्स्ड (वर्ग-असंतुलित) डेटा के साथ संघर्ष करते हैं, जो बहुसंख्यक वर्गों (majority classes) की ओर पक्षपाती होते हैं और अल्पसंख्यक वर्गों (minority classes) पर खराब सामान्यीकरण (generalization) प्रदर्शित करते हैं। यह समस्या सेमी-सुपरवाइज्ड लर्निंग (SSL) सेटिंग्स में और बढ़ जाती है जहाँ असंतुलित लेबल वाले डेटा के आधार पर अनलेबल डेटा के लिए छद्म-लेबल (pseudo-labels) उत्पन्न किए जाते हैं, जिससे पक्षपात फैलता और सुदृढ़ होता है। इसके अलावा, वास्तविक दुनिया का डेटा अक्सर मल्टीमॉडल (विविध स्रोतों जैसे चित्र और पाठ को संयोजित करना) होता है, फिर भी मौजूदा समाधान आमतौर पर क्लास इम्बैलेंस, मल्टीमोडैलिटी, या आंशिक पर्यवेक्षण (partial supervision) को अलग-थलग से संबोधित करते हैं। बहुत कम विधियाँ इन तीनों चुनौतियों के मिलन बिंदु को संबोधित करती हैं, और जो करती भी हैं, वे डोमेन-विशिष्टता की कमी वाले या भारी कंप्यूटेशनल संसाधनों की आवश्यकता वाले ज़ीरो-शॉट फाउंडेशन मॉडल्स पर निर्भर करती हैं। मूल समस्या एक ऐसे एकीकृत ढांचे की कमी है जो आंशिक रूप से लेबल किए गए, मल्टीमॉडल डेटा पर मजबूती से प्रशिक्षण लेने में सक्षम हो।

कार्यप्रणाली: SSMVAE-CI
लेखक SSMVAE-CI (Semi-Supervised Multimodal Variational Autoencoder for Class-Imbalanced Learning) का प्रस्ताव करते हैं। यह एक एकीकृत जेनेरेटिव फ्रेमवर्क है जो तीन प्रमुख तकनीकी घटकों को एकीकृत करता है:

प्रोडक्ट-ऑफ-एक्सपर्ट्स (PoE) के साथ मल्टीमॉडल आर्किटेक्चर:
यह मॉडल $M$ मोडैलिटीज़ ( $x_1, ..., x_M$ ) को संभालने के लिए सेमी-सुपरवाइजेड VAE फ्रेमवर्क का विस्तार करता है। यह मोडैलिटी-विशिष्ट एनकोडर का उपयोग करता है जो एक साझा लेटेंट स्पेस (latent space) साझा करते हैं जिसमें एक निरंतर लेटेंट वेरिएबल $z$ और एक डिस्क्रीट क्लास वेरिएबल $y$ होता है। एक प्रायर एक्सपर्ट (prior expert) पर आधारित व्यक्तिगत मोडैलिटी पोस्टेरियर्स के बिना जॉइंट पोस्टेरियर $p(y, z | x_1, ..., x_M)$ के अनुमान की जटिलता को प्रबंधित करने के लिए, मॉडल एक प्रोडक्ट-ऑफ-एक्सपर्ट्स (PoE) फ्रेमवर्क का उपयोग करता है। यह जॉइंट पोस्टेरियर को एक प्रायर एक्सपर्ट पर आधारित व्यक्तिगत मोडैलिटी पोस्टेरियर्स के उत्पाद के रूप में अनुमानित करता है, जिसे गणितीय रूप से इस प्रकार व्यक्त किया गया है:
$q_\phi(y, z|x_1, ..., x_M) = q_\phi(y|x_1, ..., x_M)p(z) \prod_{m=1}^M q_\phi(z|x_m, y)$
यह कई मोडैलिटीज़ में स्केलेबल इन्फरेंस (inference) की अनुमति देता है।
हेवी-टेल्ड डिस्ट्रीब्यूशन (स्टूडेंट्स t):
क्लास इम्बैलेंस को संबोधित करने के लिए, मॉडल विशिष्ट VAEs में उपयोग किए जाने वाले मानक गॉसियन डिस्ट्रीब्यूशन के स्थान पर प्रायर, एनकोडर और डिकोडर के लिए स्टूडेंट्स t-डिस्ट्रीब्यूशन (Student's t-distributions) का उपयोग करता है। t-डिस्ट्रीब्यूशन की हेवी-टेल्ड प्रकृति मॉडल को लेटेंट स्पेस के विरल क्षेत्रों (sparse regions) में, जहाँ अल्पसंख्यक-वर्ग के नमूने स्थित होते हैं, गैर-नगण्य संभाव्यता घनत्व बनाए रखने की अनुमति देती है। यह अल्पसंख्यक नमूनों के अत्यधिक नियमितीकरण (over-regularization) को रोकता है जो अक्सर गॉसियन प्रायर के साथ होता है, जिससे अर्थपूर्ण लेकिन कम प्रतिनिधित्व वाले पैटर्न सुरक्षित रहते हैं।
$\gamma$ -पावर डायवर्जेंस ऑब्जेक्टिव:
लेखक लेबल और अनलेबल दोनों डेटा पर मॉडल को प्रशिक्षित करने के लिए $\gamma$ -पावर डायवर्जेंस पर आधारित एक नया ऑब्जेक्टिव फंक्शन व्युत्पन्न करते हैं।

लेबल किए गए डेटा के लिए, ऑब्जेक्टिव $\gamma$ -लॉस (t3VAE में प्रयुक्त) का विस्तार करता है ताकि इसमें देखा गया क्लास वेरिएबल $y$ शामिल हो सके।
अनलेबल डेटा के लिए, क्लास वेरिएबल $y$ को लेटेंट माना जाता है। ऑब्जेक्टिव $\gamma$ -डायवर्जेंस के माध्यम से $y$ को मार्जिनलाइज करता है, जिससे एक ट्रैक्टेबल लोअर बाउंड प्राप्त होता है जो ELBO के समान है।
समग्र ऑब्जेक्टिव जेनेरेटिव लॉस को क्लासिफिकेशन लॉस के साथ जोड़ता है, जिसे एक हाइपरपैमीटर $\alpha$ द्वारा भारित (weighted) किया जाता है, जो सुसंगत लेटेंट प्रतिनिधित्व और क्लासिफिकेशन प्रदर्शन के बीच संतुलन बनाता है।

प्रमुख योगदान
पेपर पाँच प्राथमिक योगदानों का दावा करता है:

एकीकृत ढांचा: यह एक ही संभाव्य ढांचे के भीतर सेमी-सुपरविजन, मल्टीमोडैलिटी और क्लास इम्बैलेंस को संयुक्त रूप से संबोधित करने वाला पहला जेनेरेटिव मॉडल है, जो इन चुनौतियों की विभिन्न मॉडलिंग आवश्यकताओं को संतुलित करता है।
PoE इन्फरेंस मैकेनिज्म: यह एक PoE इन्फरेंस मैकेनिज्म विकसित करता है जो कई मोडैलिटीज़ में निरंतर और डिस्क्रीट लेटेंट वेरिएबल्स का समर्थन करता है, जिससे लचीला और स्केलेबल मॉडलिंग संभव होता है।
सामान्यीकृत हेवी-टेल्ड मॉडलिंग: यह क्लास इम्बैलेंस के प्रति मजबूती बढ़ाने के लिए मल्टीमॉडल, सेमी-सुपरवाइज्ड सेटिंग में स्टूडेंट्स t-डिस्ट्रीब्यूशन के उपयोग को सामान्यीकृत करता है।
नया ऑब्जेक्टिव फंक्शन: यह $\gamma$ -पावर डायवर्जेंस पर आधारित एक नया प्रशिक्षण ऑब्जेक्टिव व्युत्पन्न करता है, जो असंतुलित वितरणों के तहत लेबल और अनलेबल दोनों डेटा से स्थिर और अभिव्यंजक शिक्षण सुनिश्चित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से सिद्ध होता है कि यह मॉडल सेमी-सुपरवाइज्ड, मल्टीमॉडल और क्लास-इम्बैलेंस्ड सेटिंग्स में बेसलाइन विधियों पर लगातार बेहतर प्रदर्शन करता है।

प्रायोगिक परिणाम
मॉडल का मूल्यांकन तीन डेटासेट्स पर किया गया:

MNIST-SVKB: एक सिंथेटिक मल्टीमॉडल डेटासेट जो हस्तलिखित अंकों और घर के नंबरों को जोड़ता है।
UPMC Food-101: खाद्य छवियों और पाठ विवरणों वाला एक वास्तविक दुनिया का डेटासेट।
CMU-MOSEI: सेंटीमेंट एनालिसिस के लिए वीडियो, ऑडियो और टेक्स्ट मोडैलिटीज़ वाला एक जटिल डेटासेट।

प्रदर्शन हाइलाइट्स:

श्रेष्ठ सटीकता: SSMVAE-CI ने समग्र सटीकता और अल्पसंख्यक-वर्ग सटीकता दोनों में बेसलाइन्स (CReST, Adsh, और LDAM जैसे SSL, इम्बैलेंस हैंडलिंग और फ्यूजन रणनीतियों को संयोजित करने वाली मिश्रित विधियों सहित) को लगातार पछाड़ दिया।
इम्बैलेंस के प्रति मजबूती: प्रदर्शन में सुधार सबसे अधिक उच्च इम्बैलेंस अनुपात ( $r=100$ ) और कम लेबल डेटा अनुपात ( $\beta=10\%$ ) पर देखा गया। उदाहरण के लिए, MNIST-SVKB पर $r=100$ और $\beta=10\%$ के साथ, मॉडल ने 74.79% समग्र सटीकता और 59.07% अल्पसंख्यक सटीकता प्राप्त की, जो अगले सर्वश्रेष्ठ बेसलाइन से काफी बेहतर है।
लुप्त मोडैलिटीज़ को संभालना: उन प्रयोगों में जहाँ आधे प्रशिक्षण डेटा के लिए एक मोडैलिटी गायब थी, पूर्ण डेटासेट (अपूर्ण नमूनों सहित) पर प्रशिक्षित SSMVAE-CI ने बेसलाइन्स या केवल पूर्ण डेटा पर प्रशिक्षित मॉडलों की तुलना में सबसे कम प्रदर्शन गिरावट (2.08% समग्र सटीकता) दिखाई। यह मॉडल की अपूर्ण नमूनों को प्रशिक्षण संकेतों के रूप में उपयोग करने की क्षमता को प्रदर्शित करता है।
एब्लेशन अध्ययन (Ablation Studies): स्टूडेंट्स t-डिस्ट्रीब्यूशन को हटाने (गॉसियन में वापस जाने) या PoE संरचना को हटाने (सरल फ्यूजन में वापस जाने) से प्रदर्शन में महत्वपूर्ण गिरावट आई, जो क्लास इम्बैलेंस और मल्टीमॉडल सहसंबंधों को संभालने के लिए दोनों घटकों की आवश्यकता की पुष्टि करता है।

महत्व और दावे
पेपर का तर्क है कि SSMVAE-CI उन डोमेन के लिए एक संरचित, डेटा-कुशल दृष्टिकोण प्रदान करता है जहाँ डेटा स्वाभाविक रूप से मल्टीमॉडल, आंशिक रूप से लेबल किया गया और असंतुलित है। लेखक मेडिकल डायग्नोसिस (जैसे, एक्स-रे को रोगी के इतिहास के साथ जोड़ना जहाँ बीमारी के मामले दुर्लभ होते हैं) और वित्तीय जोखिम मूल्यांकन (जैसे, मल्टीमॉडल ट्रांजेक्शन डेटा में धोखाधड़ी का पता लगाना) में संभावित अनुप्रयोगों पर प्रकाश डालते हैं।

लेखक एक मध्यम सैद्धांतिक रुख रखते हैं, यह स्वीकार करते हुए कि जबकि मॉडल व्यापक अनुभवजन्य सत्यापन प्रदान करता है, संभाव्य घटकों की विषमता के कारण औपचारिक अभिसरण (convergence) या सामान्यीकरण गारंटी व्युत्पन्न नहीं की गई है। हालाँकि, वे जोर देते हैं कि एकीकृत संभाव्य फॉर्मूलेशन क्लास इम्बैलेंस के प्रति मजबूती बनाए रखते हुए सेमी-सुपरवाइज्ड मल्टीमॉडल लर्निंग के लिए सैद्धांतिक निरंतरता सुनिश्चित करता है, जो उस अंतर को भरता है जिसे न तो MVAE और न ही t3VAE व्यक्तिगत रूप से भर सकते थे। लेबल किए गए और अनलेबल सेटों के बीच वितरण बेमेल (distribution mismatches) को संबोधित करने के लिए भविष्य के कार्य प्रस्तावित किए गए हैं।

1. "विशेषज्ञ टीम" दृष्टिकोण (Multimodal Encoders)

2. "हैवी-टेल्ड" सुरक्षा जाल (Student's t-Distribution)

3. "स्मार्ट गेसिंग" गेम (γ\gammaγ-Power Divergence)

4. जब डेटा गायब हो तो क्या होता है?

परिणाम

इसी तरह के और पेपर

3. "स्मार्ट गेसिंग" गेम ( $\gamma$ -Power Divergence)