🤖 AI

Disentanglement of Variations with Multimodal Generative Modeling

यह शोध पत्र इन्फॉर्मेशन-डिसेंटैंगल्ड मल्टीमॉडल VAE (IDMVAE) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो साझा और निजी सूचना के बेहतर डिसेंटैंगलमेंट को प्राप्त करने के लिए म्यूचुअल इन्फॉर्मेशन-आधारित रेगुलराइजेशन और डिफ्यूजन मॉडल्स को जोड़ता है, जिसके परिणामस्वरूप मल्टीमॉडल डेटा के लिए उन्नत जनरेशन गुणवत्ता और सिमेंटिक कोहेरेंस प्राप्त होती है।

मूल लेखक: Yijie Zhang, Yiyang Shen, Weiran Wang

प्रकाशित 2026-08-12

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yijie Zhang, Yiyang Shen, Weiran Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं। आप केवल चाहते हैं कि वह बिल्ली की एक तस्वीर न देखे; आप चाहते हैं कि वह एक साथ म्याऊं की आवाज़ सुने, कैप्शन पढ़े और फर (fur) को महसूस करे। यह मल्टीमॉडल लर्निंग (multimodal learning) की दुनिया है, जहाँ कंप्यूटर उस डेटा को समझने की कोशिश करते हैं जो अलग-अलग रूपों में आता है—जैसे दृष्टि, ध्वनि और पाठ (text)। सबसे बड़ी चुनौती यह पता लगाना है कि इन विभिन्न दृश्यों के कौन से हिस्से समान हैं (वह "साझा" सत्य, जैसे कि यह एक बिल्ली है) और कौन से हिस्से अद्वितीय हैं (वे "निजी" विवरण, जैसे कि फोटो का विशिष्ट बैकग्राउंड या आवाज़ का लहजा)।

इसे करने के लिए, वैज्ञानिक अक्सर एक उपकरण का उपयोग करते हैं जिसे वेरिएशनल ऑटोएनकोडर (Variational Autoencoder - VAE) कहा जाता है। एक VAE को एक सुपर-स्मार्ट कंप्रेशन मशीन के रूप में समझें। यह एक जटिल इनपुट लेता है, उसे एक छोटे, कुशल सारांश (एक "लेटेंट कोड") में सिकोड़ देता है, और फिर मूल छवि या ध्वनि को वापस अन-सिकोड़ने (un-squish) की कोशिश करता है। लक्ष्य इस सारांश को इतना साफ बनाना है कि "साझा" तथ्य और "निजी" विवरण अलग-अलग दराजों में करीने से व्यवस्थित हो जाएं। यदि दराजें आपस में मिल जाती हैं, तो रोबोट भ्रमित हो जाएगा: वह सोच सकता है कि बैकग्राउंड का रंग बिल्ली की पहचान का हिस्सा है, या वह बिल्ली के आकार को भूल सकता है क्योंकि वह बैकग्राउंड को याद करने में बहुत व्यस्त है।

यह शोध पत्र इन दराजों को व्यवस्थित करने का एक नया, अधिक स्मार्ट तरीका पेश करता है। शोधकर्ताओं, आइओवा विश्वविद्यालय के यिजिए झांग, यियांग शेन और वीरान वांग ने एक प्रणाली प्रस्तावित की है जिसे IDMVAE (इन्फॉर्मेशन-डिसेन्टैंगल्ड मल्टीमॉडल VAE) कहा जाता है। उन्होंने पाया कि पिछले तरीकों में अक्सर दराजें अव्यवस्थित रहती थीं, जिससे साझा और निजी जानकारी आपस में मिल जाती थी, जिसके कारण जब रोबोट नया डेटा बनाने की कोशिश करता था, तो परिणाम धुंधले या बेतुके होते थे। उनका समाधान तीन चतुर युक्तियों (tricks) में शामिल है जो सूचना को अलग करने और उसे व्यवस्थित रखने के लिए मजबूर करती हैं।

समस्या: बिखरा हुआ बैकपैक

कल्पना कीजिए कि आपके पास एक बैकपैक (कंप्यूटर मॉडल) है जहाँ आपको दो प्रकार की चीजें रखनी हैं: सार्वभौमिक तथ्य (जैसे "यह एक पक्षी है") और व्यक्तिगत विशेषताएँ (जैसे "यह पक्षी बाईं ओर देख रहा है")। पुराने मॉडलों में, ये चीजें आपस में उलझ जाती थीं। यदि आप केवल "पक्षी" वाले तथ्य को किसी दूसरे पक्षी को दिखाने के लिए बाहर निकालने की कोशिश करते हैं, तो आप गलती से उसके साथ "बाईं ओर देखने" वाली विशेषता को भी खींच ला सकते हैं, जिससे नया पक्षी अजीब दिखने लगेगा। या, यदि आप दिशा बदलने की कोशिश करते हैं, तो आप अनजाने में प्रजाति को भी बदल सकते हैं।

लेखकों का तर्क है कि केवल छवि का पुनर्निर्माण (reconstruction) करने की कोशिश करना (मूल के समान अन-सिकोड़ी हुई संस्करण बनाना) इन चीजों को अलग रखने के लिए पर्याप्त नहीं है। कंप्यूटर "शॉर्टकट" ढूंढ सकता है, साझा तथ्यों का अनुमान लगाने के लिए निजी विवरणों का उपयोग करना, जो अलगाव को खराब कर देता है।

समाधान: IDMVAE की तीन जादुई युक्तियाँ

1. "क्रॉस-व्यू" जासूस (Cross-View Mutual Information)
पहली युक्ति एक जासूस की तरह है जो दो गवाहों से एक ही अपराध का वर्णन करने के लिए कहता है। यदि गवाह A (छवि) और गवाह B (पाठ) दोनों एक ही पक्षी के बारे में बात कर रहे हैं, तो उन्हें साझा तथ्यों पर सहमत होना चाहिए। लेखक कंप्यूटर को विभिन्न दृश्यों के "साझा" सारांशों के बीच सहमति को अधिकतम करने के लिए मजबूर करते हैं। यदि छवि से प्राप्त सारांश पाठ से प्राप्त सारांश से मेल नहीं खाता है, तो सिस्टम को दंड (penalty) दिया जाता है। यह सुनिश्चित करता है कि "साझा" दराज में केवल वही जानकारी हो जो वास्तव में सभी दृश्यों के लिए सामान्य है, जिससे शोर (noise) छन जाता है।

2. "मिक्स-एंड-मैच" खेल (Generative Augmentation)
यह सबसे मनोरंजक हिस्सा है। कल्पना कीजिए कि आपके पास बाईं ओर देखते हुए एक लाल पक्षी की फोटो है और दाईं ओर देखते हुए एक नीले पक्षी की फोटो है। लेखक कंप्यूटर को एक खेल सिखाते हैं: "लाल पक्षी से साझा हिस्सा (पक्षी होने का गुण) लो, लेकिन नीले पक्षी से निजी हिस्सा (दाईं ओर देखना) लो। अब, एक नई तस्वीर बनाओ।"

यदि कंप्यूटर ने अपना काम सही ढंग से किया है और दराजों को सही ढंग से अलग किया है, तो वह एक नई तस्वीर बना पाने में सक्षम होना चाहिए जो एक दाईं ओर देखते हुए लाल पक्षी की हो। फिर, वह अपने काम की जाँच करता है: "यदि मैं इस नई छवि को वापस मशीन में डालता हूँ, तो क्या मुझे वही 'दाईं ओर देखने' वाला कोड मिलता है जिससे मैंने शुरुआत की थी?" यदि उत्तर नहीं है, तो दराजें अभी भी अव्यवस्थित हैं। यह "साइकिल-कंसिस्टेंसी" (cycle-consistency) जाँच कंप्यूटर को ईमानदार रहने और साझा एवं निजी जानकारी को सख्ती से अलग रखने के लिए मजबूर करती है, बिना किसी इंसान द्वारा यह बताने के कि क्या क्या है।

3. "शेप-शिफ्टिंग" बैकपैक (Diffusion Priors)
अंत में, लेखकों ने महसूस किया कि "बैकपैक" (वह गणितीय स्थान जहाँ कोड रहते हैं) स्वयं बहुत सरल था। अधिकांश मॉडल मानते हैं कि कोड एक बॉक्स में बिखरी हुई कंचों की तरह यादृच्छिक (random) हैं (एक Gaussian distribution)। लेकिन वास्तविक दुनिया का डेटा अधिक जटिल है; इसमें क्लस्टर और आकार होते हैं। इसे ठीक करने के लिए, उन्होंने डिफ्यूजन मॉडल्स (Diffusion Models) का उपयोग किया। इसे एक कठोर बॉक्स से एक लचीले, आकार बदलने वाले जेल (gel) में बैकपैक को अपग्रेड करने के रूप में समझें। यह कंप्यूटर को अपने "साझा" दराज में बहुत समृद्ध, अधिक जटिल संरचनाओं को रखने की अनुमति देता है, जिससे बहुत उच्च गुणवत्ता वाले निर्माण (generations) होते हैं।

उन्होंने क्या पाया

टीम ने कई चुनौतीपूर्ण डेटासेट्स पर IDMVAE का परीक्षण किया, जिनमें शामिल हैं:

PolyMNIST-Quadrant: एक डेटासेट जहाँ अंकों (0-9) को एक अलग बैकग्राउंड के साथ एक छवि के विभिन्न कोनों में रखा गया है। लक्ष्य अंक (साझा) को कोने की स्थिति (निजी) से अलग करना था।
CUB: पक्षियों की छवियों और पाठ विवरणों का एक डेटासेट। वे पक्षी की प्रजाति (साझा) को पक्षी किस दिशा में देख रहा है (निजी, क्योंकि पाठ यह नहीं बताता कि वह किस ओर देख रहा है) से अलग करना चाहते थे।
TCGA: एक जटिल मेडिकल डेटासेट जिसमें रोगी के जीवित रहने की भविष्यवाणी करने के लिए विभिन्न प्रकार के जैविक डेटा शामिल हैं।

PolyMNIST परीक्षणों में, उनके तरीके ने साझा कोड से साझा अंक की पहचान करने में 98.3% सटीकता हासिल की, जबकि अन्य तरीकों के स्कोर बहुत कम थे। जब उन्होंने "निजी" कोड का उपयोग करके अंक की पहचान करने के लिए सिस्टम को चकमा देने की कोशिश की, तो सटीकता गिरकर 16.2% (लगभग रैंडम गेसिंग के करीब) हो गई, जो साबित करता है कि अलगाव एकदम साफ था।

CUB डेटासेट पर, उनका मॉडल इनपुट स्थितियों के साथ सुसंगत छवियां और पाठ बनाने में बेहतर था। उदाहरण के लिए, जब हमने मॉडल को पाठ के आधार पर "नीले पक्षी" की छवि बनाने के लिए कहा, तो उनके मॉडल ने पिछले मॉडलों की तुलना में रंग की निरंतरता को बहुत बेहतर बनाए रखा।

TCGA मेडिकल डेटा में, रोगी के जीवित रहने की भविष्यवाणी करने के लिए साझा और निजी कोड को मिलाने से सर्वोत्तम सटीकता मिली, जो 71.8% तक पहुँची, जिसने सभी अन्य बेसलाइन तरीकों को पीछे छोड़ दिया।

निष्कर्ष

लेखक दिखाते हैं कि इन तीन तकनीकों को एक साथ उपयोग करके—दृश्यों के बीच सहमति को मजबूर करना, मिक्स-एंड-मैच जनरेशन गेम खेलना, और अधिक लचीले "बैकपैक" का उपयोग करना—वे एक ऐसा मॉडल बना सकते हैं जो वास्तव में सार्वभौमिक और अद्वितीय के बीच के अंतर को समझता है। हालांकि वे नोट करते हैं कि पक्षी डेटासेट पर अल्ट्रा-हाई-फिडेलिटी छवियां उत्पन्न करना अभी भी थोड़ा कठिन था (संभवतः उपलब्ध डेटा की मात्रा के कारण), विधि ने मौजूदा दृष्टिकोणों की तुलना में सूचना को बेहतर ढंग से अलग (disentangle) किया। वे सुझाव देते हैं कि भविष्य में, इस तरह का साफ अलगाव रोबोटों को लापता डेटा (जैसे पक्षी को देखना लेकिन उसकी आवाज़ न सुनना) को संभालने में और भी बेहतर बनाने में मदद कर सकता है, लेकिन फिलहाल, मुख्य जीत कंप्यूटर के लिए इस बिखरी हुई, मल्टीमॉडल दुनिया से सीखने का एक बहुत स्पष्ट और अधिक व्यवस्थित तरीका है।

तकनीकी सारांश: सूचना-विभेदित बहुविध VAE (IDMVAE)

समस्या विवरण
वीडियो के साथ ऑडियो या छवियों के साथ कैप्शन जैसे बहुविध (multimodal) डेटा, विभिन्न डोमेन में प्रचलित हैं। ऐसे डेटा से सीखने में एक मुख्य चुनौती विभिन्न दृश्यों (views) से जानकारी को एकीकृत करके एक सार्वभौमिक, हस्तांतरणीय प्रतिनिधित्व (representation) बनाना है। जबकि वेरिएशनल ऑटोएनकोडर्स (VAEs) एक शक्तिशाली प्रतिमान के रूप में उभरे हैं, हालिया दृष्टिकोण पहचानते हैं कि वास्तविक दुनिया के डेटासेट में साझा सूचना (सभी मोडैलिटीज में सामान्य) और निजी सूचना (मोडैलिटी-विशिष्ट) दोनों शामिल होते हैं।

मौजूदा विधियाँ इन घटकों को दो विलत चर (latent variables) का उपयोग करके अलग करने का प्रयास करती हैं: साझा सूचना के लिए $z$ और मोडैलिटी $m$ के लिए निजी सूचना $w_m$ । हालाँकि, ये विधियाँ अधिकतम विभेदीकरण (disentanglement) प्राप्त करने में संघर्ष करती हैं, विशेष रूप से चुनौतीपूर्ण डेटासेट पर जहाँ संभावना मॉडल (likelihood model) अपर्याप्त होता है। स्वच्छ पृथक्करण के बिना, साझा सूचना निजी एन्कोडिंग में और इसके विपरीत लीक हो जाती है, जिसके परिणामस्वरूप कमजोर क्रॉस-मोडल सुसंगति (coherence), मॉडल क्षमता की बर्बादी और अपर्याप्त जनरेटिव गुणवत्ता होती है। संबोधित किया गया केंद्रीय प्रश्न यह है: हम साझा और निजी चरों के बीच अधिकतम विभेदीकरण कैसे प्राप्त कर सकते हैं ताकि सीखे गए प्रतिनिधित्व पूर्ण और गैर-अनावश्यक (non-redundant) हों?

कार्यप्रणाली (Methodology)
लेखक इन्फॉर्मेशन-डिसेंटैंगल्ड मल्टीमॉडल VAE (IDMVAE) का प्रस्ताव करते हैं, जो एक ढांचा है जो कठोर म्यूचुअल इन्फॉर्मेशन (MI) नियमितीकरण (regularization) को डिफ्यूजन-आधारित प्रायर्स (priors) के साथ जोड़ता है। मॉडल यह मानता है कि प्रत्येक मोडैलिटी $x_m$ के लिए, डेटा एक साझा विलत चर $z$ और एक निजी विलत चर $w_m$ द्वारा संयुक्त रूप से उत्पन्न होता है, जिनके स्वतंत्र प्रायर्स होते हैं।

विधि में तीन प्राथमिक घटक शामिल हैं:

MMVAE+ के साथ संभावना मॉडलिंग (Likelihood Modeling):
इसका आधार MMVAE+ मॉडल है, जो $z$ के लिए ग्लोबल पोस्टीरियर में व्यू-विशिष्ट पोस्टीरियर्स को एकत्रित करने के लिए एक मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) योजना का उपयोग करता है। क्रॉस-व्यू पुनर्निर्माण (reconstruction) के दौरान डिकोडर को साझा सूचना के लीक होने से रोकने के लिए, MMVAE+ लक्षित दृश्य के निजी चर के लिए एक सहायक प्रायर (auxiliary prior) का उपयोग करता है। यह पुनर्निर्माण के लिए एक आधारभूत एविडेंस लोअर बाउंड (ELBO) स्थापित करता है।
क्रॉस-व्यू MI मैक्सिमाइजेशन के माध्यम से साझा चर निष्कर्षण:
साझा कारकों के निष्कर्षण को स्पष्ट रूप से लागू करने के लिए, लेखक एक नियमितीकरण पद, $L_{CrossMI}$ पेश करते हैं। केवल संभावना मैक्सिमाइजेशन अकेले विभेदीकरण की गारंटी नहीं देता है, लेकिन विभिन्न दृश्यों के साझा प्रतिनिधित्वों के बीच म्यूचुअल इन्फॉर्मेशन ( $I(z_m; z_n)$ ) को अधिकतम करना $I(z_m; x_n)$ के लिए एक निचला बाउंड (lower bound) के रूप में कार्य करता है। इसे म्यूचुअल इन्फॉर्मेशन के एक कंट्रास्टिव अनुमान (कॉन्ट्रास्टिव एस्टीमेट) का उपयोग करके प्राप्त किया जाता है (InfoNCE के समान), जो $z_m$ और $z_n$ को अत्यधिक सहसंबंधित होने के लिए प्रोत्साहित करता है और निजी चरों के साथ रेडंडेंसी (redundancy) को कम करता है।
जेनरेटिव ऑग्मेंटेशन के माध्यम से विभेदीकरण (Disentanglement):
$z$ और $w_m$ के बीच रेडंडेंसी को हटाने के लिए (यह सुनिश्चित करने के लिए कि $w_m$ में साझा सूचना शेष न रहे), लेखक एक साइकिल-कंसिस्टेंसी शैली का लॉस, $L_{GenAug}$ प्रस्तावित करते हैं। यह विधि एक नमूने से साझा पोस्टीरियर $z$ को दूसरे नमूने के निजी पोस्टीरियर $w'_m$ के साथ जोड़कर नए नमूने $x^+_m$ को संश्लेषित (synthesize) करती है। मॉडल को फिर इस तरह से नियमित किया जाता है कि जब $x^+_m$ को पुन: एनकोड किया जाता है, तो परिणामी निजी पोस्टीरियर $q(w_m|x^+_m)$ , मूल निजी पोस्टीरियर $q(w_m|x'_m)$ से मेल खाता है। महत्वपूर्ण बात यह है कि ये ऑग्मेंटेशन मॉडल द्वारा स्वयं उत्पन्न किए जाते हैं, जिसमें किसी डोमेन-विशिष्ट ज्ञान या बाहरी डेटा ऑग्मेंटेशन रणनीतियों की आवश्यकता नहीं होती है।
डिफ्यूजन प्रायर्स (Diffusion Priors):
सरल गॉसियन प्रायर्स की सीमाओं को दूर करने के लिए, जो बहुविध विलत स्पेस की जटिल संरचना को कैप्चर करने में सक्षम नहीं हो सकते हैं, लेखक $p(z)$ के प्रायर को डिफ्यूजन मॉडल का उपयोग करके पैरामीटराइज करते हैं। एक निश्चित वितरण के बजाय, $p(z)$ को एक डिनोइजिंग प्रक्रिया के रूप में मॉडल किया जाता है। यह मॉडल को एक समृद्ध और अधिक संरचित विलत स्थान सीखने की अनुमति देता है, जिससे प्रतिनिधित्व सीखने और जनरेशन की क्षमता में सुधार होता है।

अंतिम ऑब्जेक्टिव फंक्शन MMVAE+ ELBO, क्रॉस-व्यू MI लॉस, जेनरेटिव ऑग्मेंटेशन लॉस और डिफ्यूजन प्रायर लॉस को जोड़ता है।

प्रमुख योगदान

MI-आधारित नियमितीकरण: क्षमता-आधारित ह्यूरिस्टिक्स या शॉर्टकट-रोकने वाले तंत्रों पर निर्भर पूर्व कार्यों के विपरीत, IDMVAE विभेदीकरण सुनिश्चित करने के लिए म्यूचुअल इन्फॉर्मेशन-आधारित नियमितीकरण का उपयोग करता है।
मॉडल-जनित ऑग्मेंटेशन: लेखक साझा और निजी विलट्स के बीच रेडंडेंसी को हटाने के लिए जेनरेटिव ऑग्मेंटेशन का उपयोग करके एक साइकिल-कंसिस्टेंसी लॉस पेश करते हैं, जिसमें बाहरी डोमेन ज्ञान की आवश्यकता नहीं होती है।
डिफ्यूजन प्रायर्स: विलत प्रायर स्पेस में डिफ्यूजन मॉडल्स का एकीकरण VAE की प्रतिनिधित्व क्षमता को बढ़ाता है, जो सरल गॉसियन धारणाओं से आगे जाता है।
सिनर्जी (Synergy): पेपर प्रदर्शित करता है कि MI-आधारित ऑब्जेक्टिव और डिफ्यूजन प्रायर्स पूरक हैं, जो शुद्ध संभावना मॉडलिंग की सीमाओं को संयुक्त रूप से दूर करते हैं।

प्रायोगिक परिणाम
लेखकों ने तीन डेटासेट पर IDMVAE का मूल्यांकन किया:

PolyMNIST-Quadrant: एक संशोधित MNIST डेटासेट जहाँ अंकों (साझा) को अलग-अलग चतुर्थांशों (निजी) में विभिन्न बैकग्राउंड के साथ रखा गया है। IDMVAE ने बेहतर विलत वर्गीकरण सटीकता (साझा अंकों के लिए 0.983 बनाम MMVAE+ के लिए 0.382) प्राप्त की और काफी बेहतर क्रॉस-मोडल जनरेशन सुसंगति दिखाई।
CUB-200-2011: इमेज और टेक्स्ट मोडैलिटी के साथ एक फाइन-ग्रेन्ड बर्ड क्लासिफिकेशन डेटासेट। IDMVAE ने साझा श्रेणी की जानकारी और निजी दिशात्मक जानकारी निकालने में बेसलाइन से बेहतर प्रदर्शन किया, जिससे उच्च अर्थ संबंधी सुसंगति (semantic coherence) के साथ बेहतर क्रॉस-मोडैलिटी जनरेशन (जैसे, टेक्स्ट-टू-इमेज) प्रदर्शित हुआ।
TCGA (The Cancer Genome Atlas): रोगी मृत्यु दर की भविष्यवाणी करने के लिए एक मल्टी-ओमिक्स डेटासेट। IDMVAE ने बेसलाइन की तुलना में बेहतर भविष्यवाणी सटीकता (0.718) दिखाई, जो इंगित करता है कि स्वच्छ विभेदीकरण भविष्य कहनेवाला सूचना को साझा और निजी विलत स्पेस के बीच प्रभावी ढंग से अलग करता है।

सभी प्रयोगों में, एब्लेशन स्टडीज ने पुष्टि की कि क्रॉस-व्यू MI लॉस या जेनरेटिव ऑग्मेंटेशन लॉस में से किसी एक को हटाने से प्रदर्शन में गिरावट आई, जो दोनों घटकों की आवश्यकता को प्रमाणित करता है। डिफ्यूजन प्रायर्स के जुड़ने से जनरेशन की गुणवत्ता और सुसंगति में लगातार लाभ हुआ।

महत्व और दावे
पेपर का दावा है कि IDMVAE साझा और निजी सूचना के बीच "स्वच्छ पृथक्करण" प्रदर्शित करता है, जिससे चुनौतीपूर्ण डेटासेट पर बेहतर जनरेशन गुणवत्ता और अर्थ संबंधी सुसंगति प्राप्त होती है। लेखक तर्क देते हैं कि उनका दृष्टिकोण सूचना-सैद्धांतिक नियमितीकरण के माध्यम से स्पष्ट रूप से विभेदीकरण को लागू करके मौजूदा विधियों के संभावना मॉडलों की अपर्याप्तता को संबोधित करता है।

इस कार्य का महत्व ऐसे मजबूत, हस्तांतरणीय प्रतिनिधित्व सीखने की क्षमता में निहित है जो पूर्ण (सभी प्रासंगिक जानकारी कैप्चर करना) और गैर-अनावश्यक (non-redundant) दोनों हैं। जेनरेटिव मॉडलिंग को इंफॉर्मेशन बॉटलनेक सिद्धांतों और डिफ्यूजन प्रायर्स के साथ जोड़कर, यह विधि मौजूदा स्टेट-ऑफ-द-आर्ट VAEs या गैर-जेनरेटिव डिसेंटैंगमेंट विधियों की तुलना में अनसुपरवाइज्ड मल्टीमॉडल रिप्रेजेंटेशन लर्निंग के लिए एक अधिक शक्तिशाली प्रतिमान प्रदान करती है। लेखक डेटा वॉल्यूम बाधाओं के कारण CUB डेटासेट पर उच्च-फिडेलिटी इमेज उत्पन्न करने में कठिनाई जैसी सीमाओं को विनम्रतापूर्वक नोट करते हैं, और लापता मोडैलिटीज को संभालने और इनपुट स्पेस में प्री-ट्रेंड डिफ्यूजन मॉडल्स को एकीकृत करने पर भविष्य के कार्य का सुझाव देते हैं।

समस्या: बिखरा हुआ बैकपैक

समाधान: IDMVAE की तीन जादुई युक्तियाँ

उन्होंने क्या पाया

निष्कर्ष

इसी तरह के और पेपर