🤖 machine learning

Learning Multimodal Energy-Based Model with Multimodal Variational Auto-Encoder via MCMC Revision

यह शोध पत्र एक नवीन शिक्षण ढांचे का प्रस्ताव करता है जो मल्टीमॉडल वेरिएशनल ऑटो-एनकोडर को एनर्जी-बेस्ड मॉडल्स के साथ तालमेल बिठाकर जोड़ता है, जिसमें खराब मिक्सिंग और यूनिमोडल सीमाओं को दूर करने के लिए डेटा और लेटेंट स्पेस दोनों में MCMC संशोधनों का उपयोग किया गया है, जिससे बेहतर मल्टीमॉडल सिंथेसिस गुणवत्ता और सुसंगतता प्राप्त होती है।

मूल लेखक: Jiali Cui, Zhiqiang Lao, Heather Yu

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiali Cui, Zhiqiang Lao, Heather Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखाने की कोशिश कर रहे हैं, लेकिन दुनिया एक साथ कई अलग-अलग भाषाएँ बोल रही है: चित्र, पाठ (टेक्स्ट), ध्वनियाँ और संख्याएँ। रोबोट को यह सीखना होगा कि ये विभिन्न "भाषाएँ" एक-दूसरे से कैसे संबंधित हैं। उदाहरण के लिए, यदि वह एक पक्षी का चित्र देखता है, तो उसे समझना चाहिए कि उसी पक्षी का टेक्स्ट विवरण "एक छोटी चोंच वाला नीला पक्षी" उसी से संबंधित है।

यह शोध पत्र इस बारे में है कि इस रोबोट को एक नया तरीका सिखाया जाए, जिसे मल्टीमॉडल एनर्जी-बेस्ड मॉडल (Multimodal Energy-Based Model) कहा जाता है। इसे समझने के लिए, आइए कुछ उपमाओं (analogies) का उपयोग करें।

समस्या: अंधेरे में खो जाना

कल्पना कीजिए कि रोबोट एक विशाल, अंधेरे, पहाड़ी परिदृश्य में छिपा हुआ खजाना (एक आदर्श, वास्तविक चित्र या पाठ) खोजने की कोशिश कर रहा है।

परिदृश्य (The Landscape): यह "डेटा स्पेस" है। घाटियाँ अच्छे, वास्तविक डेटा (जैसे पक्षी की एक स्पष्ट फोटो) का प्रतिनिधित्व करती हैं और चोटियाँ निरर्थक चीजों (जैसे एक पक्षी जिसके सिर पर कार हो) का प्रतिनिधित्व करती हैं।
लक्ष्य: रोबोट सबसे गहरी घाटियों को खोजना चाहता है।
पुराना तरीका (समस्या): आमतौर पर, रोबोट अंधेरे में एक यादृच्छिक स्थान (रैंडम नॉइज़) चुनकर शुरू करता है और नीचे की ओर जाने की कोशिश करता है। इसे "लैंज्विन डायनेमिक्स" (Langevin dynamics) कहा जाता है।
- समस्या: यदि रोबोट एक यादृच्छिक स्थान से शुरू करता है, तो वह अक्सर एक छोटे, उथले गड्ढे (लोकल मोड) में फंस जाता है जो एक घाटी जैसा दिखता है लेकिन असली खजाना नहीं है। उसे उस गड्ढे से बाहर निकलने और असली गहरी घाटी को खोजने में बहुत समय लगता है। कई भाषाओं (मल्टीमॉडल) की दुनिया में, यह और भी बुरा हो जाता है क्योंकि रोबोट को एक ऐसा पक्षी का चित्र मिल सकता है जो उसके टेक्स्ट विवरण से बिल्कुल मेल नहीं खाता। वे "तालमेल से बाहर" (out of sync) होते हैं।

समाधान: तीन विशेषज्ञों की एक टीम

लेखक विशेषज्ञों की एक तीन-सदस्यीय टीम का प्रस्ताव देते हैं जो खजाना खोजने में एक-दूसरे की मदद करती है। वे केवल अकेले नहीं चलते; वे एक लूप में मिलकर काम करते हैं।

1. जनरेटर (द ड्रीमर - सपने देखने वाला)

भूमिका: यह मॉडल एक कुशल कलाकार की तरह है जो पक्षी का एक कच्चा रेखाचित्र जल्दी से बना सकता है।
यह कैसे मदद करता है: रोबोट को अंधेरे में (रैंडम नॉइज़) शुरू करने के बजाय, 'ड्रीमर' पहले एक "सुसंगत" (coherent) रेखाचित्र बनाता है। वह जानता है कि यदि कोई पक्षी है, तो उसके पंख, एक चोंच और एक पूंछ सही जगह पर होनी चाहिए। यह रोबट को नीचे की ओर अपनी यात्रा शुरू करने के लिए एक मजबूत शुरुआती बिंदु प्रदान करता है।
शोध पत्र का दावा: इन सुसंगत रेखाचित्रों को बनाने में सक्षम होकर, 'ड्रीमर' यह सुनिश्चित करता है कि रोबोट तुरंत अंधेरे में न खो जाए।

2. ईबीएम (द क्रिटिक - आलोचक)

भूमिका: यह "एनर्जी-बेस्ड मॉडल" है। इसे एक सख्त कला आलोचक के रूप में सोचें जो जानता है कि एक वास्तविक पक्षी वास्तव में कैसा दिखता है।
यह कैसे मदद करता है: 'क्रिटिक' ड्रीमर के रेखाचित्र को देखता है और कहता है, "यह करीब है, लेकिन चोंच बहुत लंबी है।" इसके बाद 'क्रिटिक' रेखाचित्र को थोड़ा सुधारता है ताकि वह अधिक वास्तविक बन सके। यह "MCMC रिवीज़न" है।
शोध पत्र का दावा: 'क्रिटिक' केवल निर्णय नहीं देता; वह रेखाचित्र को सुधारता भी है। वह ड्रीमर के आउटपुट को परिष्कृत करता है ताकि वह एक उच्च गुणवत्ता वाला, वास्तविक नमूना बन सके।

3. इन्फरेंस मॉडल (द ट्रांसलेटर - अनुवादक)

भूमिका: यह मॉडल अंतिम, पूर्ण रेखाचित्र को देखता है और उस "गुप्त कोड" (लेटेंट वेरिएबल) को समझने की कोशिश करता है जिसने इसे बनाया है।
समस्या: शोध पत्र नोट करता है कि पक्षी के लिए "गुप्त कोड" जटिल और तीखा (जैसे एक ऊबड़-खाबूक पहाड़ी शिखर) है, लेकिन 'इन्फरेंस मॉडल' आमतौर पर एक सरल, चिकनी आकृति (जैसे एक गोल गेंद) का उपयोग करके इसका अनुमान लगाने की कोशिश करता है। यह एक खराब मेल है।
समाधान: 'इन्फरेंस मॉडल' एक त्वरित अनुमान लगाता है, और फिर 'क्रिटिक' (EBM) वास्तविक तीखे शिखर को खोजने के लिए कुछ कदम चलकर उस अनुमान को परिष्कृत करने में उसकी मदद करता है।
शोध पत्र का दावा: यह "परिष्करण" (refinement) चरण 'इन्फरेंस मॉडल' को डेटा की वास्तविक, जटिल संरचना को सीखने में मदद करता है, न कि केवल एक धुंधले अनुमान को।

वे एक साथ कैसे काम करते हैं (नृत्य/डांस)

इस शोध पत्र का जादू यह है कि ये तीनों मॉडल एक निरंतर लूप में एक-दूसरे से कैसे बात करते हैं:

ड्रीमर एक गुप्त कोड के आधार पर एक कच्चा रेखाचित्र बनाता है।
क्रिटिक उस रेखाचित्र को लेता है और उसे परिष्कृत करता है, जिससे वह एक वास्तविक फोटो की तरह दिखने लगता है।
ट्रांसलेटर उस वास्तविक फोटो को देखता है और गुप्त कोड का अनुमान लगाने की कोशिश करता है।
क्रिटिक ट्रांसलेटर को गुप्त कोड के उसके अनुमान को सुधारने में मदद करता है।
ड्रीमर अगली बार बेहतर रेखाचित्र बनाने के लिए ट्रांसलेटर के परिष्कृत अनुमान से सीखता है।

वे लगातार एक-दूसरे को सुधार रहे हैं। 'ड्रीमर' 'क्रिटिक' को एक अच्छा शुरुआती बिंदु देता है ताकि वह अंधेरे में न खो जाए। 'क्रिटिक' 'ड्रीमर' को एक बेहतर लक्ष्य देता है। 'ट्रांसलेटर' 'ड्रीमर' को "गुप्त कोड" की बेहतर समझ देता है।

यह क्यों महत्वपूर्ण है (परिणाम)

लेखकों ने इसका परीक्षण उन डेटासेट्स पर किया जहाँ उन्हें पक्षियों के चित्रों को उनके विवरणों के साथ मिलाना था, या हस्तलिखित संख्याओं की विभिन्न शैलियों को मिलाना था।

बेहतर गुणवत्ता: उनके द्वारा उत्पन्न चित्र और पाठ बहुत अधिक वास्तविक थे (कम "FID" स्कोर, जो यह मापता है कि कोई चीज़ कितनी नकली दिखती है)।
बेहतर निरंतरता: चित्र और पाठ एक-दूसरे से पूरी तरह मेल खाते थे। यदि टेक्स्ट में "नीला पक्षी" लिखा था, तो चित्र वास्तव में नीला था।
दक्षता (Efficiency): भले ही वे एक "चलने" की प्रक्रिया (MCMC) का उपयोग करते हैं जो धीमी हो सकती है, उनका टीम दृष्टिकोण यह सुनिश्चित करता है कि उन्हें खजाना खोजने के लिए बहुत दूर तक चलने की आवश्यकता नहीं है। वे लक्ष्य के करीब से शुरुआत करते हैं।

सारांश

सरल शब्दों में, पिछले तरीकों ने अंधेरे में भटकते हुए पूर्ण डेटा खोजने की कोशिश की। यह शोध पत्र कहता है, "आइए हमें एक अच्छा शुरुआती बिंदु देने के लिए एक 'ड्रीमर', परिणाम को चमकाने के लिए एक 'क्रिटिक' और अंतर्निहित नियमों को समझने के लिए एक 'ट्रांसलेटर' नियुक्त करें, और उन सभी को एक-दूसरे को सिखाने दें।" परिणाम एक ऐसा सिस्टम है जो पहले की तुलना में बहुत बेहतर तरीके से वास्तविक, सुसंगत, मल्टी-लैंग्वेज डेटा बनाता है।

यहाँ "Learning Multimodal Energy-Based Model with Multimodal Variational Auto-Encoder via MCMC Revision" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मल्टीमॉडल एनर्जी-बेस्ड मॉडल्स (EBMs) को सीखने की चुनौतियों का समाधान करता है। हालाँकि EBMs लचीले होते हैं और डेटा में जटिल निर्भरताओं (complex dependencies) को कैप्चर करने में सक्षम होते हैं, लेकिन मैक्सिमम लाइकलीहुड एस्टीमेशन (MLE) के माध्यम से उन्हें सीखना कठिन है, विशेष रूप से मल्टीमॉडल परिवेश में।

सैंपलिंग की कठिनाई (Sampling Difficulty): मानक EBM लर्निंग के लिए मॉडल डिस्ट्रीब्यूशन से सैंपलिंग करने के लिए मार्कोव चेन मोंटे कार्लो (MCMC), आमतौर पर लैंग्विन डायनेमिक्स (Langevin dynamics) की आवश्यकता होती है। रैंडम नॉइज़ से इनिशियलाइज़ होने पर, ये चेन्स अक्सर खराब तरीके से मिक्स होती हैं, सहर-मोडल संबंधों (inter-modal relationships) को खोजने में विफल रहती हैं, और लोकल मोड्स (local modes) में फंस जाती हैं।
लेटेंट स्पेस मिसमैच (Latent Space Mismatch): मल्टीमॉडल वेरिएशनल ऑटो-एनकोडर्स (VAEs) एक साझा लेटेंट स्पेस का उपयोग करके इसे हल करने का प्रयास करते हैं। हालाँकि, मानक मल्टीमॉडल VAEs अक्सर एक मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) इन्फरेंस मॉडल पर निर्भर करते हैं जहाँ व्यक्तिगत पोस्टीरियर्स सरल यूनिमोडल डिस्ट्रीब्यूशन (जैसे कि गौसियन) होते हैं। यह जनरेटर के वास्तविक प्रोडक्ट-ऑफ-एक्सपर्ट्स (PoE) स्ट्रक्चर के साथ एक मिसमैच पैदा करता है, जो अक्सर शार्प और जटिल होता है। MoE एप्रोक्सिमेशन इन जटिलताओं को सुचारू (smooth out) बना देता है, जिससे सब-ऑप्टिमल जनरेशन होता है।
सुसंगतता (Coherence): मौजूदा तरीके ऐसे सैंपल उत्पन्न करने में संघर्ष करते हैं जो न केवल व्यक्तिगत रूप से उच्च गुणवत्ता वाले हों बल्कि विभिन्न मोडलिटीज (जैसे कि एक इमेज और उसका कैप्शन) के बीच सिमेंटिक रूप से सुसंगत (coherent) भी हों।

2. कार्यप्रणाली (Methodology)

लेखक एक सहकारी शिक्षण ढांचे (cooperative learning framework) का प्रस्ताव करते हैं जो तीन घटकों को एक एकीकृत संभाव्य प्रणाली (unified probabilistic system) में एकीकृत करता है:

मल्टीमॉडल EBM ( $\pi_\alpha$ ): संयुक्त डेटा डिस्ट्रीब्यूशन $p(X)$ को मॉडल करता है।
शेयर्ड लेटेंट जनरेटर ( $p_\omega$ ): एक जनरेटर जो एक साझा लेटेंट वेरिएबल $z$ को मल्टीमॉडल डेटा $X$ में मैप करता है।
जॉइंट इन्फरेंस मॉडल ( $q_\phi$ ): एक इन्फरेंस नेटवर्क जो पोस्टीरियर $p(z|X)$ को एप्रोक्सिमेट करता है।

मुख्य नवाचार इन तीन मॉडल्स के लर्निंग अपडेट्स को आपस में जोड़ने के लिए MCMC रिवीज़न (Revision) का उपयोग करना है। इन्हें अलग-अलग मानने के बजाय, यह ढांचा अन्य मॉडल्स के लिए "रिवीज़न सिग्नल" के रूप में कार्य करने हेतु सैंपल्स को रिफाइन करने के लिए MCMC स्टेप्स का उपयोग करता है।

मुख्य तंत्र (Key Mechanisms):

डेटा स्पेस रिवीज़न (EBM सैंपलिंग):
- शेयर्ड लेटेंट जनरेटर एक प्रायर $z$ से मल्टीमॉडल सैंपल्स $X_{gen}$ उत्पन्न करता है। ये सैंपल्स EBM के लैंग्विन डायनेमिक्स के लिए सूचनात्मक प्रारंभिक अवस्थाएँ (informative initial states) के रूप में कार्य करते हैं।
- EBM इन सैंपल्स को $k_X$ लैंग्विन डायनेमिक्स स्टेप्स के माध्यम से $X_{EBM-revised}$ बनाने के लिए रिफाइन करता है।
- यह प्रक्रिया सुनिश्चित करती है कि EBM रैंडम नॉइज़ के बजाय सुसंगत और सिमेंटिक रूप से संरेखित (aligned) प्रारंभिक अवस्थाओं से सीखे।
लेटेंट स्पेस रिवीज़न (पोस्टीरियर सैंपलिंग):
- जॉइंट इन्फरेंस मॉडल वास्तविक डेटा $X$ के दिए जाने पर एक प्रारंभिक लेटेंट स्टेट $z_{inf}$ प्रदान करता है।
- जनरेटर पोस्टीरियर को $z_{revised}$ उत्पन्न करने के लिए $k_z$ लैंग्सविन डायनेमिक्स स्टेप्स के माध्यम से रिफाइन किया जाता है (जो जनरेटर पोस्टीरियर को टारगेट करता है)।
- यह सरल MoE इन्फरेंस मॉडल और जटिल PoE जनरेटर पोस्टीरियर के बीच के मिसमैच को ठीक करता है, जिससे शार्प और अधिक सटीक लेटेंट इनिशियलाइजेशन प्राप्त होता है।
सहकारी शिक्षण उद्देश्य (Cooperative Learning Objectives):
मॉडल्स को उनके वर्तमान डिस्ट्रीब्यूशन और MCMC-रिविस्ड जॉइंट डेंसिटीज के बीच KL डाइवर्जेंस को कम करके अपडेट किया जाता है:
- EBM अपडेट: वास्तविक डेटा (जो लेटेंट स्पेस में रिफाइंड किया गया है) को जनरेटर-इनिशियलाइज्ड सैंपल्स (जो डेटा स्पेस में रिफाइंड किए गए हैं) के विरुद्ध कंट्रास्ट करता है। यह एक सेल्फ-एडवर्सरियल ऑब्जेक्टिव के रूप में कार्य करता है जो EBM को डेटा डिस्ट्रीब्यूशन के साथ संरेखित करता है और साथ ही इसे अपने स्वयं के पिछले एप्रोक्सिमेशन से दूर ले जाता है।
- जनरेटर अपडेट: इसे डेटा-ड्रिवन पोस्टीरियर रिफाइनमेंट और EBM-रिफाइंड सैंपल्स दोनों से मेल खाने के लिए प्रशिक्षित किया जाता है। यह जनरेटर को ऐसे सैंपल्स बनाने के लिए मजबूर करता है जो EBM के एनर्जी लैंडस्केप के साथ सुसंगत हों।
- इन्फरेंस अपडेट: इसे वास्तविक डेटा और EBM-सिंथेसाइज्ड डेटा दोनों से प्राप्त लेटेंट सैंपल्स से मेल खाने के लिए प्रशिक्षित किया जाता है, जो प्रभावी रूप से वास्तविक, शार्प जनरेटर पोस्टीरियर को एप्रोक्सिमेट करना सीखता है।

3. मुख्य योगदान (Key Contributions)

नवल लर्निंग फ्रेमवर्क: एक एकीकृत ढांचा जो मल्टीमॉडल EBMs, शेयर्ड लेटेंट जनरेटर्स और जॉइंट इन्फरेंस मॉडल्स को निर्बाध रूप से एकीकृत करता है। यह स्टैंडअलोन EBMs (खराब मिक्सिंग) और VAEs (स्मूथ/ओवर-सिम्प्लीफाइड पोस्टीरियर्स) की सीमाओं को पार करता है।
MCMC रिवीज़न रणनीति: एक द्विदिश (bidirectional) रिवीज़न तंत्र का परिचय जहाँ:
- जनरेटर डेटा स्पेस में EBM सैंपलिंग को इनिशियलाइज़ करता है।
- इन्फरेंस मॉडल लेटेंट स्पेस में पोस्टीरियर सैंपलिंग को इनिशियलाइज़ करता है।
- MCMC स्टेप्स इन सैंपल्स को रिफाइन करते हैं ताकि सभी घटकों को अपडेट करने के लिए उच्च-गुणवत्ता वाले "रिवीज़न सिग्नल" प्रदान किए जा सकें।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह पेपर लर्निंग डायनेमिक्स को स्पष्ट करता है, यह दिखाते हुए कि EBM ऑब्जेक्टिव प्रभावी रूप से डेटा-ड्रिवन और मॉडल-ड्रिवन डिस्ट्रीब्यूशन के बीच एक कंट्रास्टिव लर्निंग टास्क बन जाता है, जिससे इंट्रैक्टेबल पार्टीशन फंक्शन्स रद्द हो जाते हैं।
स्केलेबिलिटी (Scalability): इस विधि को बिना किसी अलग, भारी पोस्ट-हॉक डिफ्यूजन रिफाइनमेंट स्टेज के, उच्च-रिज़ॉल्यूशन इमेजेस (256x256) और बड़े डेटासेट्स (MSCOCO) तक स्केल करने योग्य दिखाया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस विधि का मूल्यांकन PolyMNIST (डिजिट स्टाइल्स) और Caltech-UCSD Birds (CUB) (इमेज-टेक्स्ट पेयर्स) पर किया गया।

सिंथेसिस क्वालिटी और सुसंगतता (Synthesis Quality & Coherence):
- प्रस्तावित विधि ने FID (Fréchet Inception Distance) और CLIP स्कोर के मामले में मजबूत बेसलाइन्स (MMVAE+, MoPoE, और Diff-CMVAE सहित) को काफी पीछे छोड़ दिया।
- CUB (Text-to-Image) पर, विधि ने 25.98 का FID प्राप्त किया, जो Diff-CMVAE (28.00) और MMVAE+ (136.16) से बेहतर है, जो श्रेष्ठ इमेज क्वालिटी और टेक्स्ट-इमेज एलाइनमेंट को प्रदर्शित करता है।
एब्लेशन स्टडीज (Ablation Studies):
- पूरक मॉडल्स के बिना: नॉइज़-इनिशियलाइज्ड लैंग्विन डायनेमिक्स के साथ EBM को प्रशिक्षित करने से अस्थिर लॉस और खराब सैंपल्स मिले।
- स्वतंत्र जनरेटर्स: शेयर्ड लेटेंट जनरेटर को प्रति-मोडलिटी स्वतंत्र जनरेटर्स से बदलने से उतार-चढ़ाव वाला लॉस और असंगत क्रॉस-मोडल सैंपल्स मिले।
- स्वतंत्र इन्फरेंस: स्वतंत्र इन्फरेंस मॉडल्स का उपयोग करने से सुसंगत लेटेंट इनिशियलाइजेशन प्रदान करने में विफलता मिली, जिससे जनरेटर का प्रदर्शन गिर गया।
दक्षता (Efficiency):
- MCMC स्टेप्स का उपयोग करने के बावजूद, विधि कम्प्यूटेशनल रूप से कुशल है। जनरेटर अकेले प्रशिक्षण के बाद 1 स्टेप में उच्च-गुणवत्ता वाले सैंपल्स बना सकता है, जबकि EBM-ऑगमेंटेड वेरिएंट को केवल 31 NFE (Number of Function Evaluations) की आवश्यकता होती है, जो डिफ्यूजन-आधारित विधियों (जैसे Diff-CMVAE को ~251 NFE की आवश्यकता होती है) की तुलना में काफी कम है।
स्केलेबिलिटी: मॉडल ने CUB पर उच्च-रिज़ॉल्यूशन (256x256) इमेज और बड़े पैमाने के MSCOCO डेटासेट को सफलतापूर्वक जेनरेट किया, बेसलाइन्स की तुलना में कम FID स्कोर बनाए रखा।

5. महत्व (Significance)

यह कार्य एनर्जी-बेस्ड मॉडल्स की लचीलापन और VAEs के स्ट्रक्चर्ड लेटेंट रिप्रेजेंटेशन के बीच के अंतर को पाटकर मल्टीमॉडल जेनेरेटिव मॉडलिंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

"कोल्ड स्टार्ट" समस्या का समाधान: एक सीखे गए जनरेटर का उपयोग करके EBM सैंपलिंग को इनिशियलाइज़ करके, यह पेपर उच्च-आयामी मल्टीमॉडल स्पेस में खराब मिक्सिंग के महत्वपूर्ण मुद्दे को हल करता है।
पोस्टीरियर मिसमैच का समाधान: लेटेंट स्पेस का MCMC रिवीज़न इन्फरेंस मॉडल को एक जटिल, शार्प पोस्टीरियर सीखने की अनुमति देता है जिसे मानक वेरिएशनल एप्रोक्सिमेशन (MoE) कैप्चर नहीं कर सकते।
एकीकृत प्रशिक्षण: उन दृष्टिकोणों के विपरीत जो डिफ्यूजन मॉडल्स का उपयोग एक अलग पोस्ट-प्रोसेसिंग रिफाइनमेंट स्टेज के रूप में करते हैं, यह विधि उच्च-गुणवत्ता वाले, सुसंगत सैंपल्स सीधे उत्पन्न करने के लिए कोर जेनेरेटिव मॉडल (EBM + Generator) को सीखती है, जो मल्टीमॉडल कार्यों के लिए अधिक एकीकृत और संभावित रूप से अधिक कुशल समाधान प्रदान करती है।

संक्षेप में, यह पेपर प्रदर्शित करता है कि MCMC रिवीज़न के माध्यम से सहकारी शिक्षण (cooperative learning) मल्टीमॉडल EBMs को सक्षम बनाता है जो अत्यधिक अभिव्यंजक (expressive) हैं और वास्तविक, सुसंगत क्रॉस-मोडल डेटा उत्पन्न करने में सक्षम हैं, जो स्टेट-ऑफ-द-आर्ट वेरिएशनल और डिफ्यूजन-आधारित बेसलाइन्स से बेहतर प्रदर्शन करते हैं।