🤖 machine learning

Implicit Variational Rejection Sampling

यह शोध पत्र इम्पलिसिट वेरिएशनल रिजेक्शन सैंपलिंग (IVRS) का प्रस्ताव करता है, जो एक नवीन विधि है जो अधिक सटीक पोस्टीरियर सन्निकटन प्राप्त करने के लिए न्यूरल नेटवर्क-आधारित इम्पलिसिट प्रपोजल डिस्ट्रीब्यूशन को डिस्क्रिमिनेटर-गाइडेड रिजेक्शन सैंपलिंग और एक नए IR-ELBO मेट्रिक के साथ जोड़ती है, जो पारंपरिक वेरिएशनल इन्फरेंस तकनीकों से बेहतर प्रदर्शन करती है।

मूल लेखक: Jian Xu, Shigui Li, Wei Chen, Jiacheng Li, Zhiqi Lin, Delu Zeng, Xinghao Ding, John Paisley, Qibin Zhao

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jian Xu, Shigui Li, Wei Chen, Jiacheng Li, Zhiqi Lin, Delu Zeng, Xinghao Ding, John Paisley, Qibin Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अंधेरे कमरे में किसी छिपी हुई वस्तु के सटीक आकार का अनुमान लगाने की कोशिश कर रहे हैं। आपके पास एक टॉर्च (आपका कंप्यूटर मॉडल) है जो वस्तु पर रोशनी डाल सकती है, लेकिन इसकी बीम थोड़ी धुंधली है और हर घुमाव को पूरी तरह से नहीं पकड़ पाती है। मशीन लर्निंग की दुनिया में, इस "अनुमान लगाने" की प्रक्रिया को वेरिएशनल इन्फरेंस (Variational Inference) कहा जाता है, और "छिपी हुई वस्तु" एक जटिल गणितीय वितरण (distribution) है जो यह बताती है कि डेटा कैसे संबंधित है।

लंबे समय तक, वैज्ञानिकों ने एक साधारण टॉर्च बीम का उपयोग किया जिसने यह माना कि वस्तु केवल एक चिकनी, गोल गेंद है (इसे "मीन-फील्ड" (mean-field) सन्निकटन कहा जाता है)। लेकिन वास्तविक दुनिया का डेटा शायद ही कभी एक आदर्श गेंद होता है; यह अक्सर ऊबड़-खाबड़, मुड़ा हुआ या अजीब छेदों वाला होता है।

इसे ठीक करने के लिए, शोधकर्ताओं ने एक स्मार्ट और अधिक लचीली टॉर्च बनाने के लिए न्यूरल नेटवर्क का उपयोग करना शुरू किया जो वस्तु के आकार के अनुसार अपनी बीम को बेहतर ढंग से ढाल सके। इसे इम्प्लिसिट वेरिएशनल इन्फरेंस (Implicit Variational Inference) कहा जाता है। हालाँकि, ये स्मार्ट न्यूरल नेटवर्क भी कभी-कभी आकार को थोड़ा गलत समझ लेते हैं क्योंकि वे अपने डिज़ाइन या प्रशिक्षण के तरीके से सीमित होते हैं।

नया समाधान: IVRS

यह शोध पत्र एक नया तरीका पेश करता है जिसे इम्प्लिसिट वेरिएशनल रिजेक्शन सैंपलिंग (Implicit Variational Rejection Sampling - IVRS) कहा जाता है। इसे अपने टॉर्च सेटअप में एक "गुणवत्ता नियंत्रण निरीक्षक" (quality control inspector) जोड़ने के रूप में समझें।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. प्रोपोज़ल (अनुमान)
सबसे पहले, आपका न्यूरल नेटवर्क कुछ नमूना बिंदु (sample points) उत्पन्न करता है (जैसे डार्ट फेंकना) ताकि यह अनुमान लगाया जा सके कि छिपी हुई वस्तु कहाँ है। इसे "प्रोपोज़ल" (Proposal) मान लें। कभी-कभी, ये डार्ट सही क्षेत्र में गिरते हैं, लेकिन अक्सर वे अपने डिज़ाइन के कारण थोड़े बहुत बाएँ या दाएँ गिर जाते हैं क्योंकि न्यूरल नेटवर्क पूर्ण नहीं है।

2. इंस्पेक्टर (डिस्क्रिमिनेटर)
यहीं पर जादू होता है। शोध पत्र में एक दूसरा न्यूरल नेटवर्क जोड़ा गया है जो एक सख्त निरीक्षक (inspector) के रूप में कार्य करता है। इस इंस्पेक्टर का काम पहले नेटवर्क द्वारा फेंके गए प्रत्येक डार्ट को देखना और पूछना है: "क्या यह डार्ट बिल्कुल वहीं गिरा है जहाँ असली वस्तु है, या यह केवल एक अनुमान है?"

इंस्पेक्टर भी वस्तु के सटीक आकार को नहीं जानता, लेकिन वह "अनुमान" (प्रोपोज़ल) की "वास्तविकता" (असली डेटा) के साथ तुलना करने में बहुत अच्छा है। वह एक स्कोर की गणना करता है: इस डार्ट के सही होने की कितनी संभावना है?

3. रिजेक्शन (फ़िल्टर)
अब, सिस्टम एक फ़िल्टर लागू करता है:

यदि इंस्पेक्टर कहता है, "यह डार्ट बहुत बढ़िया है, यह सच्चाई के बहुत करीब है," तो सिस्टम उसे रखता (keep) है।
यदि इंस्पेक्टर कहता है, "यह डार्ट थोड़ा गलत है," तो सिस्टम उसे अस्वीकार (reject) कर देता है और उसे फेंक देता है।

इन खराब अनुमानों को फेंककर और केवल सबसे अच्छे वाले को रखकर, डार्टों का अंतिम संग्रह छिपी हुई वस्तु की बहुत अधिक सटीक तस्वीर बनाता है, जो मूल न्यूरल नेटवर्क अकेले कर सकता था उससे कहीं बेहतर है।

"टाइट" बाउंड (IR-ELBO)

शोध पत्र एक नया गणितीय स्कोर पेश करता है जिसे IR-ELBO कहा जाता है। कल्पना कीजिए कि आप यह साबित करने की कोशिश कर रहे हैं कि आपकी टॉर्च अच्छी है। आमतौर पर, आपको एक "लोअर बाउंड" (lower bound) पर संतोष करना पड़ता है—एक गारंटी जो कहती है, "मेरा अनुमान कम से कम इतना अच्छा है।"

चूंकि IVRS खराब अनुमानों को हटा देता है, इसलिए शोध पत्र सिद्ध करता है कि नया स्कोर (IR-ELBO) एक टाइट (tighter) गारंटी है। यह कहने जैसा है कि, "मुझे केवल यह नहीं पता कि मेरा अनुमान कम से कम इतना अच्छा है; मुझे पता है कि यह सच्चाई के बहुत करीब है क्योंकि मैंने गलतियों को फ़िल्टर कर दिया है।"

प्रयोगों ने क्या दिखाया

लेखकों ने कई "टॉय" समस्याओं (जैसे केले या X-आकार जैसे सरल आकार) और वास्तविक दुनिया के कार्यों पर इस पद्धति का परीक्षण किया:

घर की कीमतों या कंक्रीट की मजबूती की भविष्यवाणी करना (बेयसियन न्यूरल नेटवर्क का उपयोग करके)।
छवियां बनाना (जैसे MNIST डेटासेट से हस्तलिखित अंक या CIFAR-10 से छोटी तस्वीरें)।

हर मामले में, IVRS पद्धति ने पारंपरिक तरीकों की तुलना में "ग्राउंड ट्रुथ" (वास्तविक उत्तर) के अधिक करीब परिणाम दिए। इसने अधिक स्पष्ट छवियां और अधिक सटीक भविष्यवाणियां उत्पन्न कीं।

ट्रेड-ऑफ (समझौता)

इस अतिरिक्त चरण के कारण एक छोटा सा खर्च है। क्योंकि सिस्टम को अच्छे डार्ट खोजने से पहले कई डार्टों का "निरीक्षण" और संभावित रूप से "अस्वीकार" करना पड़ता है, इसलिए इसमें थोड़ा अधिक समय और कंप्यूटिंग शक्ति लगती है। हालाँकि, शोध पत्र दिखाता है कि यह अतिरिक्त लागत सार्थक है क्योंकि अंतिम परिणाम काफी अधिक सटीक होता है।

संक्षेप में: IVRS एक स्मार्ट लेकिन अपूर्ण अनुमान लगाने वाले (न्यूरल नेटवर्क) को एक सख्त गुणवत्ता निरीक्षक (डिस्क्रिमिनेटर) के साथ जोड़ता है। खराब अनुमानों को अस्वीकार करके, वे एक ऐसा अंतिम परिणाम बनाते हैं जो वास्तविकता के बहुत करीब होता है, जो कि अनुमान लगाने वाला अकेले प्राप्त कर सकता था उससे कहीं बेहतर।

तकनीकी सारांश: इम्प्लिसिट वेरिएशनल रिजेक्शन सैंपलिंग (IVRS)

1. समस्या विवरण

वेरिएशनल इंफरेंस (VI) बेयसियन मशीन लर्निंग का एक आधार स्तंभ है, जिसका उपयोग जटिल पोस्टीरियर डिस्ट्रीब्यूशन (posterior distributions) को अनुमानित करने के लिए किया जाता है। पारंपरिक VI विधियाँ अक्सर मीन-फील्ड फैक्टराइजेशन (mean-field factorization) पर निर्भर करती हैं, जो कम्प्यूटेशनल सुगमता के लिए पोस्टीरियर की अभिव्यक्ति क्षमता (expressiveness) का त्याग करती हैं। इसे संबोधित करने के लिए, इम्प्लिसिट वेरिएशनल इंफरेंस का उदय हुआ है, जो स्पष्ट डेंसिटी फंक्शनों की आवश्यकता के बिना लचीले, इम्प्लिसिट डिस्ट्रीब्यूशन को मॉडल करने के लिए न्यूरल नेटवर्क का उपयोग करता है।

हालाँकि, शोध पत्र एक महत्वपूर्ण सीमा की पहचान करता है: न्यूरल नेटवर्क की सैद्धांतिक अभिव्यक्ति क्षमता के बावजूद, व्यावहारिक बाधाएं—जैसे सीमित क्षमता, खराब इनिशियलाइजेशन, या अनुकूलन (optimization) की कठिनाइयाँ—अक्सर इन इम्प्लिसिट डिस्ट्रीब्यूशन को जटिल वास्तविक पोस्टीरियर के साथ सटीक रूप से मेल खाने से रोकती हैं। फलस्वरूप, न्यूरल नेटवर्क-आधारित पोस्टीरियर अनुमान हमेशा विश्वसनीय "ऑफ-द-शेल्फ" समाधान नहीं होते हैं। लेखक तर्क देते हैं कि जबकि इम्प्लिसिट डिस्ट्रीब्यूशन लचीलापन प्रदान करते हैं, उनमें कई परिदृश्यों में उच्च-सटीकता वाले इंफरेंस के लिए आवश्यक परिशुद्धता (precision) का अभाव होता है।

2. कार्यप्रणाली: इम्प्लिसिट वेरिएशनल रिजेक्शन सैंपलिंग (IVRS)

इम्प्लिसिट डिस्ट्रीब्यूशन के लचीलेपन और सटीक सैंपलिंग के बीच के अंतर को पाटने के लिए, लेखक इम्प्लिसिट वेरिएशनल रिजेक्शन सैंपलिंग (IVRS) का प्रस्ताव करते हैं। यह विधि पोस्टीरियर अनुमानों को परिष्कृत करने के लिए रिजेक्शन सैंपलिंग को इम्प्लिसिट डिस्ट्रीब्यूशन के साथ एकीकृत करती है।

मुख्य तंत्र

यह दृष्टिकोण एक न्यूरल नेटवर्क द्वारा उत्पन्न इम्प्लिसिट डिस्ट्रीब्यूशन $q_\phi(z|x)$ को एक प्रपोजल डिस्ट्रीब्यूशन (proposal distribution) के रूप में मानता है। इसके बाद, यह एक पुन: नमूनाकृत (resampled) डिस्ट्रीब्यूशन, $r_{\theta,\phi}(z|x)$ उत्पन्न करने के लिए रिजेक्शन सैंपलिंग लागू करता है, जो अंतिम वेरिएशनल सन्निकटन (approximation) के रूप में कार्य करता है।

प्रक्रिया में तीन प्रमुख घटक शामिल हैं:

इम्प्लिसिट प्रपोजल: एक न्यूरल नेटवर्क $f_\phi(x, \epsilon)$ एक बेस नॉइज़ डिस्ट्रीब्यूशन $\epsilon$ से नमूने $z$ उत्पन्न करता है।
एडवर्सरियल ट्रेनिंग के माध्यम से डेंसिटी रेशियो अनुमान: चूंकि वास्तविक पोस्टीरियर $p_\theta(z|x)$ $p_{θ} (z ∣ x)$ और इम्प्लिसिट प्रपोजल $q_\phi(x, z)$ $q_{ϕ} (x, z)$ में अक्सर विश्लेعي डेंसिटी फॉर्म नहीं होते हैं, इसलिए स्वीकृति संभाव्यता (acceptance probability) को सीधे नहीं निकाला जा सकता। लेखक एक डिस्क्रिमिनेटर नेटवर्क $T_\eta(x, z)$ $T_{η} (x, z)$ का उपयोग करते हैं जिसे वास्तविक संयुक्त वितरण $p(x, z)$ $p (x, z)$ और प्रपोजल डिस्ट्रीब्यूशन के बीच अंतर करने के लिए एडवर्सरियल रूप से प्रशिक्षित किया जाता है।
- इष्टतम डिस्क्रिमिनेटर लॉग-डेंसिटी अनुपात का अनुमान लगाता है: $T^*(x, z) \approx \log q_\phi(z|x) - \log p(z)$ ।
- यह एक पूर्णतः डिफरिएबल (differentiable) स्वीकृति संभाव्यता फंक्शन $a(z)$ के निर्माण की अनुमति देता है, जो लक्ष्य (अननॉर्मलाइज्ड पोस्टीरियर) और प्रपोजल के बीच के अनुपात का अनुमान लगाता है।
रिजेक्शन सैंपलिंग: अनुमानित स्वीकृति संभाव्यता के आधार पर प्रपोजल से नमूनों को स्वीकार या अस्वीकार किया जाता है। परिणामी पुन: नमूनाकृत डिस्ट्रीब्यूशन $r_{\theta,\phi}$ वास्तविक पोस्टीरियर का एक परिष्कृत सन्निकटन है।

सैद्धांतिक आधार: IR-ELBO

लेखक एक नया ऑब्जेक्टिव फंक्शन प्राप्त करते हैं जिसे इम्प्लिसिट रिसैंपलिंग एविडेंस लोअर बाउंड (IR-ELBO) कहा जाता है।

पुन: नमूनाकृत डिस्ट्रीब्यूशन $r_{\theta,\phi}$ का उपयोग करके मार्जिनल लॉग-लाइक्लीहुड पर जेन्सन की असमानता (Jensen's inequality) लागू करके, वे मानक VI की तुलना में एक अधिक सटीक (tighter) वेरिएशनल लोअर बाउंड प्राप्त करते हैं।
IR-ELBO इम्प्लिसिट डेंसिटी टर्म्स का अनुमान लगाने के लिए डिस्क्रिमिनेटर नेटवर्क को शामिल करता है, जिससे यह सुनिश्चित होता है कि ऑब्जेक्टिव अनबायस्ड (unbiased) रहे और मिनी-बैच ऑप्टिमाइजेशन के लिए उपयुक्त हो।
मोनोटोनिसिटी प्रॉपर्टी (Monotonicity Property): शोध पत्र सिद्ध करता है (प्रपोजिशन 1) कि एक आदर्श सेटिंग में, जिसमें इष्टतम डिस्क्रिमिनेटर होता है, पुन: नमूनाकृत डिस्ट्रीब्यूशन और वास्तविक पोस्टीरियर के बीच का कुलबैक-लीब्लर (KL) डाइवर्जेंस, स्केलिंग पैरामीटर $M$ का एक मोनोटोनिकली नॉन-डिक्रीजिंग फंक्शन है। जैसे-जैसे $M \to \infty$ होता है, पुन: नमूनाकृत डिस्ट्रीब्यूशन वास्तविक पोस्टीरियर की ओर अभिसरित (converge) होता है, जो सैद्धांतिक रूप से बेहतर सटीकता की गारंटी देता है।

3. मुख्य योगदान

शोध पत्र तीन प्राथमिक योगदानों को रेखांकित करता है:

IVRS एल्गोरिदम: एक नवीन इंफरेंस विधि का परिचय जो न्यूरल नेटवर्क के साथ वेरिएशनल इंफरेंस को बढ़ाने के लिए इम्प्लिसिट डिस्ट्रीब्यूशन को रिजेक्शन सैंपलिंग के साथ जोड़ती है।
IR-ELBO और सैद्धांतिक विश्लेषण: इम्प्लिसिट रिसैंपलिंग एविडेंस लोअर बाउंड का निर्माण और एक सैद्धांतिक विश्लेषण जो दर्शाता है कि पुन: नमूनाकृत डिस्ट्रीब्यूशन कच्चे इम्प्लिसिट प्रपोजल की तुलना में वास्तविक पोस्टीरियर से KL डाइवर्जेंस को कम करता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो विभिन्न कार्यों में सटीकता और दक्षता दोनों के मामले में पारंपरिक वेरिएशनल इंफरेंस तकनीकों (AVB और SIVI सहित) से IVRS के बेहतर प्रदर्शन को दर्शाते हैं।

4. प्रयोगात्मक परिणाम

लेखकों ने कई अनसुपरवाइज्ड लर्निंग कार्यों पर IVRS का मूल्यांकन किया:

टॉय डेंसिटी एस्टीमेशन: निम्न-आयामी सिंथेटिक डिस्ट्रीब्यूशन (जैसे गॉसियन, लाप्लास, बनाना-शेप्ड, GMM) पर, IVRS ने बेसलाइन इम्प्लिसिट डिस्ट्रीब्यूशन की तुलना में क्रॉस-एन्ट्रॉपी मानों को लगातार कम किया, जो लक्ष्य कंटूर के साथ बेहतर संरेखण प्रदर्शित करता है।
बेयसियन न्यूरल नेटवर्क (BNNs): छह UCI रिग्रेशन डेटासेट्स पर, IVRS ने AVB, SIVI और उनके वेरिएंट की तुलना में RMSE और NLL के संदर्भ में प्रतिस्पर्धी या बेहतर प्रदर्शन किया।
वेरिएशनल ऑटोएनकोडर्स (VAEs):
- MNIST: IVRS ने AVB की तुलना में ग्राउंड ट्रुथ के करीब चित्र उत्पन्न किए। मात्रात्मक रूप से, इसने 81.78 का नेगेटिव लॉग एविडेंस (NLE) प्राप्त किया, जो SIVI और AVB से बेहतर है। जब इसे NVAE आर्किटेक्चर में एकीकृत किया गया, तो इसने मूल NVAE (78.01) से बेहतर प्रदर्शन करते हुए 77.36 का NLE प्राप्त किया।
- CIFAR-10 और ImageNet: IVRS ने क्लासिक VAE-आधारित दृष्टिकोणों की तुलना में कम बिट्स-पर-डायमेंशन (bpd) स्कोर प्राप्त किया। विशेष रूप से, CR-NVAE जैसे मजबूत बेसलाइन्स में IVRS जोड़ने से bpd में और कमी आई (जैसे, ऑग्मेंटेशन के साथ CIFAR-10 पर 2.51 से 2.43 तक), जो सुझाव देता है कि यह विधि डेटा ऑग्मेंटेशन के पूरक है।

दक्षता: लेखक नोट करते हैं कि हालांकि रिजेक्शन सैंपलिंग कम्प्यूटेशनल ओवरहेड पेश करती है, GPU-त्वरित समानांतर सैंपलिंग लागत को मामूली रखती है (उदाहरण के लिए, $M=100$ पर बोस्टन डेटासेट पर 1.82x सापेक्ष लागत वृद्धि), जो सटीकता में महत्वपूर्ण लाभ द्वारा न्यायसंगत है।

5. महत्व और दावे

शोध पत्र IVRS को न्यूरल नेटवर्क-आधारित वेरिएशनल इंफरेंस में "एक्सप्रेसिवनेस गैप" को दूर करने के एक तंत्र के रूप में प्रस्तुत करता है। इसका महत्व निम्नलिखित में निहित है:

आर्किटेक्चर परिवर्तन के बिना परिशोधन: यह बड़े या अधिक जटिल न्यूरल नेटवर्क आर्किटेक्चर की आवश्यकता के बिना पोस्टीरियर सन्निकटन में सुधार करता है। एब्लेशन अध्ययन दिखाते हैं कि रिजेक्शन सैंपलिंग केवल नेटवर्क क्षमता (जैसे, हिडन यूनिट्स को दोगुना या तिगुना करना) बढ़ाने की तुलना में अधिक सटीकता लाभ प्रदान करती है।
मौजूदा तकनीकों के साथ ऑर्थोगोनैलिटी: इस विधि को डेटा ऑग्मेंटेशन या विशिष्ट प्रायर डिज़ाइन्स (जैसे, VampPrior) जैसे अन्य प्रगतियों के पूरक के रूप में प्रस्तुत किया गया है, जो एक सामान्य इंफरेंस-रिफाइनमेंट स्टेप प्रदान करता है।
सैद्धांतिक गारंटी: IR-ELBO का व्युत्पन्न और मोनोटोनिसिटी प्रमाण इस बात को सैद्धांतिक समर्थन प्रदान करते हैं कि रिजेक्शन सैंपलिंग वेरिएशनल बाउंड को कैसे टाइट करती है, जो अनुभवजन्य ह्यूरिस्टिक्स (heuristics) से परे जाता है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह स्वीकार करते हुए कि इस पद्धति के लिए हाइपरपैरामीटर $M$ के अनुभवजन्य ट्यूनिंग की आवश्यकता होती है और अत्यंत उच्च-आयामी सेटिंग्स (हजारों आयामों) में प्रदर्शन को 'कर्स ऑफ डायमेंशनैलिटी' के कारण चुनौतियां मिल सकती हैं, हालांकि यह मध्यम-उच्च आयामी परिदृश्यों (सैकड़ों आयामों) में अच्छा प्रदर्शन करता है।