📊 statistics

Semi-Supervised Conditional Generative Learning through Stochastic Interpolation and Sufficient Representations

यह शोध पत्र RepG का प्रस्ताव करता है, जो एक अर्ध-पर्यवेक्षित (semi-supervised) सशर्त जनरेटिव ढांचा है जो संरचनात्मक शिक्षण के लिए प्रचुर मात्रा में अनलेबल डेटा का लाभ उठाने के लिए पीढ़ी को लेबल-निर्भर लेटेंट सैंपलिंग और उच्च-आयामी पुनर्निर्माण में विभाजित करता है, जिससे सुपरवाइज्ड एस्टीमेशन को एक निम्न-आयामी लेटेंट स्पेस तक सीमित करके तेज़ अभिसरण दर (convergence rates) प्राप्त की जा सकती है और आयामीता के अभिशाप (curse of dimensionality) को कम किया जा सकता है।

मूल लेखक: Changyu Liu, Yuling Jiao, Jian Huang

प्रकाशित 2026-07-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Changyu Liu, Yuling Jiao, Jian Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को चित्र बनाना सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह किसी विशेष प्रकार के जानवर, जैसे कि बिल्ली, का चित्र बनाए, लेकिन आपके पास बिल्लियों की केवल कुछ ही तस्वीरें हैं। हालाँकि, आपके पास बाकी सब कुछ की तस्वीरों का एक पहाड़ है—कुत्ते, पक्षी, कारें और परिदृश्य। यह कृत्रिम बुद्धिमत्ता (AI) की दुनिया में क्लासिक "सेमी-सुपरवाइज्ड" (अर्ध-पर्यवेक्षित) समस्या है: आप किसी विशिष्ट कौशल को कैसे सीख सकते हैं जब आपके पास उस कौशल के बहुत कम उदाहरण हों, लेकिन सामान्य दुनिया के ढेरों उदाहरण हों?

इस समस्या को हल करने के लिए, वैज्ञानिक अक्सर "जेनरेटिव मॉडल्स" (उत्पादक मॉडल) का उपयोग करते हैं, जो डिजिटल कलाकारों की तरह होते हैं जो यह सीखते हैं कि चीजें कैसी दिखती हैं ताकि वे शून्य से नई, वास्तविक छवियां बना सकें। आमतौर पर, यदि आप चाहते हैं कि रोबोट एक बिल्ली बनाए, तो आपको उसे हजारों लेबल वाली बिल्ली की तस्वीरें दिखानी पड़ती हैं। लेकिन क्या होगा यदि आपके पास केवल कुछ ही तस्वीरें हों? यह शोध पत्र ठीक इसी चुनौती से निपटता है। यह एक चतुर तरकीब प्रस्तावित करता है: आपकी कुछ ही तस्वीरों से सीधे बिल्ली के जटिल विवरणों को सीखने के बजाय, रोबोट पहले एक सरल "ब्लूप्रिंट" या "स्केच" सीखता है कि क्या चीज़ एक बिल्ली को बिल्ली बनाती है। यह रोबोट उन बिना लेबल वाली तस्वीरों के ढेर का उपयोग यह सीखने के लिए करता है कि उस सरल स्केच को एक पूर्ण, विस्तृत चित्र में कैसे बदला जाए। इस तरह, रोबोट को बिल्ली के विचार को समझने के लिए बहुत कम लेबल वाले उदाहरणों की आवश्यकता होती है, लेकिन वह फर, मूंछों और आंखों को पेंट करना सीखने के लिए उन अन्य सभी तस्वीरों का उपयोग कर सकता है।

"सेमी-सुपरवाइज्ड कंडीशनल जेनेरेटिव लर्निंग थ्रू स्टोकेस्टिक इंटरपोलेशन एंड सफिशिएंट रिप्रेजेंटेशन" शीर्षक वाला यह शोध पत्र एक नई विधि पेश करता है जिसे RepG कहा जाता है। RepG को छवियों के निर्माण के लिए एक दो-चरणीय असेंबली लाइन के रूप में समझें। पहले चरण में, सिस्टम आपके लेबल (जैसे "बिल्ली") को देखता है और एक छोटा, निम्न-आयामी (low-dimensional) "लेटेंट रिप्रेजेंटेशन" बनाता है। आप इसकी कल्पना एक गुप्त कोड या एक सरलीकृत स्केच के रूप में कर सकते है जो अभी भी विवरणों की चिंता किए बिना बिल्ली के सार को पकड़ता है। क्योंकि यह चरण सरल और निम्न-आयामी है, रोबोट इसे केवल कुछ ही लेबल वाले उदाहरणों के साथ पूरी तरह से सीख सकता है।

दूसरे चरण में, रोबोट उस सरल स्केच को लेता है और उसका उपयोग एक पूर्ण, उच्च-रिज़ॉल्यूशन वाली छवि बनाने के लिए करता है। यहाँ जादू यह है: इस दूसरे चरण को अब "बिल्ली" लेबल जानने की आवश्यकता नहीं है। इसे बस यह जानने की आवश्यकता है कि किसी भी स्केच को एक वास्तविक छवि में कैसे बदला जाए। इस कारण से, रोबोट इस कठिन, उच्च-विवरण वाले चरण को आपके पास मौजूद विशाल बिना लेबल वाली तस्वीरों का उपयोग करके सीख सकता है। इससे कोई फर्क नहीं पड़ता कि वे तस्वीरें बिल्लियों, कुत्तों या ट्रकों की हैं; रोबोट केवल "एक स्केच को चित्र में कैसे बदला जाए" के सामान्य नियम सीख रहा है। इस काम को इस तरह विभाजित करके, यह तरीका "कर्स ऑफ डाइमेंशनैलिटी" (आयामीता का अभिशाप) से बचता है, जो एक फैंसी तरीका है यह कहने का कि जटिल, उच्च-आयामी पैटर्न सीखना आमतौर पर डेटा की एक असंभव मात्रा की मांग करता है।

लेखक गणितीय रूप से सिद्ध करते हैं कि यह दृष्टिकोण पूरे चित्र को एक साथ सीखने की तुलना में बेहतर काम करता है। वे दिखाते हैं कि उनकी विधि में त्रुटि (error) पूर्ण छवि के आकार (जो बहुत बड़ा है) के बजाय सरल स्केच के आकार (जो छोटा है) पर निर्भर करती है। अपने प्रयोगों में, उन्होंने सिंथेटिक डेटा और हस्तलिखित अंकों के प्रसिद्ध MNIST डेटासेट पर परीक्षण किया। जब उनके पास बहुत कम लेबल वाले अंक (जैसे 1,000) थे लेकिन कई बिना लेबल वाले अंक थे, तो RepG ने काफी बेहतर प्रदर्शन किया कि कैसे अधिक बिना लेबल वाला डेटा जोड़ने पर स्पष्ट, पहचानने योग्य अंक उत्पन्न होते हैं। जैसे-जैसे उन्होंने रोबोट को चित्र बनाने के सामान्य नियमों को सीखने के लिए अधिक "अतिरिक्त" तस्वीरें दीं, वह विशिष्ट अंकों को बनाने में बेहतर होता गया, भले ही उसने उन अतिरिक्त तस्वीरों के लिए कभी लेबल नहीं देखे थे।

यह शोध पत्र सुझाव देता है कि यह दो-चरणीय प्रक्रिया स्थितियों को संभालने का एक शक्तिशाली तरीका है जहाँ डेटा की कमी है। यह दावा नहीं करता है कि इसने AI की हर समस्या को हल कर दिया है, लेकिन यह एक मजबूत सैद्धांतिक प्रमाण और सिमुलेशन साक्ष्य प्रदान करता है कि "क्या" (लेबल) को "कैसे" (विस्तृत पीढ़ी) से अलग करने से मशीनें बहुत अधिक कुशलता से सीख सकती हैं। परिणाम दर्शाते हैं कि एक "सफिशिएंट रिप्रेजेंटेशन" (पर्याप्त प्रतिनिधित्व)—यानी एक ऐसा स्केच जो सभी आवश्यक जानकारी रखता है—का उपयोग करके, रोबोट बड़े पैमाने पर लेबल वाले डेटासेट की आवश्यकता को दरकिनार कर सकता है, जिससे तब भी शक्तिशाली इमेज जेनरेटर को प्रशिक्षित करना संभव हो जाता है जब आपके पास शुरू करने के लिए केवल कुछ ही उदाहरण हों।

तकनीकी सारांश: स्टोकेस्टिक इंटरपोलेशन और पर्याप्त निरूपणों के माध्यम से अर्ध-पर्यवेक्षित सशर्त जनरेटिव लर्निंग

1. समस्या विवरण

सशर्त जनरेटिव मॉडलिंग का लक्ष्य उच्च-आयामी डेटा $X \in \mathbb{R}^d$ के लिए दी गई स्थिति $Y \in \mathbb{R}^q$ के आधार पर अंतर्निहित सशर्त वितरण $P_{X|Y}$ को सीखना है। जबकि मानक रिग्रेशन पॉइंट एस्टीमेट प्रदान करते हैं, पूर्ण वितरण को सीखना अनिश्चितता के परिमाणीकरण (uncertainty quantification) और मल्टीमोडैलिटी जैसी जटिल संरचनाओं को पकड़ने के लिए आवश्यक है। हालांकि, अर्ध-पर्यवेक्षित सेटिंग्स में, लेबल वाले जोड़े $(X, Y)$ दुर्लभ होते हैं जबकि $X$ के बिना लेबल वाले नमूने प्रचुर मात्रा में होते हैं।

प्रत्यक्ष दृष्टिकोण जो $Y$ को उच्च-आयामी जनरेशन प्रक्रिया में इंजेक्ट करते हैं, खराब सैंपल दक्षता (sample efficiency) से ग्रस्त होते हैं। उन्हें जटिल एम्बिएंट कंडीशनल डिस्ट्रीब्यूशन को सीखने के लिए पर्याप्त लेबल वाले डेटा की आवश्यकता होती है, जिससे वे प्रचुर मात्रा में उपलब्ध बिना लेबल वाले डेटा का लाभ उठाने में विफल रहते हैं। मौजूदा निरूपण-आधारित विधियाँ (जैसे VAEs, लेटेंट डिफ्यूजन) अक्सर ऑटोएनकोडर संरचनाओं पर निर्भर करती हैं जहाँ सशर्त जनरेशन के लिए सैद्धांतिक गारंटी अभी भी अनोखली है, विशेष रूप से इस संबंध में कि अपूर्ण निरूपणों में सूचना की हानि जनरेटिव त्रुटि को कैसे प्रभावित करती है।

2. कार्यप्रणाली: RepG फ्रेमवर्क

लेखक RepG प्रस्तावित करते हैं, जो पर्याप्त निरूपणों (sufficient representations) और सशर्त स्टोकेस्टिक इंटरपोलेशन का उपयोग करके सशर्त जनरेशन प्रक्रिया को दो चरणों में विभाजित करता है।

2.1 पर्याप्त निरूपणों के माध्यम से संरचनात्मक गुणनखंड (Structural Factorization)

RepG एक निम्न-आयामी लेटेंट निरूपण $R(X) \in \mathbb{R}^k$ (जहाँ $k \ll d$ ) पेश करता है जिसे $X$ और $Y$ को जोड़ने वाली सभी जानकारी को कैप्चर करने के लिए डिज़ाइन किया गया है। यह विधि सशर्त स्वतंत्रता धारणा $X \perp\!\!\!\perp Y \mid R$ पर निर्भर करती है, जो मार्कोव चेन $Y \to R \to X$ स्थापित करती है। यह जनरेशन प्रक्रिया को निम्नलिखित में विभाजित करने की अनुमति देता है:

लेटेंट सैंपलिंग (लेबल-निर्भर): स्थिति $y$ से पर्याप्त निरूपण $r$ उत्पन्न करना ( $P_{R|Y}$ )। यह एक निम्न-आयामी कार्य है जिसे दुर्लभ लेबल वाले डेटा का उपयोग करके अनुमानित किया जाता है।
पुनर्निर्माण (लेबल-मुक्त): निरूपण $r$ से उच्च-आयामी लक्ष्य $x$ उत्पन्न करना ( $P_{X|R}$ )। चूंकि $P_{X|R}$ , $Y$ से स्वतंत्र है, इसलिए इस चरण को लेबल वाले और प्रचुर मात्रा में उपलब्ध बिना लेबल वाले डेटा के संयुक्त डेटासेट का उपयोग करके अनुमानित किया जा सकता है।

2.2 स्टोकेस्टिक इंटरपोलेशन के माध्यम से कार्यान्वयन

दोनों चरणों को लागू करने के लिए, RepG सशर्त स्टोकेस्टिक इंटरपोलेशन (Albergo et al., 2025; Huang et al., 2023) का उपयोग करता है।

इंटरपोलेशन पाथ: एक पथ $Z_t = a_t Z_0 + b_t Z_1$ संदर्भ गॉसियन वितरण ( $Z_0$ ) को लक्ष्य वितरण ( $Z_1$ ) से $t \in [0, 1]$ पर जोड़ता है।
ड्रिफ्ट एस्टीमेशन: जनरेटिव कार्य एक स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) के ड्रिफ्ट फील्ड $v^*_F$ का अनुमान लगाने में बदल जाता है। यह ड्रिफ्ट एक वेलोसिटी फील्ड और एक स्कोर फंक्शन में विभाजित होता है।
न्यूरल एस्टिमेटर्स: दोनों चरणों के वेलोसिटी फील्ड्स को डीप ReLU फीडफॉरवर्ड न्यूरल नेटवर्क (FNNs) द्वारा पैरामीटराइज किया गया है।
- चरण 1: वेलोसिटी फील्ड $u$ को लेबल वाले जोड़ों $(R_i, Y_i)$ पर इंटरपोलेशन पाथ के एम्पिरिकल रिस्क को कम करने के लिए प्रशिक्षित किया जाता है।
- चरण 2: वेलोसity फील्ड $v$ को संवर्धित डेटासेट $(X_m, R_m)$ (लेबल वाले और बिना लेबल वाले डेटा को मिलाकर) पर प्रशिक्षित किया जाता है ताकि पुनर्निर्माण मैपिंग सीखी जा सके।
जनरेशन: स्थिति $y$ दिए जाने पर, मॉडल पहले लेटेंट निरूपण $\hat{r}$ उत्पन्न करने के लिए SDE को सिम्युलेट करता है, फिर अंतिम नमूना $\hat{x}$ उत्पन्न करने के लिए $\hat{r}$ पर आधारित दूसरे SDE को सिम्युलेट करता है।

2.3 निरूपण लर्निंग (Representation Learning)

$R(\cdot)$ के निर्माण के लिए, लेखक एक डीप डायमेंशन रिडक्शन (DDR) फ्रेमवर्क (Huang et al., 2024) का उपयोग करते हैं। इसमें एक ऐसा मैपिंग सीखना शामिल है जो $R(X)$ और $Y$ के बीच डिस्टेंस कोवेरिएंस को अधिकतम करता है और साथ ही $R(X)$ को एक स्टैंडर्ड गॉसियन वितरण का पालन करने के लिए नियमित (regularize) करता है, जिससे यह सुनिश्चित होता है कि $X \perp\!\!\!\perp Y \mid R(X)$ लगभग संतुष्ट है।

3. मुख्य योगदान

3.1 सैद्धांतिक त्रुटि अपघटन (Theoretical Error Decomposition)

यह पेपर वास्तविक सशर्त वितरण और RepG एस्टिमेटर के बीच अपेक्षित कुल कुलबैक-लीब्लर (KL) डाइवर्जेंस का एक कठोर अपघटन स्थापित करता है। कुल त्रुटि तीन घटकों से बनी है:

स्ट्रक्चरल बायस (Structural Bias): इसे कंडीशनल म्यूचुअल इंफॉर्मेशन (CMI), $I(X; Y \mid R)$ द्वारा मापा जाता है। यह उस सूचना की हानि को मापता है जो तब होती है जब निरूपण पूरी तरह से पर्याप्त नहीं होता है।
लो-डायमेंशनल एस्टीमेशन एरर: लेबल वाले डेटा का उपयोग करके $P_{R|Y}$ सीखने में होने वाली त्रुटि।
हाई-डायमेंशनल एस्टीमेशन एरर: संयुक्त डेटासेट का उपयोग करके $P_{X|R}$ सीखने में होने वाली त्रुटि।

यह अपघटन सिद्ध करता है कि सख्त सशर्त स्वतंत्रता की आवश्यकता नहीं है; एक छोटा CMI और नियंत्रित एस्टीमेशन एरर मिलकर कम कुल जनरेटिव त्रुटि के लिए पर्याप्त हैं।

3.2 नॉन-एसिम्प्टोटिक कन्वर्जेंस रेट्स

स्मूथनेस धारणाओं (लोकल होल्डर क्लासेस) और सब-एक्सपोनेंशियल मोमेंट बाउंड्स के तहत, लेखक FNN एस्टिमेटर्स के लिए कन्वर्जेंस रेट्स निकालते हैं:

प्रथम-चरण की त्रुटि सैंपल साइज $n$ और डायमेंशन $k+q$ के साथ स्केल होती है।
द्वितीय-चरण की त्रुटि संयुक्त सैंपल साइज $n+N$ और डायमेंशन $d+k$ के साथ स्केल होती है।
महत्वपूर्ण परिणाम: उस स्थिति में जहाँ बिना लेबल वाला डेटा प्रचुर मात्रा में है ( $N \gg n$ ), समग्र कन्वर्जेंस रेट लो-डायमेंशनल सुपरवाइज्ड कंपोनेंट ( $n^{-2\alpha/(2\alpha+q+k+1)}$ ) द्वारा डोमिनेट होती है। यह दर्शाता है कि RepG लेबल वाले डेटा के सांख्यिकीय बोझ को कम आयाम $k$ तक सीमित करके 'कर्स ऑफ डायमेंशनैलिटी' को प्रभावी ढंग से कम करता है।

3.3 मिनिमैक्स लोअर बाउंड (Minimax Lower Bound)

पेपर प्रत्यक्ष सशर्त जनरेशन (बिना लेटेंट फैक्टराइजेशन के) के लिए एक मिनिमैक्स लोअर बाउंड प्रदान करता है, जो दिखाता है कि त्रुटि पूर्ण एम्बिएंट डायमेंशन $d+q+1$ के साथ स्केल होती है। RepG के अपर बाउंड की तुलना करके, लेखक पुष्टि करते हैं कि निरूपण-आधारित गुणनखंडन (representation-based factorization) महत्वपूर्ण रूप से सैंपल कॉम्प्लेक्सिटी में सुधार करता है जब $k \ll d$ हो।

4. प्रयोगात्मक परिणाम

4.1 सिमुलेशन अध्ययन

डिस्क्रीट कंडीशनिंग: सिंथेटिक डेटासेट्स (Two Moons, Concentرic Circles, 2D/3D Gaussian Mixtures) पर RepG का परीक्षण किया गया। पद्धति ने सफलतापूर्वक पर्याप्त निरूपण सीखे जो क्लास सेपरेबिलिटी को बनाए रखते हैं और मोड कोलैप्स के बिना जटिल ज्यामिति का पुनर्निर्माण करते हैं।
कंटीन्यूअस कंडीशनिंग: हेटरोसेडास्टिसिटी, स्क्यूनेस और क्रॉसिंग डिस्ट्रीब्यूशन वाले परिदृश्यों में, RepG ने जॉइंट डिस्ट्रीब्यूशनल एक्यूरेसी (एनर्जी स्कोर) के मामले में GPR, MDN और QRF को पछाड़ दिया। जबकि मार्जिनल इंटरवल विड्थ्स तुलनीय थीं, RepG ने मल्टीवेरिएट डिपेंडेंस स्ट्रक्चर को बेहतर ढंग से कैप्चर किया।

4.2 वास्तविक दुनिया का अनुप्रयोग (MNIST)

RepG को फिक्स्ड लेबल सेट ( $n_\ell \in \{1000, 3000\}$ ) और बदलते बिना लेबल वाले सेट ( $n_u$ ) के साथ MNIST डिजिट जनरेशन पर लागू किया गया।

प्रदर्शन: RepG ने बेसलाइन डायरेक्ट कंडीशनल मॉडल को लगातार पछाड़ दिया।
स्केलेबिलिटी: जैसे-जैसे बिना लेबल वाले नमूनों की संख्या बढ़ी, Repest ने डाउनस्ट्रीम क्लासिफिकेशन टास्क में मोनोटोनिक एक्यूरेसी गेन्स दिखाया, जो 87-90% सटीकता के पास स्थिर हो गया। इसके विपरीत, बेसलाइन का प्रदर्शन सपाट रहा, क्योंकि वह बिना लेबल वाले डेटा का उपयोग करने में असमर्थ था।
विजुअल क्वालिटी: बिना लेबल वाले सैंपल साइज के बढ़ने के साथ उत्पन्न छवियां खंडित आर्टिफैक्ट्स से सुसंगत संरचनाओं में बदल गईं।

5. महत्व और दावे

पेपर का दावा है कि RepG अर्ध-पर्यवेक्षित सशर्त जनरेशन की समस्या के लिए एक सिद्धांत आधारित समाधान प्रदान करता है:

जटिलता का पृथक्करण (Decoupling Complexity): कठिन उच्च-आयामी जनरेशन को एक निम्न-आयामी सुपरवाइज्ड टास्क और एक लेबल-मुक्त पुनर्निर्माण टास्क में अलग करना।
सैद्धांतिक गारंटी: निरूपण-आधारित सशर्त जनरेशन के लिए पहला कठोर त्रुटि अपघटन और कन्वर्जेंस रेट्स प्रदान करना, जो स्पष्ट रूप से स्ट्रक्चरल बायस (CMI) को सांख्यिकीय जोखिम से जोड़ता है।
सैंपल दक्षता: यह प्रदर्शित करके कि अपने लेटेंट स्पेस के इंट्रिन्सिक डायमेंशन तक सुपरवाइज्ड लर्निंग के बोझ को सीमित करके, यह विधि डायरेक्ट एम्बिएंट-स्पेस मॉडलिंग में निहित 'कर्स ऑफ डायमेंशनैलिटी' से बचती है।
व्यावहारिक उपयोगिता: सिंथेटिक और वास्तविक दुनिया के डेटा पर परिणामों के माध्यम से यह प्रमाणित करना कि भले ही पर्याप्तता अनुमानित (approximate) हो, फ्रेमवर्क प्रभावी रहता है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण अर्ध-पर्यवेक्षित सेटिंग्स में सीमित लेबल वाले डेटा को आवंटित करने और उच्च-आयामी डेटा संरचनाओं को सीखने के लिए प्रचुर मात्रा में उपलब्ध बिना लेबल वाले डेटा का प्रभावी ढंग से लाभ उठाने के लिए एक मजबूत सैद्धांतिक आधार प्रदान करता है।