📊 statistics

Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning

यह शोध पत्र एक अर्ध-पर्यवेक्षित (semi-supervised), दो-चरणीय प्रशिक्षण ढांचे का प्रस्ताव करता है जो प्रचुर मात्रा में अनलेबल डेटा का उपयोग करके हल्के विशेषज्ञ डिफ्यूजन मॉडलों को एक सामान्यज्ञ मॉडल में संकुचित (distill) करता है, जिससे उन सांख्यिकीय गारंटियों के साथ कुशल बहु-उद्देश्यीय शिक्षण प्राप्त होता है जो सामान्यज्ञ के बजाय केवल विशेषज्ञों की जटिलता पर निर्भर करते हैं।

मूल लेखक: Ziheng Cheng, Yixiao Huang, Hanlin Zhu, Haoran Geng, Somayeh Sojoudi, Jitendra Malik, Pieter Abbeel, Xin Guo

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ziheng Cheng, Yixiao Huang, Hanlin Zhu, Haoran Geng, Somayeh Sojoudi, Jitendra Malik, Pieter Abbeel, Xin Guo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट या कंप्यूटर प्रोग्राम को एक साथ कई अलग-अलग काम करना सिखाने की कोशिश कर रहे हैं। शायद उसे एनिमे (anime) की शैली में, ऑयल पेंटिंग की शैली में, और वास्तविक फोटो की शैली में चित्र बनाने की आवश्यकता हो। या शायद उसे एक रोबोटिक हाथ को लाल क्यूब, नीला क्यूब और हरा क्यूब उठाने में मदद करने की आवश्यकता हो।

AI की दुनिया में, इसे मल्टी-ऑब्जेक्टिव लर्निंग (Multi-Objective Learning) कहा जाता है। लक्ष्य एक "जनरलिस्ट" (Generalist) मस्तिष्क बनाना है जो इन सभी कार्यों में कुशल हो।

समस्या: "जैक ऑफ ऑल ट्रेड्स" (सब कुछ करने वाला) महंगा है

आमतौर पर, इस जनरलिस्ट मस्तिष्क को प्रशिक्षित करने के लिए, आपको बड़ी मात्रा में सटीक उदाहरणों की आवश्यकता होती है। प्रत्येक कार्य के लिए, आपको डेटा का एक जोड़ा चाहिए: निर्देश (जैसे "एक बिल्ली बनाओ") और उसका सटीक परिणाम (वास्तविक बिल्ली की तस्वीर)।

लेकिन यहाँ एक पेंच है: उन सटीक जोड़ों को प्राप्त करना कठिन और महंगा है।

रोबोटिक्स में: आपको किसी मानव विशेषज्ञ द्वारा हजारों बार उस कार्य का भौतिक प्रदर्शन करने की आवश्यकता होती है।
कला में: आपको उच्च-गुणवत्ता वाले, क्यूरेटेड इमेज पेयर्स (चित्रों के जोड़े) की आवश्यकता होती है।

लेकिन आपके पास बहुत सारे "निर्देश" (conditions) मौजूद हैं। आपके पास लाखों टेक्स्ट प्रॉम्प्ट या लाखों रोबोट शुरुआती स्थितियाँ हैं, लेकिन आपके पास उन सभी के लिए सटीक उत्तर नहीं हैं। यह सेमी-सुपरवाइज्ड (Semi-Supervised) समस्या है: प्रश्न बहुत सारे हैं, लेकिन उत्तर बहुत कम हैं।

यदि आप सीधे उन कुछ उत्तरों पर बड़े जनरलिस्ट मस्तिष्क को प्रशिक्षित करने की कोशिश करते हैं, तो यह दुनिया के हर विषय में महारत हासिल करने के लिए एक पीएचडी छात्र को केवल एक ही पाठ्यपुस्तक का उपयोग करके पढ़ाने जैसा है। यह अक्षम है, और छात्र अच्छी तरह से सीख भी नहीं पाएगा।

समाधान: "स्पेशलिस्ट" प्रशिक्षु (Apprentices)

लेखक एक चतुर दो-चरणीय तरकीब का प्रस्ताव देते हैं, जैसे एक मास्टर शेफ एक नए हेड शेफ को प्रशिक्षित करता है।

चरण 1: विशेषज्ञों (Specialists) को प्रशिक्षित करें (प्रशिक्षु)
बड़े जनरलिस्ट को तुरंत प्रशिक्षित करने के बजाय, आप पहले छोटे, हल्के "स्पेशलिस्ट" मॉडल प्रशिक्षित करते हैं।

आप स्पेशलिस्ट #1 को "एनिमे स्टाइल" के कुछ उदाहरण देते हैं और उसे केवल वही सिखाते हैं।
आप स्पेशलिस्ट #2 को "ऑयल पेंटिंग" के कुछ उदाहरण देते हैं और उसे केवल वही सिखाते हैं।
आप स्पेशलिस्ट #3 को "रियलिज्म" (यथार्थवाद) के कुछ उदाहरण देते हैं और उसे केवल वही सिखाते हैं।

क्योंकि ये स्पेशलिस्ट छोटे और केंद्रित होते हैं, वे उपलब्ध डेटा की कम मात्रा से बहुत तेज़ी से और कुशलता से सीख जाते हैं। वे अपनी छोटी, विशिष्ट दुनिया के विशेषज्ञ बन जाते हैं।

चरण 2: जनरललिस्ट विशेषज्ञों से सीखता है
अब, आपके पास एक समस्या है: आपके पास अभी भी लाखों "निर्देश" (अनलेबल डेटा) हैं लेकिन कोई "उत्तर" नहीं है।

आप उन लाखों निर्देशों को अपने स्पेशलिस्ट्स को देते हैं।
स्पेशलिस्ट #1 एक निर्देश के लिए एक नकली "एनिमे" चित्र बनाता है।
स्पेशलिस्ट #2 दूसरे निर्देश के लिए एक नकली "ऑयल पेंटिंग" चित्र बनाता है।

इन्हें स्यूडो-सैंपल्स (Pseudo-samples) कहा जाता है। वे पूर्ण नहीं हैं, लेकिन पर्याप्त रूप से अच्छे हैं। अब, आपके पास "निर्देश + उत्पन्न उत्तर" के विशाल पुस्तकालय का एक संग्रह है।

आप अपने बड़े, शक्तिशाली जनरललिस्ट मॉडल को इस स्यूडो-सैंपल्स के विशाल पुस्तकालय (और मूल कुछ वास्तविक उदाहरणों) पर प्रशिक्षित करते हैं। जनरललिस्ट विशेषज्ञों से सीखता है, प्रभावी रूप से उनके ज्ञान को एक बड़े मस्तिष्क में "डिस्टिल" (distill) करता है।

यह एक बड़ी बात क्यों है (सिद्धांत)

लेखक एक गणितीय प्रमाण (एक "सांख्यिकीय सिद्धांत") प्रदान करते हैं जो यह दर्शाता है कि यह इतना अच्छा क्यों काम करता है।

इसे इस तरह सोचें:

पुराना तरीका: किसी जटिल कौशल को सीखने के लिए, आपको अभ्यास के बहुत सारे प्रयासों की आवश्यकता होती है। प्रयासों की संख्या उस चीज़ के साथ बढ़ती है जितनी जटिल वह कौशल है।
नया तरीका: लेखक सिद्ध करते हैं कि आपको कितने वास्तविक, महंगे अभ्यास प्रयासों की आवश्यकता है, यह केवल इस बात पर निर्भर करता है कि स्पेशलिस्ट कितने जटिल हैं, न कि इस पर कि जनरललिस्ट कितना जटिल है।

चूंकि स्पेशलिस्ट छोटे और सरल होते हैं, इसलिए आपको उन्हें प्रशिक्षित करने के लिए बहुत कम वास्तविक उदाहरणों की आवश्यकता होती है। जनरललिस्ट विशाल और जटिल है, लेकिन क्योंकि वह स्पेशलिस्ट द्वारा उत्पन्न "नकली" डेटा से सीखता है, इसलिए उसे सीखने के लिए बहुत बड़ी संख्या में वास्तविक उदाहरणों की आवश्यकता नहीं होती है।

परिणाम: आपको एक सुपर-स्मार्ट जनरललिस्ट मॉडल मिलता है जो कई कार्यों को अच्छी तरह से संभालता है, लेकिन आपको केवल छोटे, सरल मॉडलों के लिए डेटा एकत्र करने की "कीमत" चुकानी पड़ी।

वास्तविक दुनिया के परीक्षण

लेखकों ने इस विचार का दो अलग-अलग क्षेत्रों में परीक्षण किया:

रोबोटिक्स: उन्होंने एक रोबोटिक हाथ को क्यूब्स को रखने और उठाने के लिए सिखाया। उन्होंने विभिन्न लाइटिंग और कैमरा एंगल के लिए छोटे स्पेशलिस्ट प्रशिक्षित किए, फिर उन स्पेशलिस्ट का उपयोग एक बड़े जनरललिस्ट को प्रशिक्षित करने के लिए किया। परिणाम? रोबोट नए, अनदेखे वातावरण (जैसे अलग रोशनी या कैमरा एंगल) को संभालने में बहुत बेहतर था, यदि उन्होंने केवल वास्तविक उदाहरणों पर बड़े रोबोट को प्रशिक्षित किया होता।
इमेज रेस्टोरेशन (Image Restoration): उन्होंने क्षतिग्रस्त फोटो को ठीक करने (इनपेंटिंग) की कोशिश की। उन्होंने विभिन्न प्रकार के नुकसान (जैसे रेखाएं, फेस मास्क, या चौड़े खरोंच) को ठीक करने के लिए स्पेशलिस्ट प्रशिक्षित किए। फिर, उन्होंने उन स्पेशलिस्ट का उपयोग एक बड़े जनरललिस्ट के लिए प्रशिक्षण डेटा उत्पन्न करने के लिए किया। परिणाम यह था कि जनरललिस्ट ने सीमित वास्तविक डेटा पर प्रशिक्षित मॉडलों की तुलना में फोटो को बहुत बेहतर तरीके से ठीक किया।

निचोड़ (The Bottom Line)

यह पेपर दिखाता है कि जब आपके पास महंगे, सटीक डेटा की कमी हो, तो अपने बड़े AI को एक साथ सब कुछ सीखने के लिए मजबूर न करें। इसके बजाय, बुनियादी बातें जल्दी सीखने के लिए छोटे, सस्ते "स्पेशलिस्ट" को काम पर लगाएं, उन्हें अभ्यास सामग्री उत्पन्न करने दें, और फिर अपने बड़े "जनरललिस्ट" को उनसे सीखने के लिए सिखाएं। यह शक्तिशाली AI बनाने का एक स्मार्ट, सस्ता और अधिक कुशल तरीका है।

तकनीकी सारांश: अर्ध-पर्यवेक्षित शिक्षण के तहत डिफ्यूजन मॉडल के लिए बहु-उद्देश्यीय शिक्षण (Multi-Objective Learning)

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल का उपयोग विविध कार्यों के लिए सशर्त जनरेटर (conditional generators) के रूप में तेजी से किया जा रहा है, जैसे कि विषम प्रॉम्प्ट डोमेन में टेक्स्ट-टू-इमेज सिंथेसिस या कई वातावरणों में रोबोटिक नियंत्रण। ये परिदृश्य स्वाभाविक रूप से एक बहु-उद्देश्यीय शिक्षण (Multi-Objective Learning - MOL) समस्या का निर्माण करते हैं, जहाँ एक एकल मॉडल को कई लक्षित वितरणों (target distributions) पर पारेटो-इष्टतम (Pareto-optimal) प्रदर्शन प्राप्त करना होता है।

इस सेटिंग में एक केंद्रीय चुनौती एक "जनरलिस्ट" (generalist) मॉडल को प्रशिक्षित करने की सांख्यिकीय लागत (statistical cost) है। कई उद्देश्यों को संभालने के लिए, जनरलिस्ट मॉडल क्लास ( $\mathcal{F}$ ) को व्यक्तिगत कार्यों के लिए आवश्यक "स्पेशलिस्ट" (specialist) मॉडल क्लासेस ( $\mathcal{H}_k$ ) की तुलना में काफी अधिक क्षमता (capacity) की आवश्यकता होती है। पूर्णतः पर्यवेक्षित (fully supervised) सेटिंग्स में, जनरलिस्ट को प्रशिक्षित करने के लिए सैंपल कॉम्प्लेक्सिटी (sample complexity) इसकी अपनी जटिलता ( $C_\mathcal{F}$ ) के साथ स्केल करती है, जो अक्सर अत्यधिक उच्च होती है।

इसके अलावा, वास्तविक दुनिया के कार्यान्वयन में अक्सर एक असममित डेटा व्यवस्था (asymmetric data regime) का सामना करना पड़ता है:

युग्मित डेटा (Paired data) $(x, y)$ (जैसे, क्यूरेटेड टेक्स्ट-इमेज पेयर्स या विशेषज्ञ रोबोट प्रदर्शन) दुर्लभ और महंगे होते हैं।
अयुग्मित सशर्त डेटा (Unpaired condition data) $y$ (जैसे, कच्चे टेक्स्ट प्रॉम्प्ट या स्टेट ऑब्जर्वेशन) प्रचुर मात्रा में उपलब्ध होते हैं।

यह शोध निम्नलिखित प्रश्न का समाधान करता है: क्या हम कमजोर रूप से पर्यवेक्षित (unlabeled condition) डेटा का लाभ उठाकर एक पारेटो-इष्टतम डिफ्यूजन मॉडल को सैंपल-कुशल तरीके से सीख सकते हैं?

2. कार्यप्रणाली (Methodology)

लेखक एक दो-चरणीय अर्ध-सुपरवाइज्ड प्रशिक्षण ढांचे (two-stage semi-supervised training framework) का प्रस्ताव करते हैं जो उच्च-क्षमता वाले जनरलिस्ट की आवश्यकता और युग्मित डेटा की कमी के बीच सामंजस्य बिठाता है।

चरण 1: स्पेशलिस्ट प्रशिक्षण (Specialist Training)

प्रत्येक $K$ उद्देश्यों (लक्षित वितरण $P_k$ ) के लिए, केवल सीमित उपलब्ध युग्मित डेटा $\{(x_i^k, y_i^k)\}_{i=1}^n$ का उपयोग करके एक हल्का स्पेशलिस्ट स्कोर फंक्शन $h_k \in \mathcal{H}_k$ प्रशिक्षित किया जाता है।

यह माना जाता है कि स्पेशलिस्ट क्लासेस $\mathcal{H}_k$ की जटिलता ( $C_{\mathcal{H}_k} \ll C_\mathcal{F}$ ) जनरलिस्ट क्लास की तुलना में काफी कम है।
स्पेशलिस्ट युग्मित डेटा पर डैनोइजिंग स्कोर मैचिंग ऑब्जेक्टिव को कम करता है।

चरण 2: सूडो-सैंपलिंग के माध्यम से जनरलिस्ट प्रशिक्षण (Generalist Training via Pseudo-Sampling)

एक बड़ा जनरलिस्ट मॉडल $f \in \mathcal{F}$ सभी उद्देश्यों के लिए पारेटो-इष्टतम सेट को अनुमानित करने के लिए प्रशिक्षित किया जाता है।

सूडो-सैंपल जनरेशन (Pseudo-Sample Generation): प्रशिक्षित स्पेशलिस्ट्स $\{h_k\}$ का उपयोग सूडो-युग्मित डेटा उत्पन्न करने के लिए किया जाता है। प्रत्येक प्रचुर अयुग्मित कंडीशन $y_i^k \sim P_Y^k$ के लिए, स्पेशलिस्ट एक सूडो-टारगेट $\tilde{x}_i^k \sim P_{h_k}(\cdot|y_i^k)$ उत्पन्न करता है।
उद्देश्य (Objective): जनरलिस्ट को मूल लेबल वाले डेटा और उत्पन्न किए गए सूडो-युग्मित डेटा के संयोजन पर प्रशिक्षित किया जाता है। प्रशिक्षण ऑब्जेक्टिव सभी $K$ उद्देश्यों पर स्कोर मैचिंग लॉस के स्केलेराइजेशन $S$ को कम करता है:
$\hat{f}_S = \arg\min_{f \in \mathcal{F}} S(\tilde{L}_1(f), \dots, \tilde{L}_K(f))$
जहाँ $\tilde{L}_k$ सूडो-सैंपल्स पर गणना किया गया एम्पिरिकल लॉस है (स्पेशलिस्ट के बायस को ध्यान में रखते हुए एक करेक्शन टर्म के साथ)।

अनुक्रमिक निर्णय लेने (Sequential Decision Making) में विस्तार

इस ढांचे को इमिटेशन लर्निंग में डिफ्यूजन पॉलिसीज (diffusion policies) के लिए विस्तारित किया गया है। यहाँ, "कंडीशन" स्टेट $s$ है, और "टारगेट" एक्शन $a$ है। लेखक ऑन-पॉलिसी रोलआउट्स में निहित डिस्ट्रीब्यूशन शिफ्ट (distribution shift) को संबोधित करते हैं: चूंकि विशेषज्ञ स्टेट डिस्ट्रीब्यूशन को सीधे सैंपल करना कठिन है, इसलिए दूसरा चरण जनरलिस्ट पॉलिसी के लिए सूडो-डेटा एकत्र करने हेतु एनवायरनमेंट डायनेमिक्स के तहत सीखे गए स्पेशलिस्ट पॉलिसीज द्वारा उत्पन्न किए गए ट्राजेक्टरीज का उपयोग करता है।

3. प्रमुख सैद्धांतिक योगदान (Key Theoretical Contributions)

सैंपल कॉम्प्लेक्सिटी बाउंड्स (Sample Complexity Bounds)

पेपर प्रस्तावित अर्ध-सुपरवाइज्ड दृष्टिकोण के लिए नॉन-एसिम्प्टोटिक जनरलाइजेशन बाउंड्स स्थापित करता है।

मुख्य परिणाम (Theorem 3.2): एक लक्ष्य त्रुटि $\epsilon$ $ϵ$ प्राप्त करने के लिए आवश्यक युग्मित (लेबल वाले) सैंपल की संख्या केवल स्पेशलिस्ट क्लासेस की जटिलता ( $C_{\mathcal{H}_k}$ $C_{H_{k}}$ ) पर निर्भर करती है, न कि जनरलिस्ट क्लास पर ( $C_\mathcal{F}$ $C_{F}$ )।
- आवश्यक लेबल वाले सैंपल: $\tilde{O}\left(\frac{K C_\mathcal{H}}{\epsilon^2}\right)$ ।
- आवश्यक अयुग्मित कंडीशंस: $\tilde{O}\left(\frac{K C_\mathcal{F}}{\epsilon^2}\right)$ ।
तुलना: इसके विपरीत, जनरलिस्ट के वैनिला पूर्णतः पर्यवेक्षित प्रशिक्षण के लिए $\tilde{O}\left(\frac{K C_\mathcal{F}}{\epsilon^2}\right)$ लेबल वाले सैंपल की आवश्यकता होगी। यह दर्शाता है कि जब $C_\mathcal{F} \gg C_\mathcal{H}$ हो, तो सैंपल दक्षता में महत्वपूर्ण सुधार होता है।
लीनियर स्केलेराइजेशन (Theorem 3.5): लीनियर (वेटेड-सम) स्केलेराइजेशन और कॉनवेक्स फंक्शन क्लासेस के लिए, लेखक शार्प रेट्स प्राप्त करते हैं, जो एप्रोक्सिमेशन एरर के बाउंड को और अधिक परिष्कृत करते हैं।

डिस्ट्रीब्यूशन एस्टीमेशन और पॉलिसी गारंटी (Distribution Estimation and Policy Guarantees)

डिस्ट्रीब्यूशन एस्टीमेशन: पेपर स्कोर मैचिंग एरर और डिस्ट्रीब्यूशन एस्टीमेशन (Total Variation distance) के बीच के अंतर को पाटता है। यह सिद्ध करता है कि सीखा गया जनरलिस्ट लक्षित कंडीशनल डिस्ट्रीब्यूशन को अनुमानित करने में पारेटो-इष्टतम प्रदर्शन प्राप्त करता है।
डिफ्यूजन पॉलिसीज (Theorem 3.6): लेखक अर्ध-सुपरवाइज्ड सेटिंग्स में इमिटेशन लर्निंग के तहत डिफ्यूजन पॉलिसीज के सब-ऑप्टिमैलिटी गैप पर पहला सैद्धांतिक आश्वासन (theoretical guarantee) प्रदान करते हैं। वे दिखाते हैं कि यह ढांचा ऑन-पॉलिसी रोलआउट्स के कारण होने वाले डिस्ट्रीब्यूशन शिफ्ट को सफलतापूर्वक संभालता है और स्पेशलिस्ट-टू-जनरलिस्ट पाइपलाइन के सैंपल दक्षता लाभ को बनाए रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक दो अलग-अलग डोमेन पर अपने सिद्धांत को मान्य करते हैं:

रोबोटिक मैनिपुलेशन (StackCube & PickCube):
- सेटअप: विभिन्न डोमेन रैंडमाइजेशन (सीन, लाइटिंग, कैमरा पोज) के तहत कार्यों के लिए डिफ्यूजन पॉलिसीज को प्रशिक्षित करना।
- परिणाम: अर्ध-सुपरवाइज्ड MOL विधि, विशेष रूप से आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सेटिंग्स में (जैसे, StackCube Level 2 पर +16% सफलता दर, Level 3 पर +14%), लेबल-ओनली बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करती है। यह सुझाव देता है कि सूडो-रोलआउट्स डिस्ट्रीब्यूशन शिफ्ट को संभालने के लिए महत्वपूर्ण पर्यवेक्षण प्रदान करते हैं।
इमेज रेस्टोरेशन (CelebA-HQ Inpainting):
- सेटअप: तीन अलग-अलग मास्क प्रकारों (अल्टरनेटिंग लाइन्स, फेस रीजन, वाइड स्ट्रोक) के साथ चेहरों की इनपेंटिंग करना।
- परिणाम: अर्ध-सुपरवाइज्ड दृष्टिकोण ने सभी मास्क प्रकारों के लिए लेबल-ओनली बेसलाइन की तुलना में PSNR, SSIM और LPIPS में सुधार किया, जो जेनेरेटिव इमेज कार्यों में पद्धति की प्रभावशीलता को प्रदर्शित करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह अर्ध-सुपरवाइज्ड व्यवस्थाओं में डिफ्यूजन मॉडल के लिए बहु-उद्देश्यीय शिक्षण के लिए एक सिद्धांतिक सांख्यिकीय ढांचा (principled statistical framework) प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

सिद्धांत और व्यवहार को जोड़ना: यह "स्पेशलिस्ट-टू-जनरलिस्ट" डिस्टिलेशन पाइपलाइन को औपचारिक रूप देता है, और यह सैद्धांतिक आधार प्रदान करता है कि क्यों यह दृष्टिकोण तब अधिक सैंपल-कुशल है जब लेबल वाला डेटा कम हो।
सैंपल दक्षता: यह सिद्ध करता है कि एक जटिल जनरलिस्ट को सीखने की सांख्यिकीय लागत उसके अपने कैपेसिटी से अलग (decoupled) की जा सकती है, और इसके बजाय हल्के स्पेशलिस्ट की जटिलता पर निर्भर करती है।
डिस्ट्रीब्यूशन शिफ्ट को संभालना: यह अनुक्रमिक निर्णय लेने (इमिटेशन लर्निंग) तक अपने गारंटियों का विस्तार करता है, जो रोबोटिक्स में एक महत्वपूर्ण व्यावहारिक चुनौती को संबोधित करता है।

लेखक एक मध्यम रुख अपनाते हैं, यह स्वीकार करते हुए कि उनके गारंटियां एक रियलाइजेबिलिटी धारणा (realizability assumption) (कि वास्तविक स्कोर फंक्शन स्पेशलिस्ट क्लासेस के भीतर हैं) पर निर्भर करती हैं और वर्तमान में विशिष्ट डोमेन रैंडमाइजेशन स्तरों के परे आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण को संबोधित नहीं करती हैं। वे इस कार्य को जेनेरेटिव मॉडल के लिए अर्ध-सुपरवाइज्ड MOL के सांख्यिकीय गुणों को समझने की दिशा में एक मौलिक कदम के रूप में देखते हैं।